DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs

Résumé Technique : DeEscalWild

1. Problématique

La formation à la désescalade est cruciale pour la sécurité des forces de l'ordre et la confiance communautaire, mais les méthodes traditionnelles (jeux de rôle statiques, vidéos ramifiées) manquent d'évolutivité et de réalisme. Bien que les Grands Modèles de Langage (LLM) permettent des simulations dynamiques, leur empreinte computationnelle les rend inapplicables sur le matériel portable et léger requis pour les entraînements sur le terrain (ex. : casques VR autonomes, dispositifs edge).

Les Petits Modèles de Langage (SLM) offrent une alternative viable en termes de latence et d'efficacité, mais ils souffrent d'un manque critique de données d'entraînement de haute qualité, spécifiques au domaine de la police et des interactions civiles. Il existe un vide entre la nécessité de modèles spécialisés pour la désescalade et l'absence de corpus de données réalistes et volumineux pour les entraîner.

2. Méthodologie

A. Construction du Dataset DeEscalWild
Les auteurs ont créé le premier benchmark à grande échelle dérivé d'interactions policières réelles ("in-the-wild").

• Collecte de données : Extraction de 5 000 vidéos brutes depuis des dépôts open-source (YouTube, TikTok, Facebook) contenant des interactions police-civil.
• Pipeline de filtrage hybride : Un processus rigoureux en plusieurs étapes a été mis en place :
  1. Transcription : Utilisation du modèle Whisper pour générer des transcriptions brutes.
  2. Filtrage par LLM et Humain : Combinaison d'un modèle LLM agissant comme juge ("LLM-as-a-Judge") et d'une vérification humaine ("Human-in-the-loop") pour identifier les scénarios pertinents.
  3. Extraction et Diarisation : Utilisation de Gemini 2.5 Flash pour l'extraction avancée des conversations et la diarisation des locuteurs (identification de qui parle).
• Résultat final : Un corpus de 1 500 scénarios de haute fidélité, comprenant 285 887 tours de dialogue (environ 4,7 millions de tokens).
• Principes de conception : Le dataset privilégie la validité écologique (données non scriptées, incluant hésitations et émotions), la diversité sociodémographique, la profondeur temporelle (conversations longues ~12 min) et la complexité multi-agents.

B. Expérimentation et Entraînement

• Tâche : Génération de réponses civiles dans un contexte à haut risque (simulation de la réaction d'un suspect face aux tentatives de désescalade de l'officier).
• Modèles testés : Cinq SLMs open-weights (< 4 milliards de paramètres) : Gemma 2 (2B), Granite 3.0 (2B), Qwen 2.5 (3B), Falcon 3 (3B), Llama 3.2 (3B).
• Méthode d'entraînement : Fine-tuning via QLoRA (Low-Rank Adaptation quantifiée en 4 bits) sur une seule carte graphique NVIDIA RTX 3090.
• Comparaison : Les modèles fine-tunés sont comparés à leurs versions de base (Zero-Shot) et au modèle LLM généraliste Gemini 2.5 Flash (optimisé par few-shot prompting).

3. Contributions Clés

1. Le Benchmark DeEscalWild : Un dataset standardisé, volumineux et écologiquement valide, conçu spécifiquement pour entraîner des agents de désescalade. Il comble le manque de données réelles pour l'IA dans le domaine de la sécurité publique.
2. Démonstration de l'Efficacité des SLMs sur le Edge : La preuve que le fine-tuning sur des données de haute qualité permet à des modèles compacts (3B paramètres) de surpasser des modèles massifs généralistes, rendant possible le déploiement en temps réel sur du matériel portable sans connexion cloud.
3. Pipeline de Traitement de Données : Une architecture reproductible pour l'extraction, le filtrage et la validation de données vidéo complexes provenant de sources non structurées.

4. Résultats

• Performance Quantitative :

  • Les modèles fine-tunés montrent des améliorations significatives par rapport à leurs versions de base sur toutes les métriques (ROUGE-L, BLEU-4, METEOR, BERTScore).
  • Qwen 2.5 (3B-Instruct) fine-tuné surpasse Gemini 2.5 Flash (un modèle LLM de pointe) sur toutes les métriques de qualité, notamment avec un gain de +6,3 points en METEOR.
  • Cela démontre que la qualité des données spécifiques au domaine est un substitut viable à l'échelle des paramètres.

• Performance Qualitative :

  • Les modèles de base (Zero-Shot) tendent à être trop polis, formels et coopératifs ("Alignment Tax"), brisant l'immersion.
  • Les modèles fine-tunés capturent fidèlement le ton, l'argot, l'agressivité et les hésitations réelles d'un suspect en crise, essentiels pour un entraînement réaliste.
  • Ils évitent les refus de sécurité (safety filters) qui bloquent souvent les modèles généralistes face à des scénarios de police simulés.

• Efficacité Computationnelle (Latence) :

  • Gemini 2.5 Flash : Latence moyenne de 3,50 secondes (inadapté au temps réel).
  • SLMs Fine-tunés : Latence inférieure à la seconde (ex: 0,38s pour Qwen 2.5, 0,30s pour Granite 3.0).
  • Cela valide la possibilité d'exécution locale sur des dispositifs edge.

5. Signification et Impact

Ce travail établit les fondations pour des systèmes de formation à la désescalade accessibles, à faible latence et respectueux de la vie privée.

• Déploiement sur le Terrain : En permettant l'exécution locale sur des casques VR ou des tablettes mobiles, les agents peuvent s'entraîner sans dépendre du cloud, garantissant la confidentialité des données et une disponibilité immédiate.
• Réduction de l'Usage de la Force : Des simulations plus réalistes et accessibles devraient améliorer la prise de décision des officiers, réduire les incidents violents et renforcer la confiance communautaire.
• Changement de Paradigme : L'article remet en question l'orthodoxie "plus grand est mieux" en prouvant que, pour des tâches spécialisées, des modèles plus petits entraînés sur des données de haute qualité sont supérieurs aux géants généralistes.

L'équipe a promis de rendre le dataset, le code d'entraînement et les checkpoints de modèles publics pour favoriser la recherche reproductible dans ce domaine.