DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs

Titel: DeEscalWild: Een Real-World Benchmark voor Geautomatiseerde De-escalatietraining met SLM's

1. Het Probleem

Effectieve de-escalatie is cruciaal voor de veiligheid van politieagenten en het vertrouwen van de gemeenschap. Traditionele trainingsmethoden (zoals statische rollenspellen of vertakte videoscenario's) hebben echter beperkingen qua schaalbaarheid, consistentie en realisme.
Hoewel Grote Taalmodellen (LLMs) dynamische simulaties mogelijk maken, zijn ze te zwaar voor de draagbare, lichtgewicht hardware (zoals VR-headsets of mobiele randapparatuur) die nodig is voor veldtraining. Ze vereisen server-grade rekenkracht en hebben hoge latentie.
Kleine Taalmodellen (SLMs) bieden een oplossing voor real-time inferentie op de "edge" (randapparatuur), maar lijden onder een kritiek gebrek aan hoogwaardige, domeinspecifieke trainingsdata. Bestaande datasets zijn vaak synthetisch, gebrek aan emotionele authenticiteit, of gericht op andere taken (zoals klantenservice) in plaats van hoog-risico politie-interacties.

2. Methodologie

Het paper introduceert een end-to-end pipeline voor het creëren van een dataset en het trainen van gespecialiseerde modellen.

• Dataset Constructie (DeEscalWild):

  • Bron: De dataset is afgeleid van "in-the-wild" video's van politie-civiel interacties, verzameld van open-source platforms (YouTube, TikTok, Facebook).
  • Verwerkingspijplijn: Uit een initiële set van 5.000 ruwe video's werd via een hybride filtratieproces 1.500 hoogwaardige scenario's geselecteerd.
  • Filtratie: Dit proces combineerde menselijke verificatie ("human-in-the-loop") met evaluatie door een LLM ("LLM-as-a-Judge"). Er werden specifieke features geanalyseerd zoals politiedetectie, escalatiesignalen, de-escalatiepogingen en contextuele ruis.
  • Transcriptie en Diarization: Geavanceerde tools (Whisper voor spraak-naar-tekst en Gemini-2.5-Flash voor speaker diarization) werden gebruikt om gesprekken te transcriberen en sprekers te onderscheiden.
  • Statistieken: Het resultaat is een corpus van 1.500 scenario's met 285.887 dialoogbeurt en ongeveer 4,7 miljoen tokens. De dataset bevat diverse incidenten (van verkeerscontroles tot mentale crises) en is demografisch divers.

• Model Training en Evaluatie:

  • Modellen: Vijf state-of-the-art SLMs (<4B parameters) werden getest: Gemma 2 (2B), Granite 3.0 (2B), Qwen 2.5 (3B), Falcon 3 (3B) en Llama 3.2 (3B).
  • Fine-tuning: De modellen werden gefine-tuned met QLoRA (4-bit quantized Low-Rank Adaptation) op een enkele NVIDIA RTX 3090 GPU.
  • Taak: De primaire taak is het genereren van realistische reacties van een burger in een crisissituatie, gebaseerd op de eerdere dialoog en de instructies van de agent.
  • Vergelijking: De fine-tuned SLMs werden vergeleken met hun basisversies (Zero-Shot) en met een geoptimaliseerde Gemini 2.5 Flash (een grote, commerciële LLM) die werd aangespoord via few-shot prompting.

3. Belangrijkste Bijdragen

1. DeEscalWild Benchmark: De eerste grote, gestructureerde dataset puur gebaseerd op echte, ongecensureerde politie-civiel interacties. Deze dataset biedt ecologische validiteit die ontbreekt in synthetische data.
2. SLM-Efficiëntie op de Edge: Het bewijzen dat domein-specifieke fine-tuning van kleine modellen (3B parameters) superieur kan presteren aan veel grotere, algemene modellen (zoals Gemini 2.5 Flash) in specifieke, hoog-risico scenario's.
3. Architectuur voor Randapparatuur: Het demonstreert dat privacy-bewuste, low-latency trainingssystemen volledig lokaal kunnen draaien op draagbare hardware zonder cloud-connectiviteit.

4. Resultaten

• Kwaliteitsverbetering: Alle fine-tuned SLMs presteerden significant beter dan hun basisversies op de metrics ROUGE-L, BLEU-4, METEOR en BERTScore.
  • Bijvoorbeeld: De fine-tuned Qwen 2.5 (3B) verbeterde de METEOR-score met +3,9 punten ten opzichte van de basisversie.
• SLM vs. Grote LLM: De fine-tuned Qwen 2.5 (3B) overtrof de geoptimaliseerde Gemini 2.5 Flash op alle vier de kwaliteitsmetrics.
  • METEOR: Qwen 2.5 (19,5) vs. Gemini 2.5 Flash (13,2).
  • BERTScore: Qwen 2.5 (0,88) vs. Gemini 2.5 Flash (0,85).
• Latentie en Efficiëntie:
  • De fine-tuned SLMs hebben een inferentie-latentie van < 0,5 seconden (bijv. 0,38s voor Qwen 2.5).
  • De Gemini 2.5 Flash baseline had een latentie van 3,50 seconden, wat te traag is voor real-time veldtraining.
• Kwalitatieve Analyse: De fine-tuned modellen slaagden erin de "persona" van een geëscaleerde verdachte te behouden (gebruik van straattaal, agressie, kortere zinnen), terwijl de basismodellen en de grote LLM vaak te formeel, beleefd of "veilig" reageerden, wat de simulatie onrealistisch maakt.

5. Betekenis en Impact

Dit werk legt de fundering voor de volgende generatie politie-trainingsystemen:

• Toegankelijkheid: Het democratiseert toegang tot hoogwaardige simulatietraining door het mogelijk te maken op goedkope, draagbare hardware.
• Privacy: Door lokale verwerking (edge computing) worden gevoelige audio- en videodata niet naar de cloud gestuurd, wat privacyrisico's minimaliseert.
• Societale Impact: Beter getrainde agenten kunnen leiden tot minder gebruik van geweld, betere besluitvorming in crisissituaties en een sterker vertrouwen tussen politie en gemeenschap.
• Onderzoek: Het paper daalt de "groter is beter" orthodorie uit, en toont aan dat kwaliteit van data een krachtig alternatief kan zijn voor schaal van parameters in gespecialiseerde domeinen.

Kortom, DeEscalWild toont aan dat met de juiste data en fine-tuning, kleine, efficiënte modellen de perfecte oplossing zijn voor real-time, realistische en ethisch verantwoorde training in kritieke situaties.