DeEscalWild: A Real-World Benchmark for Automated De-Escalation Training with SLMs

1. O Problema

A desescalada eficaz é fundamental para a segurança dos agentes de aplicação da lei e a confiança da comunidade. No entanto, os métodos de treinamento tradicionais (como jogos de papel estáticos ou vídeos ramificados) carecem de escalabilidade, consistência e realismo.
Embora os Grandes Modelos de Linguagem (LLMs) permitam simulações dinâmicas e abertas, seu grande custo computacional impede sua implantação em hardware portátil e leve (como óculos de realidade virtual autônomos ou dispositivos de borda) necessários para treinamento de campo imersivo.
A solução proposta é o uso de Modelos de Linguagem Pequenos (SLMs), que oferecem eficiência de inferência em tempo real. Contudo, os SLMs sofrem de uma escassez crítica de dados de treinamento de alta qualidade e específicos do domínio. Modelos genéricos falham em capturar as nuances táticas e emocionais de interações policiais reais, e dados existentes são frequentemente sintéticos, enviesados ou focados em análise sociológica pós-evento, não em treinamento ativo.

2. Metodologia

Os autores desenvolveram uma abordagem em duas frentes: a criação de um novo conjunto de dados e a validação de SLMs ajustados para essa tarefa.

A. Criação do Dataset DeEscalWild

• Origem dos Dados: O conjunto de dados foi extraído de interações "selvagens" (in-the-wild) entre polícia e civis, mineradas de repositórios de vídeo de código aberto (YouTube, TikTok, Facebook).
• Pipeline de Curadoria:
  1. Coleta Inicial: 5.000 vídeos brutos foram identificados.
  2. Transcrição: Uso do modelo Whisper para gerar transcrições automáticas.
  3. Filtragem Híbrida: Um processo rigoroso combinou verificação humana com avaliação de "LLM como Juiz" (LLM-as-a-Judge). Um esquema de 30 características binárias (presença policial, tipo de interação, sinais de escalada/desescalada) foi usado para filtrar os vídeos.
  4. Refinamento e Diarização: O modelo Gemini 2.5 Flash foi utilizado para extração avançada de conversas e diarização de falantes (identificação de quem fala), superando limitações de ferramentas open-source anteriores.
• Resultado Final: 1.500 cenários de alta fidelidade, contendo 285.887 turnos de diálogo e aproximadamente 4,7 milhões de tokens.
• Princípios de Design: O dataset prioriza validade ecológica (dados reais não roteirizados), diversidade sociodemográfica, profundidade temporal (conversas longas de ~12 min) e complexidade multiagente.

B. Experimentos e Avaliação

• Modelos Testados: Cinco SLMs de última geração (< 4B parâmetros): Gemma 2, Granite 3.0, Qwen 2.5, Falcon 3 e Llama 3.2.
• Treinamento: Ajuste fino (Fine-tuning) utilizando QLoRA (Low-Rank Adaptation com quantização de 4 bits) em uma única GPU NVIDIA RTX 3090.
• Comparação: Os modelos ajustados foram comparados com suas versões base (Zero-Shot) e contra um LLM generalista de ponta, o Gemini 2.5 Flash (otimizado com few-shot prompting).
• Métricas: ROUGE-L, BLEU-4, METEOR e BERTScore, focando na coerência conversacional e aderência a estratégias de desescalada.

3. Contribuições Principais

1. DeEscalWild Benchmark: O primeiro dataset em larga escala derivado exclusivamente de interações reais entre polícia e civis, projetado especificamente para treinar agentes de IA em cenários de alta tensão. Inclui um pipeline escalável e agnóstico de plataforma para extração de scripts.
2. Eficácia de SLMs na Borda: Demonstra que o ajuste fino específico de domínio permite que modelos compactos (3B parâmetros) superem modelos generalistas massivos em tarefas especializadas, provando que a qualidade dos dados pode substituir a escala de parâmetros.
3. Infraestrutura para Treinamento na Borda: Estabelece a viabilidade de sistemas de treinamento de baixa latência e preservação de privacidade que rodam inteiramente em dispositivos locais, sem dependência de nuvem.

4. Resultados

• Desempenho Quantitativo: Os modelos ajustados no DeEscalWild superaram significativamente suas contrapartes base em todas as métricas.
  • O Qwen 2.5 (3B-Instruct) ajustado superou o Gemini 2.5 Flash em todas as métricas de qualidade, com uma vantagem notável de +6,3 pontos no METEOR.
  • O ajuste fino corrigiu o viés de "alinhamento" (respostas excessivamente polidas e cooperativas) dos modelos base, fazendo com que os SLMs gerassem respostas coloquiais, resistentes e emocionalmente carregadas, realistas para simulações.
• Latência e Eficiência:
  • O Gemini 2.5 Flash apresentou uma latência média de 3,50 segundos.
  • Os SLMs ajustados operaram com latência sub-segundo (entre 0,30s e 0,44s). O Granite 3.0 foi o mais rápido (0,30s), enquanto o Qwen 2.5 ofereceu o melhor equilíbrio entre qualidade e velocidade (0,38s).
• Análise Qualitativa: Os modelos ajustados conseguiram manter a fidelidade da persona (ex: usar gírias, tom agressivo ou medo) e contornaram filtros de segurança que faziam o modelo grande recusar o papel de "suspeito" em cenários de treinamento.

5. Significado e Impacto

Este trabalho representa um avanço crucial para a democratização do treinamento policial de alta fidelidade.

• Acesso e Privacidade: Ao permitir que modelos robustos rodem localmente em hardware de borda (como óculos de VR), o sistema elimina a necessidade de transmitir dados sensíveis para a nuvem, mitigando riscos de vigilância em massa e vazamento de dados.
• Segurança Pública: Oferece uma ferramenta escalável para treinar agentes em cenários de crise emocional e tática, potencialmente reduzindo o uso da força e melhorando a tomada de decisão em momentos críticos.
• Paradigma de IA: Desafia a noção de que "modelos maiores são sempre melhores", demonstrando que, para domínios de alto risco e específicos, a especialização via dados de alta qualidade é mais eficiente e eficaz do que a escala bruta de parâmetros.

Em suma, o DeEscalWild fornece a infraestrutura fundamental para a próxima geração de simuladores de treinamento policial: acessíveis, privados, de baixa latência e altamente realistas.