Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs

Resumo Técnico: LLMs Ajustados para Identificar Indicadores de Vulnerabilidade em Registros de Incidentes da Polícia do Reino Unido

Declaração do Problema
Estimar com precisão a prevalência de interações relacionadas à vulnerabilidade (especificamente saúde mental, abuso de substâncias, dependência de álcool e situação de rua) no policiamento do Reino Unido é fundamental para a alocação de recursos e políticas estratégicas. No entanto, os dados administrativos estruturados existentes (por exemplo, categorias de incidentes, códigos de desfecho) são incompletos, aplicados de forma inconsistente e projetados para fins operacionais, não epidemiológicos. Embora as forças policiais possuam vastas quantidades de texto narrativo não estruturado em registros de incidentes, a codificação qualitativa manual em escala é proibitivamente intensiva em recursos, e os métodos convencionais de Processamento de Linguagem Natural (PLN) carecem da flexibilidade para a classificação interpretativa e sensível ao contexto necessária para identificar essas vulnerabilidades. Este estudo investiga se os Modelos de Linguagem de Grande Escala (LLMs), especificamente aqueles ajustados (fine-tuned) com dados policiais dos EUA, podem ser adaptados para gerar estimativas de prevalência defensáveis a partir de registros de incidentes sensíveis da polícia do Reino Unido dentro de ambientes de computação locais e seguros.

Metodologia
O estudo empregou um pipeline de classificação de múltiplos estágios usando um LLM de pesos abertos hospedado localmente (Llama 3 8B) para analisar quase 3.000 registros de incidentes desidentificados de uma única Unidade de Comando Básica do Reino Unido. A metodologia envolveu quatro componentes principais:

1. Pré-processamento de Dados: Os registros brutos foram anonimizados usando uma abordagem de lista branca para remover identificadores pessoais. As narrativas foram costuradas por ID de incidente e divididas em blocos de 400 palavras para acomodar a janela de contexto do modelo hospedado localmente.
2. Classificação em Duas Etapas: Uma estratégia de prompting de duas etapas foi utilizada para otimizar a eficiência computacional e a precisão.
   • Etapa 1 (Filtragem Negativa): O modelo extrai até duas citações que indiquem uma vulnerabilidade. Se nenhuma for encontrada, o modelo retorna "EVIDENCE: NONE" (EVIDÊNCIA: NENHUMA), encerrando o processo para aquele segmento.
   • Etapa 2 (Avaliação de Severidade): Se evidência for encontrada, o modelo a classifica como FORTE, MODERADA ou FRACA, com base em uma escala definida.
3. Destilação de Conhecimento e Ajuste (Fine-Tuning): Devido a restrições de hardware (16GB de VRAM), os pesquisadores não puderam usar modelos maiores. Eles utilizaram a destilação de conhecimento, treinando adaptadores LoRA para modelos de 8B, 3B e 1B parâmetros usando 10.000 exemplos gerados pelo GPT-4o-mini a partir de um conjunto de dados dos EUA. O modelo de 8B foi selecionado como o modelo "aluno" final após demonstrar desempenho superior.
4. Agregação e Correção:
   • Teste de Estabilidade: Cada segmento de texto foi classificado cinco vezes com uma temperatura de 0,7 para avaliar a variabilidade dos rótulos.
   • Colapso de Rótulos: Devido à instabilidade na distinção entre evidência "Moderada" e "Fraca", a escala de quatro níveis foi colapsada em três: Sem Evidência, Evidência Forte e Incerto.
   • Revisão Humana e Ajuste de Monte Carlo: Uma amostra proposital de 250 segmentos foi revisada por um especialista humano para identificar vieses sistemáticos (por exemplo, excesso de sensibilidade). Os resultados desta revisão foram usados para calcular probabilidades de transição, que foram então aplicadas via simulação de Monte Carlo (10.000 iterações) para corrigir as estimativas do corpus completo e gerar intervalos de confiança de 95%.

Principais Resultados

• Estabilidade do Modelo: O modelo atuou como um "filtro negativo" altamente confiável, identificando consistentemente segmentos sem evidência de vulnerabilidade (taxas de concordância >96%). No entanto, as classificações positivas foram instáveis; execuções repetidas no mesmo texto frequentemente geraram rótulos conflitantes, particularmente para casos "Incertos".
• Viés Sistemático: O uso ingênuo do modelo resultou em uma atribuição sistemática excessiva de indicadores de vulnerabilidade. O modelo frequentemente classificou contextos não relevantes (por exemplo, estadias em hotéis como situação de rua, visitas a hospitais como saúde mental) como evidência de vulnerabilidade.
• Estimativas de Prevalência: Após a correção estatística, a prevalência estimada de indicadores de vulnerabilidade nos incidentes da polícia do Reino Unido foi:
  • Saúde Mental: ~22,9% (IC 95%: 19,4–26,7%)
  • Dependência de Álcool: ~8,2% (IC 95%: 6,3–10,3%)
  • Abuso de Substâncias: ~5,0% (IC 95%: 3,7–6,5%)
  • Situação de Rua: ~2,9% (IC 95%: 2,1–4,0%)
  • Nota: Os resultados brutos do modelo superestimaram significativamente essas figuras (por exemplo, o abuso de substâncias bruto foi de 12,8%), destacando a necessidade do pipeline de correção.
• Comparação com Marcadores Administrativos: As classificações baseadas em narrativa do modelo mostraram discordância substancial com os próprios marcadores (flags) de qualificadores administrativos da força policial. Os marcadores frequentemente apareciam em incidentes mundanos sem evidência narrativa, enquanto evidências claras de vulnerabilidade na narrativa careciam de um marcador correspondente, sugerindo que os dados administrativos são um referencial pouco confiável para esta tarefa.

Significância e Alegações
Os autores afirmam que este estudo fornece as primeiras estimativas de prevalência derivadas de narrativas rotineiras da polícia do Reino Unido usando IA generativa. A significância do trabalho reside não apenas nas estimativas em si, mas na demonstração do rigor metodológico necessário para tornar as saídas de LLM defensáveis em ambientes aplicados de alto risco.

O artigo argumenta que, embora os LLMs possam extrair informações de dados não estruturados em uma escala impossível para a codificação manual, suas saídas brutas não podem ser tratadas como medições válidas. O estudo conclui que:

1. Estimativas ao nível populacional são alcançáveis, mas intensivas em recursos: Estimativas defensáveis exigem um pipeline de inferência repetida, agregação de rótulos, revisão humana estruturada e correção estatística.
2. Decisões ao nível individual são inseguras: Devido a erros frequentes e imprevisíveis nas classificações individuais, as saídas de LLM não devem ser usadas para triagem ou decisões operacionais relativas a indivíduos específicos.
3. O Rigor Metodológico é Primordial: A narrativa de "facilidade de adoção" em torno dos LLMs é enganosa em domínios sensíveis. A implantação responsável exige a inserção do modelo dentro de um quadro robusto de supervisão humana e ajuste estatístico para gerenciar vieses sistemáticos e incertezas.

O estudo ressalta que os LLMs são componentes poderosos de um sistema de medição, mas não substituem a necessidade de expertise e infraestrutura metodológica tradicionalmente exigidas para a medição empírica.