Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs

Resumen Técnico: Modelos de Lenguaje de Gran Escala (LLM) Ajustados para Identificar Indicadores de Vulnerabilidad en Registros de Incidentes de la Policía del Reino Unido

Planteamiento del Problema
Estimar con precisión la prevalencia de las interacciones relacionadas con la vulnerabilidad (específicamente salud mental, abuso de sustancias, dependencia del alcohol y falta de vivienda) en la labor policial del Reino Unido es fundamental para la asignación de recursos y la política estratégica. Sin embargo, los datos administrativos estructurados existentes (por ejemplo, categorías de incidentes, códigos de resolución) son incompletos, se aplican de forma inconsistente y están diseñados para fines operativos más que epidemiológicos. Si bien las fuerzas policiales poseen vastas cantidades de texto narrativo no estructurado en los registros de incidentes, la codificación cualitativa manual a escala es prohibitivamente intensiva en recursos, y los métodos convencionales de Procesamiento de Lenguaje Natural (NLP) carecen de la flexibilidad necesaria para la clasificación interpretativa y sensible al contexto requerida para identificar estas vulnerabilidades. Este estudio investiga si los Modelos de Lenguaje de Gran Escala (LLM), específicamente aquellos ajustados con datos policiales de EE. UU., pueden adaptarse para generar estimaciones de prevalencia defendibles a partir de registros de incidentes sensibles de la policía del Reino Unido dentro de entornos de computación locales y seguros.

Metodología
El estudio empleó un flujo de trabajo de clasificación de múltiples etapas utilizando un LLM de pesos abiertos alojado localmente (Llama 3 8B) para analizar casi 3,000 registros de incidentes desidentificados de una sola Unidad de Mando Básica del Reino Unido. La metodología consistió en cuatro componentes clave:

1. Preprocesamiento de Datos: Los registros brutos fueron anonimizados mediante un enfoque de lista blanca para eliminar identificadores personales. Las narrativas fueron unidas por ID de incidente y divididas en fragmentos de 400 palabras para acomodar la ventana de contexto del modelo alojado localmente.
2. Clasificación de Dos Pasos: Se utilizó una estrategia de prompting de dos pasos para optimizar la eficiencia computacional y la precisión.
   • Paso 1 (Filtrado Negativo): El modelo extrae hasta dos citas que indiquen una vulnerabilidad. Si no se encuentran, genera la salida "EVIDENCE: NONE" (EVIDENCIA: NINGUNA), terminando el proceso para ese segmento.
   • Paso 2 (Evaluación de Severidad): Si se encuentra evidencia, el modelo la clasifica como FUERTE, MODERADA o DÉBIL basándose en una escala definida.
3. Destilación de Conocimiento y Ajuste Fino (Fine-Tuning): Debido a las limitaciones de hardware (16GB de VRAM), los investigadores no pudieron utilizar modelos más grandes. Utilizaron la destilación de conocimiento, entrenando adaptadores LoRA para modelos de 8B, 3B y 1B de parámetros utilizando 10,000 ejemplos generados por GPT-4o-mini a partir de un conjunto de datos de EE. UU. El modelo de 8B fue seleccionado como el modelo "estudiante" final tras demostrar un rendimiento superior.
4. Agregación y Corrección:
   • Pruebas de Estabilidad: Cada segmento de texto fue clasificado cinco veces con una temperatura de 0.7 para evaluar la variabilidad de las etiquetas.
   • Colapso de Etiquetas: Debido a la inestabilidad para distinguir entre evidencia "Moderada" y "Débil", la escala de cuatro niveles se colapsó en tres: Sin Evidencia, Evidencia Fuerte y Duda/Incierto.
   • Revisión Humana y Ajuste de Monte Carlo: Un experto humano revisó una muestra dirigida de 250 segmentos para identificar sesgos sistemáticos (por ejemplo, sobre-sensibilidad). Estos resultados de revisión se utilizaron para calcular las probabilidades de transición, que luego se aplicaron mediante una simulación de Monte Carlo (10,000 iteraciones) para corregir las estimaciones del corpus completo y generar intervalos de confianza del 95%.

Resultos Clave

• Estabilidad del Modelo: El modelo actuó como un "filtro negativo" altamente fiable, identificando consistentemente segmentos sin evidencia de vulnerabilidad (tasas de acuerdo >96%). Sin embargo, las clasificaciones positivas fueron inestables; ejecuciones repetidas sobre el mismo texto a menudo arrojaban etiquetas contradictorias, particularmente en casos de "Duda/Incierto".
• Sesgo Sistemático: El despliegue ingenuo del modelo resultó en una sobreasignación sistemática de indicadores de vulnerabilidad. El modelo clasificó erróneamente contextos no relevantes (por ejemplo, estancias en hoteles como falta de vivienda, visitas al hospital como salud mental) como evidencia de vulnerabilidad.
• Estimaciones de Prevalencia: Tras la corrección estadística, la prevalencia estimada de indicadores de vulnerabilidad en los incidentes policiales del Reino Unido fue:
  • Salud Mental: ~22.9% (IC 95%: 19.4–26.7%)
  • Dependencia del Alcohol: ~8.2% (IC 95%: 6.3–10.3%)
  • Abuso de Sustancias: ~5.0% (IC 95%: 3.7–6.5%)
  • Falta de Vivienda: ~2.9% (IC 95%: 2.1–4.0%)
  • Nota: Los resultados brutos del modelo sobreestimaron significativamente estas cifras (por ejemplo, el abuso de sustancias bruto fue del 12.8%), lo que resalta la necesidad del flujo de trabajo de corrección.
• Comparación con Marcadores Administrativos: Las clasificaciones basadas en la narrativa del modelo mostraron un desacuerdo sustancial con los marcadores de calificación administrativa de la propia fuerza policial. Los marcadores aparecían a menudo en incidentes mundanos sin evidencia narrativa, mientras que la evidencia narrativa clara de vulnerabilidad carecía de un marcador correspondiente, sugiriendo que los datos administrativos son un referente poco fiable para esta tarea.

Significancia y Reivindicaciones
Los autores afirman que este estudio proporciona las primeras estimaciones de prevalencia derivadas de las narrativas rutinarias de la policía del Reino Unido utilizando IA generativa. La importancia del trabajo no reside meramente en las estimaciones en sí mismas, sino en la demostración del rigor metodológico necesario para que los resultados de los LLM sean defendibles en entornos aplicados de alto riesgo.

El artículo sostiene que, si bien los LLM pueden extraer información de datos no estructurados a una escala imposible para la codificación manual, sus resultados brutos no pueden tratarse como mediciones válidas. El estudio concluye que:

1. Las estimaciones a nivel poblacional son alcanzables pero requieren muchos recursos: Las estimaciones defendibles requieren un flujo de trabajo de inferencia repetida, agregación de etiquetas, revisión humana estructurada y ajuste estadístico.
2. Las decisiones a nivel individual son inseguras: Debido a los errores frecuentes e impredecibles en las clasificaciones individuales, los resultados de los LLM no deben utilizarse para el triaje o las decisiones operativas sobre individuos específicos.
3. El Rigor Metodológico es Primordial: La narrativa de "facilidad de adopción" de los LLM es engañosa en dominios sensibles. El despliegue responsable requiere integrar el modelo dentro de un marco robusto de supervisión humana y ajuste estadístico para gestionar los sesgos sistemáticos y la incertidumbre.

El estudio subraya que los LLM son componentes poderosos de un sistema de medición, pero no reemplazan la necesidad de la experiencia y la infraestructura metodológica tradicionalmente requeridas para la medición empírica.