An Agentic Workflow for Detecting Personally Identifiable Information in Crash Narratives

Título: Un flujo de trabajo agéntico para la detección de Información de Identificación Personal (PII) en narrativas de accidentes

1. Problema

Las narrativas de los informes de accidentes de tráfico son una fuente crítica de información contextual para el análisis de seguridad vial. Sin embargo, su uso generalizado está limitado por la presencia de Información de Identificación Personal (PII), como nombres, direcciones de hogar y números de placas, que pone en riesgo la privacidad individual.

• Desafíos principales:
  • La PII aparece de forma dispersa e inconsistente en el texto no estructurado.
  • La detección manual no es escalable.
  • Los enfoques basados en reglas fallan al capturar PII dependiente del contexto (ej. distinguir entre una dirección de un accidente y una dirección de residencia).
  • Los modelos de lenguaje grandes (LLM) genéricos a menudo carecen de alineación con el dominio específico del transporte, donde ciertas cadenas alfanuméricas (como identificadores de carreteras) pueden parecer PII pero no lo son.
  • Existe la necesidad de soluciones que puedan ejecutarse localmente para cumplir con restricciones de privacidad estrictas que prohíben el uso de APIs externas.

2. Metodología

El estudio propone un flujo de trabajo agéntico localmente desplegable que consta de dos capas principales: un Extractor Híbrido y un Verificador Agéntico.

• Capa 1: Extractor Híbrido
  • PII Estructurada: Utiliza Microsoft Presidio (un modelo basado en reglas) para detectar entidades con patrones estables, como números de teléfono y direcciones de correo electrónico.
  • PII Dependiente del Contexto: Utiliza un LLM ajustado finamente (Fine-tuned LLM) basado en Llama 3.1-8B para detectar nombres, direcciones de hogar e identificadores alfanuméricos.
    • Ajuste Fino: El modelo se entrenó con 2,000 narrativas de accidentes anotadas manualmente utilizando LoRA (Low-Rank Adaptation) para adaptarse al dominio específico.
    • Aprendizaje por Conjunto (Ensemble): Se ejecuta el modelo ajustado múltiples veces (K=5) y se unen los resultados para mejorar la recuperación (recall) de candidatos.
• Capa 2: Verificador Agéntico
  • Diseñado específicamente para las categorías más ambiguas: direcciones de hogar e identificadores alfanuméricos.
  • Un segundo agente LLM (también Llama 3.1-8B) revisa los candidatos generados por el extractor.
  • Mecanismo de decisión: El verificador debe clasificar cada candidato como KEEP (mantener), DROP (descartar) o UNCERTAIN (incierto).
  • Requisito de evidencia: Para mantener la trazabilidad y evitar alucinaciones, el verificador debe proporcionar un fragmento de evidencia textual literal de la narrativa que justifique su decisión.
  • Esta etapa actúa como un filtro de precisión, eliminando falsos positivos (ej. direcciones de ubicación del accidente en lugar de residencia).

3. Contribuciones Clave

1. Flujo de trabajo agéntico específico del dominio: Desarrollo de una arquitectura local y escalable para la detección de PII en narrativas de tráfico, abordando las preocupaciones de privacidad al evitar APIs en la nube.
2. Diseño de Extracción Híbrida: Integración estratégica de métodos basados en reglas (para alta precisión en datos estructurados) y LLMs ajustados finamente (para comprensión semántica en datos contextuales), superando las limitaciones de los enfoques monolíticos.
3. Mecanismo de Verificación Agéntica: Introducción de un paso de validación basado en evidencia que filtra falsos positivos en las categorías más difíciles, mejorando la robustez del sistema sin sacrificar completamente la recuperación.
4. Validación Empírica: Evaluación exhaustiva en un conjunto de datos real de accidentes (Wisconsin, 2017-2022), demostrando superioridad sobre múltiples líneas base.

4. Resultados

El flujo de trabajo agéntico se evaluó en un conjunto de prueba de 500 narrativas, mostrando un rendimiento superior a los métodos base (Presidio, LLMs con prompting y LLMs ajustados finamente de forma aislada):

• Métricas Generales:
  • Precisión: 0.82
  • Recall (Exhaustividad): 0.94
  • F1-Score: 0.87
  • Precisión Global (Accuracy): 0.96
• Análisis por Categoría:
  • Estructurada (Teléfono/Email): El sistema hereda la alta precisión y recall de Presidio (F1 ~0.91-1.00).
  • Contextual (Nombres): Mejora el recall manteniendo una alta precisión (F1 = 0.84).
  • Ambigua (Direcciones de Hogar/Alfanuméricos):
    • El módulo de verificación mejoró drásticamente la precisión de las direcciones de hogar (de 0.61 a 1.00), eliminando falsos positivos de ubicaciones de accidentes.
    • Para identificadores alfanuméricos, el enfoque de conjunto aumentó el recall (de 0.65 a 0.75), aunque con un ligero aumento en falsos positivos, logrando un equilibrio mejorado (F1 = 0.63).
• Estudio de Ablación: Confirmó que el módulo de Ensemble + Verificador es crucial para reducir errores en las categorías de alto riesgo, mejorando la recuperación de verdaderos positivos y la eliminación de falsos positivos.

5. Significado e Impacto

Este trabajo ofrece una ruta práctica y robusta para el procesamiento de datos de accidentes a gran escala que preserva la privacidad.

• Privacidad: Al ser totalmente ejecutable localmente, permite a las agencias de transporte y entidades de investigación procesar datos sensibles sin exponerlos a servicios externos.
• Accesibilidad de Datos: Facilita la liberación de narrativas de accidentes para investigación externa al garantizar la eliminación efectiva de PII.
• Paradigma de Diseño: Establece un nuevo estándar para la detección de PII en dominios específicos, demostrando que la orquestación de herramientas especializadas (reglas + LLMs + agentes verificadores) es superior a los modelos únicos, especialmente en escenarios donde el contexto es crítico para distinguir entre información sensible y no sensible.