Fine-Tuning Over Architectural Complexity: Broad-Coverage PII Detection on PIIBench with DeBERTa

Resumen Técnico: Ajuste Fino sobre Complejidad Arquitectónica en PIIBench

Enunciado del Problema
La detección y la supresión de Información de Identificación Personal (PII) son críticas para el cumplimiento normativo (GDPR, HIPAA, CCPA). Sin embargo, los sistemas existentes de detección de PII se entrenan frecuentemente dentro de límites de dominio estrechos, lo que conduce a un rendimiento deficiente al desplegarse sobre texto heterogéneo. El benchmark original PIIBench destacó este problema de "silos de dominio", mostrando que ocho sistemas publicados (incluyendo motores basados en reglas como Microsoft Presidio y modelos generales de NER como SpanMarker) alcanzaron puntuaciones F1 a nivel de fragmento inferiores a 0.14 en un subconjunto de prueba estratificado. Además, la preparación original del conjunto de datos contenía errores de procesamiento, específicamente un análisis incorrecto de los fragmentos de NVIDIA Nemotron y una representación de fuentes desequilibrada, lo que hacía necesaria una versión corregida del benchmark para evaluar adecuadamente las capacidades del modelo.

Metodología
Este estudio evalúa si un modelo basado en DeBERTa, ajustado fino sobre una preparación corregida de múltiples fuentes de PIIBench, puede superar a los sistemas existentes y si la complejidad arquitectónica mejora la detección de cobertura amplia.

1. Preparación de Datos Corregida: Los autores reprocesaron el corpus PIIBench para corregir el análisis de fragmentos de Nemotron, reequilibrar los conjuntos de datos de origen (limitando los archivos financieros y muestreando Nemotron a ~10%) y eliminar tipos de entidades raras. Esto resultó en un espacio de etiquetas retenido de 82 tipos de entidades granulares (165 clases BIO) a través de diez conjuntos de datos de origen. El conjunto de entrenamiento comprende 799.948 registros, con una división de prueba retenida de 100.002 registros. Debido al desequilibrio severo de clases (83.3% de tokens "O"), todos los modelos utilizan una función de pérdida de entropía cruzada ponderada ($w(O)=0.1, w(entity)=1.0$).
2. Arquitecturas de Modelo: Se entrenaron tres enfoques basados en DeBERTa-v3-base:
   • Ajuste Fino Directo (Modelo A): Un clasificador estándar de tokens BIO sin entradas auxiliares ni currículo.
   • Jerárquico Condicionado por Fuente (SC+H, Modelo B): Añade un token de fuente aprendido a la entrada y emplea un clasificador jerárquico de grueso a fino (prediciendo 10 grupos gruesos antes que 82 tipos finos).
   • SC+H con Currículo (SC+H+Curr, Modelo C): La arquitectura SC+H entrenada secuencialmente en tres fases: NER General $\to$ PII Sintética $\to$ PII Financiera.
3. Protocolo de Evaluación: Los modelos se evaluaron en un subconjunto reproducible de 5.000 registros (test_5k) y en la división completa de 100.002 registros retenidos utilizando métricas seqeval a nivel de fragmento (que requieren coincidencias exactas de límites y etiquetas).

Contribuciones Clave

• Benchmark Corregido: Una preparación revisada de PIIBench con análisis corregido, mezcla de fuentes equilibrada y un espacio de etiquetas de 82 tipos, acompañado de artefactos de evaluación identificados por SHA-256.
• Línea Base Sólida: Demostración de que el ajuste fino directo sobre datos corregidos de múltiples fuentes produce una F1 a nivel de fragmento de 0.6455 en el conjunto de pruebas completo, una ganancia de +0.507 sobre el comparador publicado más fuerte (SpanMarker BERT en 0.1723).
• Ablación Arquitectónica: Evidencia empírica de que añadir condicionamiento de fuente y estructura jerárquica (SC+H) produce resultados competitivos pero generalmente inferiores en comparación con el ajuste fino directo sobre cobertura amplia.
• Fallo del Currículo: Evidencia de que el aprendizaje de currículo secuencial en este dominio conduce al olvido catastrófico, donde la especialización en la fase final (PII Financiera) degrada el rendimiento en categorías aprendidas previamente.

Resultados

• Brecha de Rendimiento: En el subconjunto test_5k, DeBERTa Directo logró una F1 de 0.6476, superando significativamente al mejor sistema publicado (0.1723) y al modelo SC+H (0.5899). En la división de pruebas completa de 100.002 registros, DeBERTa Directo mantuvo su superioridad con una F1 de 0.6455 frente a 0.5894 para SC+H.
• Análisis a Nivel de Entidad: El ajuste fino directo superó a SC+H en 54 de los 82 tipos de entidades finas y en los 10 grupos gruesos por F1 ponderada por soporte. SC+H retuvo ventajas localizadas en 28 tipos, más notablemente HTTP_COOKIE (+0.394 F1), sugiriendo que el condicionamiento de fuente ayuda en tareas contextualmente complejas específicas.
• Impacto del Currículo: La variante de currículo (SC+H+Curr) logró una F1 de 0.2772 en test_5k. A pesar de terminar el entrenamiento con datos financieros, rindió peor que el modelo directo en entidades financieras, confirmando el olvido catastrófico.
• Discrepancia de Validación: La validación inicial en un subconjunto pequeño (val_1p) favoreció a SC+H, pero evaluaciones más grandes (test_5k y prueba completa) invirtieron esto, indicando que el conjunto de validación pequeño carecía de resolución estadística para distinguir los modelos.

Significado y Afirmaciones
El artículo argumenta que para la detección de PII de cobertura amplia, la calidad de los datos y los datos de entrenamiento específicos de la tarea superan a la complejidad arquitectónica. La ganancia principal de rendimiento se atribuye a la preparación corregida de múltiples fuentes y a la función de pérdida ponderada, más que a la introducción de estructuras jerárquicas o basadas en currículo.

Los autores concluyen que un modelo DeBERTa simple, ajustado fino directamente, es el enfoque superior para texto heterogéneo, logrando una mejora relativa de 3.76 veces sobre el mejor comparador publicado. Si bien las extensiones arquitectónicas como SC+H ofrecen beneficios localizados para tipos de entidades específicos (por ejemplo, cookies, fechas), introducen complejidad que no se traduce en ganancias generales de rendimiento y pueden conducir al olvido catastrófico cuando se combinan con aprendizaje de currículo secuencial. El estudio sugiere que los profesionales deben priorizar la recopilación de datos anotados amplios y de múltiples dominios y la corrección de problemas de análisis específicos de la fuente sobre el diseño de arquitecturas de modelos complejas.