PIIBench: A Unified Multi-Source Benchmark Corpus for Personally Identifiable Information Detection

1. El Problema: Fragmentación y Silos de Dominio

El artículo identifica una carencia crítica en la investigación actual sobre la detección de Información de Identificación Personal (PII, por sus siglas en inglés). A pesar de su importancia para el cumplimiento normativo (GDPR, HIPAA, CCPA), no existe un corpus de referencia estandarizado. Los recursos actuales presentan los siguientes problemas:

• Fragmentación: Los datos están dispersos en corpus específicos de dominios (financiero, sintético, general) con esquemas de anotación mutuamente incompatibles.
• Falta de Comparabilidad: La ausencia de una taxonomía unificada impide la comparación sistemática entre sistemas de detección.
• Limitaciones de los Modelos Actuales:
  • Los sistemas basados en reglas (ej. Microsoft Presidio) fallan en entidades inferidas contextualmente.
  • Los modelos de Reconocimiento de Entidades Nombradas (NER) de propósito general (ej. CoNLL-2003, OntoNotes) no cubren tipos críticos de PII como identificadores financieros o credenciales.
  • Los modelos específicos de PII o financieros están "atrapados en silos" de sus dominios de entrenamiento, sin capacidad de generalización cruzada.

2. Metodología: Construcción de PIIBench

Los autores desarrollaron un pipeline de construcción de datos robusto para consolidar y normalizar múltiples fuentes.

A. Selección de Fuentes

Se seleccionaron 10 conjuntos de datos públicos de HuggingFace Hub, cubriendo cuatro áreas principales:

1. Corpus Sintéticos: ai4privacy (series de 300k/400k), isotonic-pii-200k, nvidia-nemotron.
2. Dominio Financiero: finer-139 (documentos SEC 10-K/10-Q), gretelai-finance.
3. NER General/Multilingüe: few-nerd, multinerd, wikiann, conll2003.

B. Pipeline de Normalización

Para unificar los datos, se implementó un proceso de tres etapas:

1. Normalización de Formato: Conversión de formatos heterogéneos (etiquetas BIO enteras, cadenas de texto, offsets de caracteres, XML) a un esquema BIO estandarizado.
2. Normalización de Etiquetas: Se mapearon 80+ variantes de etiquetas específicas de cada fuente a 48 tipos de entidades PII canónicas.
   • Ejemplos: Se consolidaron subtipos demográficos (NOMBRE, APELLIDO, PREFIJO) en una sola categoría PERSON. Se mantuvo FINANCIAL_ENTITY como categoría distinta para preservar la especificidad de las etiquetas XBRL. Se unificaron direcciones de criptomonedas en CRYPTO_ADDRESS.
3. Curación y Filtrado:
   • Supresión de Entidades Raras: Las entidades con menos de 500 menciones (principalmente artefactos de marcado HTML o configuraciones de servidor) se eliminaron para evitar ruido.
   • Capa de Muestreo: Se aplicó un límite (cap) de 150,000 registros a la fuente finer-139 (que originalmente representaba el 47% de los datos) para evitar el sesgo hacia el dominio financiero durante el entrenamiento.
   • División Estratificada: Se crearon particiones de entrenamiento/validación/prueba en una proporción 80/10/10, manteniendo la distribución proporcional de cada fuente en cada partición.

3. Contribuciones Clave

• Corpus Unificado: Un conjunto de datos masivo con 2,369,883 secuencias anotadas y 3.35 millones de menciones de entidades en 48 tipos canónicos.
• Pipeline de Normalización: Un método reproducible que resuelve la incompatibilidad de esquemas de 10 fuentes distintas.
• Evaluación Baseline Rigurosa: Se evaluaron 8 sistemas publicados en el conjunto de prueba retenido, estableciendo un límite inferior cuantitativo para el estado del arte actual.
• Código y Datos Abiertos: Todo el pipeline de construcción y los datos están disponibles públicamente.

4. Resultados de la Evaluación

Se evaluaron ocho sistemas en un subconjunto estratificado del conjunto de prueba (1,398 registros):

• Sistemas Evaluados:
  • Basados en reglas: Microsoft Presidio.
  • NER General: spaCy, BERT-base, XLM-RoBERTa, SpanMarker (mBERT y BERT).
  • Específicos de PII: Piiranha DeBERTa.
  • Específico Financiero: XtremeDistil FiNER.
• Rendimiento Global: Todos los sistemas obtuvieron un F1 por debajo de 0.14.
  • El mejor sistema fue Microsoft Presidio con un F1 de 0.1385, impulsado por sus expresiones regulares para PII estructurada (emails, tarjetas de crédito).
  • Los modelos de transformadores generales obtuvieron F1 entre 0.04 y 0.09.
  • XtremeDistil FiNER (especialista financiero) tuvo una precisión muy alta (0.699) pero un recall casi nulo (0.021) fuera de su dominio, confirmando el problema de los silos.
• Análisis por Tipo de Entidad:
  • Entidades comunes como LOC y PERSON tuvieron un rendimiento moderado.
  • Tipos críticos de PII como credenciales (usuario, contraseña), identificadores financieros (IBAN, SSN) y entidades financieras XBRL obtuvieron un F1 de 0.00 en casi todos los sistemas, excepto en sus modelos nativos específicos.

5. Significado e Impacto

El artículo demuestra cuantitativamente que ningún modelo existente cubre de manera efectiva más que una pequeña fracción de los tipos de entidades PII presentes en entornos de producción reales.

• Desafío de Evaluación: PIIBench presenta un desafío de evaluación sustancialmente más difícil y completo que cualquier conjunto de datos de una sola fuente existente.
• Prueba del Problema de Silos: Los resultados validan que los modelos actuales no generalizan bien entre dominios (ej. un modelo financiero no detecta nombres personales en texto libre, y un modelo general no detecta códigos XBRL).
• Base para Futuro Trabajo: PIIBench sirve como un banco de pruebas riguroso para desarrollar y evaluar nuevos modelos que requieran una comprensión multi-dominio y una capacidad de generalización real para la privacidad de datos.

En conclusión, PIIBench no solo proporciona un corpus de entrenamiento masivo, sino que establece un nuevo estándar de dificultad que obliga a la comunidad de investigación a abandonar los enfoques de "silos" y desarrollar arquitecturas capaces de manejar la diversidad inherente de la información personal en el mundo real.