Redact or Keep? A Fully Local AI Cascade for Educational Dialogue De-Identification

Resumen Técnico: ¿Redactar o Mantener? Un Cascada de IA Totalmente Local para la Desidentificación de Diálogos Educativos

1. Planteamiento del Problema

Las transcripciones de diálogos educativos son un recurso crítico para la investigación, pero contienen información de identificación personal (PII) sensible. La desidentificación de estos datos presenta un desafío único, distinto de la Reconocimiento de Entidades Nombradas (NER) estándar o la desidentificación clínica: la ambigüedad entre nombre curricular y personal. En contextos educativos, una forma superficial como "Riemann" puede referirse a un concepto matemático (sumas de Riemann) que debe preservarse para la utilidad analítica, o a un estudiante llamado "Maria Riemann" que debe ser redactado.

Las soluciones existentes enfrentan un compromiso:

• APIs de LLM Comerciales: Ofrecen una alta precisión de detección, pero requieren el egreso de datos hacia terceros, lo que viola las políticas de gobernanza de privacidad y los requisitos de cumplimiento de muchas instituciones.
• Sistemas NER Locales: Preservan la gobernanza de los datos, pero a menudo fallan al resolver la ambigüedad, lo que conduce a una sobredactación del contenido curricular o a una subredactación de la PII real.

El artículo postula que el desafío central no es simplemente detectar entidades, sino tomar una decisión de privacidad contextual (Redactar vs. Mantener) para preservar la utilidad analítica de los datos satisfaciendo al mismo tiempo las restricciones de privacidad.

2. Metodología: La Cascada Totalmente Local

Los autores proponen un marco de cascada de dos etapas, totalmente local, que replantea la desidentificación de una extracción de entidades de código abierto a un triaje de privacidad restringido.

Etapa 1: Proponente de Intervalos de Máxima Recuperación (Recall-First Span Proposer)
La primera etapa está diseñada para maximizar la recuperación, generando intencionalmente intervalos candidatos para asegurar que no se pase por alto ninguna PII potencial. Consiste en una unión de dos fuentes:

• Codificadores Ligeros: Una unión de modelos fine-tuned DeBERTa-v3-base y ModernBERT-base entrenados con clasificación de tokens BIO tipificada.
• Reglas Deterministas: Patrones RegEx directos para identificadores estructurados (Email, URL, IP, Teléfono) y léxicos personalizados (por ejemplo, nombres de proveedores de tutores).
• Mecanismo: Cualquier intervalo propuesto por cualquiera de las fuentes se pasa a la siguiente etapa. Esta etapa prioriza la recuperación sobre la precisión, aceptando que muchos candidatos serán falsos positivos.

Etapa 2: Revisor Alineado con la Cascada (Cascade-Aligned Reviewer)
La segunda etapa actúa como un clasificador binario que inspecciona cada intervalo candidato dentro de su contexto de diálogo circundante y el rol del interlocutor.

• Formulación de la Tarea: En lugar de extraer todas las entidades, el revisor toma una decisión binaria de Redactar/Mantener. Esto convierte la tarea de NER en un triaje de privacidad.
• Alineación de Entrenamiento: Las etiquetas de entrenamiento se alinean mecánicamente con las decisiones de despliegue: la superposición con anotaciones de oro de PII se mapea como "Redactar", mientras que la falta de superposición se mapea como "Mantener".
• Configuraciones Evaluadas:
  1. RoBERTa (125M): Fine-tuning completo.
  2. Gemma E4B-it (4B): Fine-tuning mediante LoRA.
  3. Gemma-4-31B-it (31B): Fine-tuning mediante LoRA.
• Prompt del Sistema: Se instruye a los revisores para que preserven los nombres utilizados en el contenido educativo mientras redactan las identidades reales de los estudiantes.

Comparaciones de Línea Base (Baselines)
El estudio compara la cascada contra:

• Baselines de Solo LLM: Extracción de un solo paso usando Gemma 4B y 31B (zero-shot y LoRA fine-tuned) en diálogos completos.
• API Comercial: Gemini 3.1 Pro (zero-shot).
• Estándares de la Industria: Presidio por defecto y spaCy.

3. Contribuciones Clave

• Formulación del Problema: Demuestra que para la desidentificación educativa, la formulación del problema (triaje de dos etapas) importa más que la escala del modelo por sí sola.
• Despliegue Totalmente Local: Proporciona un pipeline que logra una alta precisión sin llamadas a APIs externas, permitiendo el despliegue en hardware de consumo (una sola laptop) bajo estrictas restricciones de gobernanza.
• Resolución de Ambigüedad: Aborda específicamente la ambigüedad de "nombre curricular-personal" que los sistemas NER genéricos no logran resolver, utilizando una etapa de revisión dedicada.
• Compromisos de Eficiencia: Cuantifica el análisis de costo-beneficio entre el tamaño del modelo (4B vs. 31B) y el rendimiento en un entorno local.

4. Resultados

La evaluación se realizó sobre transcripciones de tutoría de matemáticas de dos plataformas (Plataforma A: corta, centrada en preguntas; Plataforma B: larga, conversacional).

Rendimiento en el Conjunto de Prueba Canónico:

• Mejor Sistema Local: La cascada Unión + Gemma 31B logró un F1 macro de 0.958.
• Comparación con Solo LLM: El mismo modelo 31B usado como detector de un solo paso (LLM-only) logró solo un F1 de 0.767.
• Comparación con API Comercial: La API de Gemini 3.1 Pro logró un F1 de 0.706.
• Comparación con Estándares de la Industria: Presidio por defecto y spaCy lograron puntuaciones F1 muy bajas (0.354 y 0.078, respectivamente) debido a una masiva sobredactación (baja precisión).

Rendimiento en el Conjunto de Desafío de Nombres Ambiguos:
Se utilizó un conjunto dirigido de 130 diálogos donde coocurren nombres de estudiantes y nombres curriculares para poner a prueba los modelos.

• Robustez: La cascada Unión + Gemma 31B se degradó solo 0.03 F1 (de 0.958 a 0.932) al pasar del conjunto canónico al conjunto de desafío.
• Modelos más Pequeños: Los revisores más pequeños (RoBERTa, Gemma 4B) se degradaron significativamente, cayendo 0.19–0.25 F1.
• Colapso de Solo LLM: El baseline de LLM-only de 4B colapsó a 0.323 F1 en el conjunto de desafío.

Huella de Despliegue (Apple M5 Max, 128GB RAM):

• El sistema Unión + Gemma 31B requirió ~4.3 horas de entrenamiento por semilla y ~18 GB de memoria de inferencia, logrando la mayor precisión.
• El Unión + Gemma 4B ofreció un fuerte compromiso de eficiencia, reteniendo la mayor parte de la precisión (0.943 F1) con aproximadamente la mitad de la memoria (9.5 GB) y un mayor rendimiento (throughput).

5. Significado y Reivindicaciones

El artículo afirma que para la desidentificación educativa, la formulación del problema es más crítica que la escala del modelo. Al separar la tarea en una etapa de propuesta de alta recuperación y una etapa de revisión contextual, el sistema equilibra con éxito la precisión de detección con la preservación curricular.

Reivindicaciones clave incluyen:

• Despliegue Preservador de la Privacidad: Se puede lograr una desidentificación de alto rendimiento de forma totalmente local, eliminando la necesidad de egreso de datos a APIs comerciales.
• Necesidad Contextual: Resolver la ambigüedad de nombres requiere una decisión de "Redactar/Mantener" basada en el contexto y el rol del interlocutor, lo cual es superior a la extracción de intervalos estándar.
• Escalabilidad: El enfoque es práctico para instituciones con restricciones de gobernanza locales, funcionando eficazmente en hardware de clase laptop.

Limitaciones Reconocidas:

• La evaluación se limita a transcripciones de tutoría de matemáticas en inglés.
• La cascada introduce latencia de inferencia en comparación con los detectores de un solo paso.
• Las estimaciones de rendimiento son específicas para la arquitectura de memoria unificada de Apple Silicon.
• El conjunto de desafío es una prueba de estrés dirigida, no una muestra de despliegue representativa.