Resumen Técnico: Desidentificación que Preserva la Utilidad para la Tutoría Matemática

1. Declaración del Problema

El intercambio de datos de diálogo a gran escala es esencial para avanzar en la ciencia de la enseñanza y el aprendizaje, no obstante, la desidentificación rigurosa sigue siendo una barrera significativa. En las transcripciones de tutoría matemática, surge un desafío específico conocido como ambigüedad numérica. Las expresiones matemáticas (por ejemplo, fracciones, fechas en problemas verbales, resultados de cálculos) frecuentemente comparten similitudes a nivel superficial con Información de Identificación Personal (PII) estructurada, como fechas, números de teléfono o números de licencia de conducir.

Los sistemas genéricos de detección de PII, incluidas herramientas estándar de la industria como Microsoft Presidio, a menudo identifican erróneamente estos segmentos matemáticos como identificadores sensibles. Esto conduce a una sobre-redacción, donde el contenido instruccional central se elimina de los datos, volviéndolos inútiles para la investigación educativa posterior. Además, existe una falta de puntos de referencia específicos del dominio para evaluar la detección de PII en contextos de tutoría matemática, ya que los datos originales sin redactar rara vez son compartibles debido a las regulaciones de privacidad.

2. Metodología

La investigación sigue un flujo de trabajo de tres fases para abordar la pregunta de investigación: ¿Cómo podemos detectar con precisión la PII en transcripciones de tutoría matemática preservando la utilidad educativa de los datos?

Fase 1: Construcción del Conjunto de Datos (MathEd-PII)

Dado que los datos originales sin redactar no estaban disponibles, los autores construyeron MathEd-PII, el primer conjunto de datos de referencia para la detección de PII en tutoría matemática.

• Fuente: 1.000 sesiones de tutoría (115.620 mensajes) de una plataforma con sede en EE. UU., inicialmente redactadas por el proveedor utilizando Microsoft Presidio.
• Flujo de trabajo LLM con intervención humana: Para crear una verdad fundamental fiable sin acceso a los datos originales, los autores emplearon un proceso de tres pasos:
  1. Evaluación Inicial: Un LLM evaluó una muestra de mensajes redactados para identificar PII omitida (falsos negativos) y redacciones incorrectas (falsos positivos), inferiendo texto original plausible cuando fue necesario.
  2. Validación Humana: Los investigadores revisaron manualmente las salidas del LLM, refinando los prompts de forma iterativa hasta que se resolvieron el 95% de los problemas identificados.
  3. Generación de Supuestos: El flujo de trabajo validado se aplicó al corpus completo. El sistema reemplazó la PII confirmada con supuestos conscientes del contexto y que preservan la privacidad, y eliminó las etiquetas para el contenido marcado incorrectamente como PII.
• Resultado: Un punto de referencia de 1.000 sesiones que contiene 1.995 etiquetas de PII validadas, significativamente menos que las 5.263 etiquetas en el conjunto de datos original del proveedor, lo que indica una sobre-redacción masiva en la fuente.

Fase 2: Segmentación Matemática y Análisis de Ambigüedad

Para investigar la hipótesis de que los falsos positivos se agrupan en regiones densas en matemáticas, los autores desarrollaron un módulo de segmentación basado en densidad.

• Cálculo de Densidad Matemática: Los mensajes se puntuaron basándose en una suma ponderada de vocabulario matemático (derivado de componentes de aprendizaje de K-12), frases de varias palabras y expresiones regulares para patrones matemáticos.
• Segmentación: Los mensajes que superaban un umbral de densidad se convirtieron en mensajes "ancla". Los mensajes adyacentes se añadieron al segmento si su similitud semántica (mediante incrustaciones) con el centroide del segmento superaba un umbral de similitud.
• Análisis: Esto permitió a los autores comparar el rendimiento de la detección de PII específicamente dentro de "Segmentos Matemáticos" versus "Segmentos No Matemáticos".

Fase 3: Evaluación de la Estrategia de Detección

Se evaluaron cuatro estrategias de detección en el punto de referencia MathEd-PII:

1. Línea Base: Microsoft Presidio (v2.2) con reglas predeterminadas y personalizadas.
2. Prompting Básico: LLMs instruidos para identificar toda la PII sin contexto de dominio.
3. Prompting Consciente de Matemáticas: LLMs instruidos con conocimiento específico sobre tutoría matemática para reducir los falsos positivos numéricos.
4. Prompting Consciente de Segmentos: LLMs proporcionados con una etiqueta explícita que indica si un mensaje pertenece a un "Segmento Matemático" o a un "Segmento No Matemático".

Se probaron seis LLMs (incluidos Claude 4.5, GPT-5.2 y Gemini 3 Pro), seleccionándose los mejores rendimientos para las estrategias de prompting avanzado. El rendimiento se midió utilizando Precisión, Recuperación y puntuación F1, calculándose intervalos de confianza del 95% mediante remuestreo de bootstrap.

3. Resultados Clave

Análisis de Fallos (PQ1)

• Ambigüedad Numérica Confirmada: Las redacciones falsas de PII están estructuralmente concentradas en regiones densas en matemáticas.
• Distribución: El 55,5% de todas las redacciones falsas ocurrieron en segmentos densos en matemáticas, los cuales constituyen solo el 36,6% del corpus.
• Disparidad de Razón: En los segmentos matemáticos, la razón de falsos positivos a PII verdadera fue aproximadamente 4,88:1. En los segmentos no matemáticos, esta razón fue 0,64:1.
• Errores Específicos: Los detectores genéricos identificaron frecuentemente de manera errónea operaciones matemáticas (por ejemplo, "9351 / 7") como Licencias de Conducir de EE. UU. o Números de Curso, y nombres ficticios en problemas verbales (por ejemplo, "Si Alex tiene 5 manzanas") como entidades PERSON reales.

Evaluación del Método (PQ3)

• Rendimiento de la Línea Base: Microsoft Presidio logró una alta recuperación (78%) pero una precisión extremadamente baja (0,25), resultando en una pobre puntuación F1 de 0,379.
• Rendimiento de LLM:
  • Prompting Básico: Mejoró significativamente las puntuaciones F1 (por ejemplo, Gemini 3 Pro: 0,818).
  • Prompting Consciente de Matemáticas: Mejoró aún más la precisión abordando explícitamente la ambigüedad numérica (F1: 0,802 para Claude 4.5 Opus).
  • Prompting Consciente de Segmentos: Logró el rendimiento general más alto. Gemini 3 Pro con prompting consciente de segmentos alcanzó una puntuación F1 de 0,821 (Precisión: 0,888, Recuperación: 0,764).
• Impacto en Falsos Positivos: El enfoque consciente de segmentos redujo los falsos positivos en categorías numéricas críticas en más del 90% (por ejemplo, reduciendo los falsos positivos de FECHA en un 99,5% y eliminando por completo los falsos positivos de LICENCIA_DE_CONDUCCIÓN_DE_EE.UU.) manteniendo niveles de recuperación comparables a la línea base.

4. Contribuciones Clave

1. Identificación de la Ambigüedad Numérica: El artículo establece la ambigüedad numérica como un modo de fallo central en la desidentificación del diálogo de tutoría matemática, demostrando que las herramientas estándar no pueden distinguir entre notación matemática e identificadores sensibles sin contexto de dominio.
2. Punto de Referencia MathEd-PII: La introducción del primer conjunto de datos de referencia públicamente disponible para la detección de PII en tutoría matemática, construido mediante un flujo de trabajo novedoso de supuestos LLM con intervención humana que permite una evaluación rigurosa sin compartir datos originales sin redactar.
3. Evidencia para el Modelado Consciente del Dominio: Demostración empírica de que la desidentificación que preserva la utilidad requiere modelado consciente del dominio. Específicamente, incorporar el contexto del discurso matemático (mediante etiquetas de segmentación) en el prompting de LLM supera sustancialmente a las líneas base agnósticas del dominio.

5. Significado y Afirmaciones

Los autores afirman que la desidentificación para el diálogo de tutoría no puede tratarse como un paso de preprocesamiento agnóstico del dominio. El estudio proporciona evidencia de que preservar la utilidad analítica requiere incorporar el contexto específico del dominio (matemáticas).

• Privacidad vs. Utilidad: El trabajo demuestra que es posible lograr una alta protección de la privacidad (eliminando la PII verdadera) sin sacrificar la fidelidad instruccional de los datos (preservando el contenido matemático), siempre que los sistemas de detección sean conscientes del dominio.
• Contribución Metodológica: El artículo ofrece un flujo de trabajo replicable para generar datos de referencia de alta calidad en dominios sensibles a la privacidad donde los datos originales no pueden compartirse, utilizando LLMs para generar supuestos coherentes contextualmente.
• Limitaciones: Los autores señalan que el conjunto de datos se limita a una sola plataforma de EE. UU. y que, aunque la precisión mejoró significativamente, la optimización de la recuperación sigue siendo un área para trabajo futuro. También advierten que la dependencia actual del prompting puede ser frágil a través de versiones de modelos, sugiriendo trabajo futuro en el ajuste fino de modelos especializados.

En conclusión, el artículo argumenta que, para que los datos educativos basados en diálogo sean compartibles y útiles, las tuberías de desidentificación deben evolucionar desde enfoques genéricos basados en reglas o modelos hacia estrategias conscientes del dominio que comprendan la diferencia semántica entre un problema matemático y un identificador personal.