Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

Resumen Técnico: Evaluación de Sensibilidad a la Privacidad Alineada con Humanos mediante Destilación de Modelos

1. El Problema

La evaluación precisa de la privacidad en datos textuales sigue siendo un desafío crítico en el procesamiento del lenguaje natural (PLN) que preserva la privacidad.

• Limitaciones de los enfoques actuales: Los marcos formales (como la privacidad diferencial) y las métricas basadas en ataques (tasas de re-identificación) capturan amenazas específicas, pero no reflejan la noción humana y contextual de lo que constituye contenido sensible.
• El dilema de los LLM: Los Grandes Modelos de Lenguaje (LLM) han demostrado ser evaluadores de privacidad alineados con los humanos, superando incluso el acuerdo entre anotadores humanos. Sin embargo, su despliegue masivo enfrenta dos barreras principales:
  1. Costo computacional y financiero: Son demasiado pesados para procesar grandes volúmenes de datos en tiempo real.
  2. Paradoja de privacidad: Enviar datos sensibles a APIs de terceros (LLM externos) para evaluar su privacidad viola las propias restricciones de privacidad que se intentan proteger.

2. Metodología

Los autores proponen una solución basada en la destilación de conocimiento para transferir la capacidad de razonamiento sobre privacidad de un modelo grande a modelos ligeros locales.

• Modelo Profesor: Se utiliza Mistral Large 3 (675B parámetros) como modelo maestro.
• Construcción del Dataset:
  • Se recopilaron 200,000 textos escritos por usuarios de 10 dominios diversos (blogs, correos electrónicos de Enron, preguntas médicas, foros de salud mental, Reddit, reseñas de Trustpilot/Yelp, Twitter, etc.).
  • Se excluyeron los datos usados en el benchmark humano original para evitar sesgos de entrenamiento.
  • Etiquetado: Mistral Large 3 anotó los textos utilizando una escala Likert de 5 puntos (1: Inofensivo a 5: Extremadamente privado), siguiendo la metodología estructurada de Meisenbacher et al. (2025). Esta escala considera tanto identificadores directos (nombres, contactos) como señales contextuales (temas sensibles, auto-revelación).
• Modelos Estudiantes: Se entrenaron clasificadores basados en codificadores (encoders) ligeros para realizar la clasificación de 5 clases:
  • Ettin-150M (149M parámetros).
  • Ettin-17M (17M parámetros).
  • BERT-base y ModernBERT-base.
  • Todos se entrenaron con los mismos hiperparámetros (tasa de aprendizaje $2 \times 10^{-5}$, 3 épocas, tamaño de lote 16).

3. Contribuciones Clave

1. Corpus de Privacidad a Gran Escala: Creación de un dataset de 200,000 textos anotados automáticamente por un LLM de última generación, cubriendo múltiples dominios y niveles de sensibilidad.
2. Destilación Exitosa: Demostración de que los modelos ligeros (150M parámetros) pueden aprender las capacidades de razonamiento de privacidad de un modelo gigante (675B parámetros), logrando una alineación con juicios humanos superior a la del propio modelo profesor.
3. Métrica Automatizada Escalable: Validación del uso de estos evaluadores destilados como métricas automáticas para cuantificar la reducción de privacidad en sistemas de desidentificación (anonimización), permitiendo inferencia local, rápida y privada.

4. Resultados

• Rendimiento de Clasificación: El modelo Ettin-150M alcanzó un 74.9% de precisión y un F1 macro de 68.1, superando significativamente a las líneas base (mayoría y aleatoria) y a modelos más pequeños como Ettin-17M.
• Alineación con Humanos (El hallazgo principal):
  • Se evaluó el acuerdo utilizando el coeficiente Krippendorff's $\alpha$ en un benchmark de 250 textos anotados por humanos.
  • Ettin-150M vs. Promedio Humano: $\alpha = 0.737$.
  • Mistral Large 3 (Profesor) vs. Promedio Humano: $\alpha = 0.716$.
  • Interpretación: El modelo destilado superó al modelo profesor en su alineación con el promedio de anotadores humanos. Esto sugiere que la destilación actúa como un proceso de "desruido", suavizando la estocasticidad del prompt del LLM y creando un límite de decisión más determinista y generalizable.
  • El acuerdo par a par del modelo con anotadores individuales ($\alpha = 0.514$) es comparable al acuerdo entre humanos mismos ($\alpha = 0.54$).
• Evaluación de Desidentificación: Al aplicar el modelo al Text Anonymization Benchmark (TAB):
  • El modelo detectó correctamente que enmascarar identificadores directos tiene un mayor impacto por entidad que enmascarar cuasi-identificadores.
  • La enmascaramiento completo redujo la puntuación de privacidad promedio de 3.25 a 1.39, elevando el porcentaje de textos clasificados como "Inofensivos" del 25.2% al 84.1%.
  • Un control de sanidad mostró que el enmascaramiento aleatorio (sin lógica) aumentó la puntuación de privacidad, confirmando que el modelo es sensible al contenido semántico y no solo a la presencia de tokens de censura.

5. Significado e Impacto

• Despliegue Privado y Local: Elimina la necesidad de enviar datos sensibles a la nube para evaluarlos, resolviendo la paradoja de privacidad. Permite la ejecución en dispositivos locales (on-device).
• Nuevos Flujos de Trabajo: Habilita aplicaciones prácticas como:
  • Curación de datasets (filtrado automático de ejemplos de alto riesgo antes del entrenamiento).
  • Evaluación automática de sistemas de anonimización.
  • Asistentes de escritura en tiempo real que alertan sobre fugas de información personal (PII).
• Investigación Futura: Los evaluadores compactos permiten estudiar señales de privacidad a escala mediante atribución y ediciones contrafactuales, y facilitan la optimización de compromisos entre utilidad y privacidad.

Limitaciones

• El modelo hereda los sesgos y la definición de privacidad del modelo profesor (Mistral Large 3).
• La privacidad se reduce a una sola puntuación (1-5), lo que puede mezclar dimensiones como la identificabilidad y la sensibilidad del tema.
• Los datos de entrenamiento son exclusivamente en inglés.
• La evaluación se realiza en textos aislados, sin considerar explícitamente el contexto (audiencia, propósito) que es fundamental para la privacidad contextual.

En conclusión, el artículo presenta un avance significativo hacia la privacidad operativa en PLN, demostrando que es posible comprimir la inteligencia de privacidad de modelos masivos en herramientas ligeras y eficientes sin sacrificar (e incluso mejorando) su alineación con la percepción humana.