Resumen Técnico: Memorización No Intencionada de Información Sensible en Modelos de Lenguaje Ajustados con Fine-Tuning

Definición del Problema

Este trabajo aborda una vulnerabilidad crítica y poco explorada en los Modelos de Lenguaje de Gran Tamaño (LLMs): la memorización no intencionada de Información de Identificación Personal (PII) que aparece exclusivamente en las entradas del modelo, pero no en los objetivos de entrenamiento.

Mientras que la investigación previa se ha centrado en la memorización durante el pre-entrenamiento o en tareas de ajuste fino donde la PII forma parte del objetivo deseado (por ejemplo, reconocimiento de entidades nombradas), este estudio aísla escenarios donde los datos sensibles (como nombres de pacientes en registros médicos) están presentes únicamente en el contexto de entrada. En estos escenarios de "solo entrada", la tarea derivada (por ejemplo, clasificación de diagnóstico o planificación de seguimiento) no requiere que el modelo produzca la PPI. No obstante, los autores demuestran que el ajuste fino (FT) en tales conjuntos de datos sensibles provoca que los modelos internalicen y, posteriormente, filtren esta PII irrelevante cuando se les sondea mediante prompts adversarios.

El modelo de amenaza asume un entorno de caja negra donde los adversarios tienen acceso al modelo a través de consultas de API y poseen conocimiento parcial del conjunto de datos de ajuste fino (por ejemplo, Registros de Salud Electrónicos anonimizados), lo que les permite diseñar "Ataques de Prefijo Verdadero" (TPA) para extraer tokens memorizados.

Metodología

Configuración Experimental

Los autores utilizan tres conjuntos de datos distintos para evaluar la memorización a través de diversas complejidades y dominios:

1. GretelAI-Financial: Un conjunto de datos sintético y multilingüe (~30k muestras, 7 idiomas) enfocado en la clasificación de texto financiero.
2. Informes de Patología: 2,553 documentos en alemán que resumen análisis de tumores, anotados manualmente para PII.
3. Resúmenes de Alta (DS): 26,306 informes clínicos en alemán utilizados para una tarea de generación de planes de seguimiento, con PII identificada mediante un pipeline de múltiples etapas (regex, detección por LLM, verificación manual).

El vector de ataque principal es el Ataque de Prefijo Verdadero (TPA), donde un adversario proporciona un prefijo de los datos de entrenamiento inmediatamente anterior a un segmento de PII. Se considera que el modelo ha memorizado la PII si predice los tokens subsiguientes con alta probabilidad. Una variante de TPA Mejorado añade el primer carácter de la PII al prefijo para aumentar el éxito de la extracción.

Estrategias de Mitigación

Se evalúan cuatro enfoques de preservación de la privacidad para determinar su capacidad para reducir la filtración de PII manteniendo el rendimiento de la tarea:

1. Privacidad Diferencial (DP): Integra $(\epsilon, \delta)$-DP en el ajuste fino de QLoRA utilizando Opacus, introduciendo ruido en las actualizaciones de gradiente para limitar la influencia de muestras individuales.
2. Desaprendizaje de Máquina (UnDial): Un método de desaprendizaje dirigido basado en la autodestilación. Suprime los logits para tokens de PII específicos en un subconjunto disjunto de los datos de entrenamiento para "olvidarlos" sin desestabilizar el modelo.
3. Regularización: Una variante de UnDial integrada directamente en el bucle de ajuste fino, aplicando una función de pérdida enfocada solo en los tokens de PII para desalentar la memorización.
4. Optimización de Preferencia Directa (DPO): Alinea las salidas del modelo con las preferencias de privacidad tratando el texto original que contiene PII como respuestas "rechazadas" y las versiones enmascaradas como "preferidas".

Métricas de Evaluación

• Rendimiento de la Tarea: Exactitud (GretelAI), F1-score (Patología) y BERTScore-F1 (DS).
• Memorización: Medida mediante conteos de extracción de PII bajo decodificación Greedy, Muestreo (32 ejecuciones, temperatura 1.0) y memorización cruzada (comparando generaciones contra toda la PII del mismo tipo en el conjunto de datos).

Resultados Clave

Características de la Memorización de Solo Entrada

• Aumento de la Confianza: Los modelos ajustados exhiben una confianza significativamente mayor (menor log-verosimilitud negativa) en la predicción de tokens de PII en comparación con los modelos base, incluso cuando la PII es irrelevante para la tarea.
• La Frecuencia es un Mal Predictor: Contrario al supuesto de que los tokens de alta frecuencia son más propensos a ser memorizados, el estudio encuentra una correlación débil ($R^2 = 0.237$) entre el recuento real de una instancia de PII en el conjunto de entrenamiento y su extracción exitosa. La memorización parece depender más del contexto textual y la utilidad de la tarea que de la frecuencia bruta.
• Dependencia del Idioma: Las tasas de memorización varían significamente entre idiomas. En el entrenamiento multilingüe, el inglés y el español exhibieron tasas de extracción significativamente más altas que el alemán, el italiano y el sueco.
• Efectos de Escala: Los modelos más grandes (por ejemplo, 8B–12B parámetros) muestran una mayor capacidad base para revelar PII. Sin embargo, el efecto del ajuste fino sobre la memorización no es uniforme; mientras que los modelos más pequeños (1B–3B) muestran un aumento agudo en la filtración tras el FT, los modelos más grandes a veces muestran un aumento relativo menor en los recuentos de extracción bruta, aunque el volumen absoluto de PII filtrada sigue siendo alto.

Efectividad de las Estrategias de Mitigación

• Métodos de Post-Entrenamiento (DPO, UnDial): Estos métodos generalmente ofrecen los compromisos privacidad-utilidad más consistentes. Son robustos a las variaciones de hiperparámetros y menos intensivos en recursos. DPO, en particular, logra una alta exactitud en la tarea mientras reduce significativamente la filtración, especialmente en ataques basados en muestreo.
• Privacidad Diferencial (DP): La DP demuestra un fuerte potencial para reducir la filtración en configuraciones específicas (por ejemplo, reduciendo la memorización cruzada en más de un 60% en la tarea DS). Sin embargo, sufre de inestabilidad en el entrenamiento, requiere un ajuste cuidadoso de hiperparámetros y a menudo degrada el rendimiento de la tarea.
• Enfoques Híbridos: Combinar DP con DPO (DP-ϵ6 + DPO) no produjo lo mejor de ambos mundos. Aunque preservó la fuerza de la DP en la decodificación greedy, no heredó la robustez de DPO contra ataques de muestreo y resultó en un rendimiento de tarea ligeramente inferior al de DPO independiente.
• Escala y Privacidad: A medida que el tamaño del modelo aumenta, la eficacia de la DP para prevenir la memorización disminuye en relación con los métodos de alineación post-entrenamiento. DPO resulta notablemente más efectivo para modelos más grandes (por ejemplo, 8B), reduciendo sustancialmente la filtración mientras mantiene un rendimiento casi óptimo.

Significación y Reivindicaciones

El artículo afirma ser el primer estudio exhaustivo enfocado específicamente en la memorización no intencionada de PII donde los datos sensibles aparecen solo en las entradas. Su significación radica en:

1. Revelar un Riesgo Oculto: Demostrar que el ajuste fino en datos sensibles (como registros médicos) crea un vector de filtración para la PII incluso cuando la salida de la tarea no la requiere, desafiando el supuesto de que los datos irrelevantes para la tarea son seguros.
2. Benchmarking Empírico: Proporcionar una comparación sistemática de cuatro estrategias de mitigación principales, destacando que, si bien ningún método elimina la filtración por completo, la alineación post-entrenamiento (DPO) y el desaprendizaje (UnDial) ofrecen actualmente compromisos más estables y efectivos que la Privacidad Diferencial en muchos escenarios.
3. Guía Práctica: Los hallazgos sugieren que para desplegar LLMs ajustados en dominios sensibles (por ejemplo, salud), confiar únicamente en el ajuste fino estándar es insuficiente. Las técnicas de preservación de la privacidad deben integrarse explícitamente, con preferencia por los métodos de post-entrenamiento robustos o una DP cuidadosamente ajustada, reconociendo el persistente compromiso entre utilidad y privacidad.

Los autores concluyen que, si bien los métodos actuales ofrecen mejoras, queda un margen sustancial de mejora, y el riesgo persistente de memorización exige técnicas de preservación de la privacidad robustas y escalables antes de desplegar modelos en contextos sensibles.