Revisiting the Past: Data Unlearning with Model State History

Aquí se presenta un resumen técnico detallado del artículo "Revisiting the Past: Data Unlearning with Model State History" (MSA), publicado como ponencia en la conferencia ICLR 2026.

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) se entrenan sobre masivos corpus web que a menudo contienen datos privados, material con derechos de autor, desinformación o datos de baja calidad. Cuando es necesario eliminar dichos puntos de datos problemáticos para cumplir con regulaciones (por ejemplo, el "Derecho al Olvido") o mejorar la calidad del modelo, el enfoque estándar —reentrenar el modelo desde cero en un conjunto de datos que excluye estos puntos— es computacionalmente prohibitivo.

Los algoritmos existentes de Olvido Machine (Machine Unlearning) intentan aproximar este reentrenamiento modificando los pesos del modelo a un costo menor. Sin embargo, estos métodos enfrentan desafíos significativos:

• Sub-olvido: El modelo conserva rastros de los datos que deben ser olvidados.
• Utilidad degradada: El modelo pierde capacidades en datos que debería haber retenido.
• Inexactitud: El modelo olvidado no coincide funcionalmente con un "modelo ideal" (uno entrenado desde cero sin los datos objetivo).
• Limitación de los enfoques actuales: La mayoría de los métodos existentes operan únicamente sobre la última instantánea (checkpoint) del modelo, intentando revertir la influencia de los datos utilizando solo el estado actual, lo que a menudo conduce a estimaciones ruidosas o sesgadas de la influencia de los datos.

2. Metodología: Aritmética del Estado del Modelo (MSA)

Los autores proponen MSA, un algoritmo de olvido novedoso que aprovecha las instantáneas intermedias del modelo (artefactos almacenados rutinariamente por los desarrolladores para la tolerancia a fallos y la experimentación) para estimar y revertir con mayor precisión la influencia de puntos de datos específicos.

Concepto Central

En lugar de calcular un "vector de olvido" basado en el modelo final (que ya ha internalizado los datos), MSA calcula el vector basándose en una instantánea ($C$) que precede a la introducción de los objetivos de olvido ($D_f$).

Pasos del Algoritmo

1. Entrada: Un modelo objetivo $\theta_D$ (entrenado con datos completos $D$), una instantánea intermedia $\theta_0$ (entrenada con datos $D \setminus D_f$) y el conjunto de olvido $D_f$.
2. Cálculo del Vector de Olvido ($\vec{\theta}_f$):
   • Ajuste fino (fine-tune) de la instantánea $\theta_0$ sobre el conjunto de olvido $D_f$ para obtener un nuevo estado $\theta_1$.
   • Calcular la diferencia: $\vec{\theta}_f = \theta_1 - \theta_0$. Este vector representa la influencia pura de $D_f$ sobre los parámetros del modelo antes de que el modelo tuviera otro conocimiento conflictivo.
3. Aplicación del Olvido:
   • Restar el vector de olvido del modelo objetivo: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, donde $\alpha$ es un factor de escala.
4. Vector de Retención Opcional ($\vec{\theta}_r$):
   • Si está disponible un conjunto de retención $D_r$, se puede calcular un vector similar ajustando finamente $\theta_0$ sobre $D_r$ para obtener $\theta_2$, donde $\vec{\theta}_r = \theta_2 - \theta_0$.
   • La actualización final se convierte en: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Idea Clave

Los autores hipotetizan que los vectores derivados del modelo final están entrelazados con el conocimiento existente del modelo, lo que los convierte en estimaciones pobres de la influencia específica de los datos. Al utilizar una instantánea "limpia" de antes de que se vieran los datos, MSA aísla el efecto semántico del conjunto de olvido de manera más efectiva.

3. Contribuciones Clave

• Nuevo Marco: Introducción de MSA, que reutiliza las instantáneas de entrenamiento estándar para el olvido de datos post-hoc, cambiando el paradigma de "solo estado final" a "consciente de la historia de estados".
• Nuevas Métricas de Evaluación: El artículo critica las métricas estándar como ROUGE-L para el olvido (que pueden ser engañadas por la similitud sintáctica a pesar de errores fácticos) e introduce métricas semánticas basadas en GPT-4o:
  • Accforget: Mide si el modelo evita con éxito generar la verdad fundamental para los elementos olvidados.
  • Accrecover: Mide si la salida del modelo se alinea con el "modelo ideal" (el modelo que nunca vio los datos).
  • Accretain: Mide la preservación del conocimiento sobre datos no olvidados.
• Evaluación Exhaustiva: Evaluación en tres benchmarks principales: TOFU (autores ficticios), RESTOR (restauración de conocimiento corrompido por desinformación) y MUSE-Books (memorización de libros y privacidad).
• Análisis de Robustez: Demostración de que MSA sigue siendo efectivo incluso cuando la instantánea utilizada es cientos de miles de millones de tokens anterior al objetivo de olvido, aunque las instantáneas más cercanas producen mejores resultados.

4. Resultados Experimentales

Los autores evaluaron MSA frente a líneas base de última generación (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) en modelos OLMo-2-7B y Llama-3.1/3.2.

• Benchmark TOFU:
  • Las variantes de MSA (por ejemplo, usando instantáneas 3.6T de tokens anteriores) lograron un rendimiento competitivo o superior en todas las métricas en comparación con las líneas base.
  • A diferencia de las líneas base que a menudo sacrifican la utilidad (Accretain) para lograr el olvido, o no logran recuperar el comportamiento ideal (Accrecover), MSA equilibró eficazmente los tres objetivos.
  • Por ejemplo, en la tarea forget10, las variantes de MSA lograron ~89% de Accforget y ~96% de Accrecover, mientras que líneas base como RMU tuvieron un alto olvido pero una recuperación muy baja (negándose a responder en lugar de olvidar).
• Benchmark RESTOR:
  • MSA superó significativamente a las líneas base en la restauración de conocimiento corrompido por desinformación.
  • En Llama-3.1-8B, la precisión del modelo ideal fue del 64.80%. El modelo corrompido cayó al 44.31%. MSA recuperó la precisión al 48.45% - 49.19%, mientras que líneas base como NPO y SatImp recuperaron solo hasta ~44-46%.
• Benchmark MUSE-Books:
  • MSA demostró un fuerte rendimiento en Ataques de Inferencia de Membresía (MIN-K% y MIN-K%++), indicando que el modelo olvidado ya no reconoce los libros olvidados como parte de sus datos de entrenamiento.
  • Las variantes de MSA que utilizan instantáneas más cercanas (por ejemplo, MSA3859B) igualaron o superaron el rendimiento del modelo ideal en las métricas de fuga de privacidad.
• Distancia de la Instantánea:
  • Los experimentos mostraron que, aunque las instantáneas que preceden inmediatamente al conjunto de olvido son óptimas, las instantáneas cientos de miles de millones de tokens anteriores aún producen resultados sólidos, haciendo que MSA sea práctico incluso para modelos con registro de instantáneas infrecuente.

5. Significado y Conclusión

• Practicidad: MSA ofrece una solución computacionalmente eficiente ($O(|D_f|)$) que utiliza artefactos (instantáneas) ya presentes en las pipelines estándar de entrenamiento de LLM, sin requerir cambios en el proceso de entrenamiento original.
• Cumplimiento Normativo: Proporciona un camino viable para que los proveedores de modelos cumplan con las solicitudes del "Derecho al Olvido" sin el costo del reentrenamiento completo.
• Cambio Teórico: El trabajo desafía la suposición de que el olvido debe depender únicamente del estado final del modelo. Sugiere que la historia del estado del modelo es un recurso crítico para la eliminación precisa de datos.
• Dirección Futura: El artículo aboga para que los desarrolladores de modelos mantengan índices de cuándo los modelos encuentran información específica durante el entrenamiento, no solo para la atribución, sino para habilitar técnicas avanzadas de olvido como MSA.

En resumen, MSA representa un avance significativo en el olvido machine al aprovechar la dinámica temporal del entrenamiento para lograr una eliminación de datos más precisa, que preserve la utilidad y sea funcionalmente fiel.