RUB: Evaluating Residual Knowledge in Unlearned Models

Resumen Técnico: RUB: Evaluación del Conocimiento Residual en Modelos Desaprendidos

Planteamiento del Problema
El Desaprendizaje de Máquinas (Machine Unlearning - MUL) ha emergido como un mecanismo crítico para la protección de la privacidad (por ejemplo, cumplimiento de GDPR, CCPA) y la regulación de contenidos, con el objetivo de eliminar selectivamente las influencias de datos específicos de los modelos entrenados. Las técnicas existentes, que se centran en verificar la ejecución del desaprendizaje —asegurando que el modelo se comporte de manera similar a uno reentrenado desde cero sobre el conjunto de retención—, pasan por alto en gran medida una brecha de seguridad crítica: la robustez contra la recuperación adversarial. La investigación previa ha demostrado que los modelos desaprendidos, particularmente en modelos de difusión (DMs) y modelos de lenguaje extensos (LLMs), pueden ser manipulados mediante entradas diseñadas (por ejemplo, prompts adversariales o ruido) para hacer resurgir datos olvidados, invalidando efectivamente el proceso de desaprendizaje. Existe una falta de un marco unificado para evaluar sistemáticamente esta vulnerabilidad a través de diversas tareas de visión computacional.

Metodología: El Marco RUB
Para abordar esta brecha, los autores proponen RUB (Robust Unlearning Benchmark), un marco unificado diseñado para evaluar la robustez de los algoritmos de desaprendizaje frente al resurgimiento de información adversarial post-desaprendizaje.

1. Principio Central (Desaprendizaje Robusto): El artículo define el "Desaprendizaje Robusto" como un proceso donde un modelo desaprendido no solo es indistinguible de un homólogo reentrenado en el conjunto de retención, sino también resiliente contra intentos adversariales de recuperar información olvidada. Formalmente, para cualquier punto de datos $x$ en el conjunto de olvido $D_u$ y cualquier perturbación adversarial $\delta_x$, el modelo desaprendido $f_u$ debe mantener una divergencia significativa respecto a la salida del modelo original con respecto a $x$, incluso bajo ataque.
2. Ataque de Mapeo de Desaprendizaje (Unlearning Mapping Attack - UMA): Los autores introducen UMA como una herramienta de sondeo adversarial modular y generalizable. UMA se define como una estrategia de ataque que modifica la entrada de un modelo para causar que la salida revele o aproxime la información que se pretende eliminar.
   • Formulación: En un entorno de caja blanca (asumiendo acceso total tanto al modelo original como al desaprendido), UMA busca encontrar una perturbación óptima $\delta_i$ que minimice la distancia entre la salida del modelo desaprendido sobre la entrada perturbada y la salida del modelo original sobre los datos de olvido originales: $\arg \min_{\delta_i} D[f_u(\delta_i, \theta_u), f(x_i, \theta)]$.
   • Instanciación Específica de la Tarea:
     • Tareas Discriminativas: Utiliza la Divergencia KL sobre los logits.
     • Imagen-a-Imagen (I2I): Utiliza el Error Cuadrático Medio (MSE) para la reconstrucción.
     • Texto-a-Imagen (T2I): Aprovecha la estimación del nivel de ruido del proceso de difusión, optimizando sobre los pasos de difusión para recuperar el concepto objetivo.
3. Alcance del Benchmark: RUB evalúa 15 algoritmos de desaprendizaje de vanguardia a través de tres tareas distintas de visión computacional:
   • Clasificación de Imágenes: Los conjuntos de datos incluyen CIFAR10, CIFAR100 y Tiny-ImageNet.
   • Reconstrucción Imagen-a-Imagen: Utiliza ImageNet-1k con una configuración de Autoencoder Enmascarado (MAE).
   • Síntesis Texto-a-Imagen: Evalúa modelos de difusión en conceptos como "Iglesia", "Camión de Basura", "Desnudez", etc., utilizando el código base UnlearnDiffAtk.
4. Métricas de Evaluación: El benchmark emplea métricas específicas de cada tarea:
   • Clasificación: Precisión de Desaprendizaje (UA, definida como la precisión bruta sobre el conjunto de olvido, donde menor es mejor), tasa de éxito del Ataque de Inferencia de Membresía (MIA) y Precisión de Prueba (TA) para medir los compromisos de utilidad.
   • I2I: Inception Score (IS) y Fréchet Inception Distance (FID).
   • T2I: Tasa de Éxito del Ataque (ASR) y el número de pasos de optimización requeridos para lograr un ataque exitoso.

Resultados Clave
Experimentos extensos a través de 15 métodos de desaprendizaje revelan vulnerabilidades significativas:

• Tareas Discriminativas: Mientras que el reentrenamiento (el estándar de oro) logra una fuerte robustez, los métodos de desaprendizaje existentes (por ejemplo, FT, RL, IU, SalUn) muestran grados variables de vulnerabilidad. A medida que la complejidad del conjunto de datos aumenta (de CIFAR10 a Tiny-ImageNet), tanto la eficacia del desaprendizaje como la robustez caen drásticamente. Muchos métodos que pasan las métricas de verificación estándar fallan completamente bajo el sondeo adversarial, con puntuaciones altas de UA y MIA bajo ataque.
• Tareas I2I: Los modelos desaprendidos a menudo fallan en reconstruir imágenes del conjunto de olvido bajo condiciones normales, pero pueden ser coaccionados para generar reconstrucciones de alta calidad del contenido olvidado cuando se les proporciona entradas adversariales. Pequeñas perturbaciones de ruido suelen ser suficientes para eludir el mecanismo de desaprendizaje.
• Tareas T2I: A pesar de demostrar una fuerte eficacia de desaprendizaje inicial, la mayoría de los métodos de desaprendizaje basados en difusión (por ejemplo, AdvUnlearn, EraseDiff, ESD) exhiben una robustez limitada. Los ataques adversariales recuperan con éxito los conceptos olvidados con distintos grados de dificultad (medidos por pasos de ataque), lo que indica que el conocimiento residual persiste.
• Hallazgo General: Existe una brecha constante entre la "eficacia del desaprendizaje" (rendimiento en métricas estándar) y la "robustez del desaprendizaje". La mayoría de los métodos actuales no son resilientes a las estrategias de recuperación adversarial.

Significancia y Reivindicaciones
El artículo posiciona la Robustez como el criterio central para evaluar el desaprendizaje de máquinas, argumentando que pasar la verificación estándar es insuficiente si el modelo sigue siendo vulnerable a la recuperación adversarial.

• Primer Benchmark Integral: RUB se presenta como el primer marco para evaluar sistemáticamente los algoritmos de desaprendizaje contra la recuperación de información adversarial post-desaprendizaje a través de diversas tareas de visión.
• Protocolo Unificado: Proporciona un protocolo estandarizado y extensible (UMA) para verificar empíricamente si los métodos de desaprendizaje realmente eliminan el conocimiento residual.
• Dirección de Investigación: Los autores afirman que sus hallazgos resaltan debilidades fundamentales en los métodos de desaprendizaje actuales, instando a la comunidad a ir más allá de la mera eficacia e incorporar explícitamente consideraciones de robustez en el diseño de futuros algoritmos de desaprendizaje. El objetivo es allanar el camino para prácticas de desaprendizaje más fiables y seguras que puedan resistir intentos maliciosos de recuperar la información olvidada.

El artículo concluye que, si bien los métodos actuales ofrecen un punto de partida, aún no son lo suficientemente robustos para escenarios de alto riesgo de privacidad y regulación de contenidos, y que RUB sirve como una herramienta necesaria para impulsar el desarrollo de técnicas de desaprendizaje verdaderamente resilientes.