Multi-Objective Reference-Aligned Machine Unlearning

Resumen Técnico: Aprendizaje No Deseado Alineado con Referencia Multi-Objetivo (RAUL)

Planteamiento del Problema
El aprendizaje no deseado (Machine Unlearning, MU) tiene como objetivo eliminar la influencia de muestras de entrenamiento específicas (el "conjunto de olvido", $F$) de un modelo desplegado, preservando al mismo tiempo el rendimiento en los datos restantes (el "conjunto de retención", $R$). Los métodos aproximados existentes suelen depender de la optimización de un solo objetivo, como el ascenso de gradiente (maximizar la pérdida en $F$) o el recetado aleatorio (random relabeling). Los autores argumentan que estos enfoques inducen un olvido catastrófico porque la dinámica de optimización del "olvido" (repeler las predicciones correctas) entra en conflicto con la "retención" (mantener las predicciones correctas en $R$). Este conflicto provoca que el modelo se desvíe de su conocimiento preentrenado, lo que resulta en una pérdida significativa de utilidad en el conjunto de retención.

Metodología: Aprendizaje No Deseado Alineado con Referencia (RAUL)
El artículo propone RAUL, un marco de optimización multi-objetivo (MOO) que redefine el aprendizaje no deseado como una optimización conjunta de olvido y retención, en lugar de una tarea adversaria de un solo objetivo.

1. Formulación de Objetivos:

   • Objetivo de Retención ($L_{retention}$): Minimización estándar de la entropía cruzada en el conjunto de retención $R$ para preservar la utilidad del modelo.
   • Objetivo de Olvido Basado en Referencia ($L_{forget}$): En lugar de maximizar la pérdida en $F$, RAUL minimiza la divergencia de Kullback-Leibler (KL) entre las predicciones del modelo en $F$ y una distribución de referencia ($p_{ref}$) que representa datos "no vistos". Esto alinea la confianza del modelo en las muestras olvidadas con cómo se comportaría ante datos que nunca ha encontrado.
     $$\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$$

2. Estrategias de Distribución de Referencia:
   El artículo introduce dos estrategias para instanciar $p_{ref}$:

   • Distribución Uniforme (UniDist): Establece $p_{ref}(y) = 1/C$ (donde $C$ es el número de clases). Esto actúa como una línea base con principios que no requiere datos adicionales, fomentando la máxima incertidumbre en las muestras olvidadas. Minimizar la KL respecto a una distribución uniforme es equivalente a maximizar la entropía de la predicción.
   • Distribución de Datos Reservados (HeldDist): Calcula una distribución de referencia empírica a partir de un conjunto de datos disjunto y no visto ($D_{ref}$) que no formó parte del entrenamiento, validación o prueba original. Esto proporciona un ancla estable que imita el comportamiento de datos verdaderamente no vistos, ofreciendo potencialmente una mejor estabilidad de retención.

3. Optimización mediante Descenso de Jacobiano:
   El problema se trata como una optimización bi-objetivo: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$. Para resolver esto sin ponderar manualmente los objetivos (lo que puede generar gradientes conflictivos), los autores emplean el descenso de Jacobiano utilizando el agregador UPGrad (Proyección de Gradientes No Conflictivos).

   • Los gradientes de los dos objetivos ($g_R$ y $g_F$) se apilan en una matriz Jacobiana.
   • UPGrad proyecta cada gradiente sobre el cono dual de todos los gradientes de los objetivos y los promedia.
   • Esta agregación encuentra un punto Pareto-estacionario donde la dirección de actualización no asciende en un objetivo mientras desciende en el otro, resolviendo efectivamente el conflicto de gradientes.

Contribuciones Clave

• Reformulación del Aprendizaje No Deseado: Cambia el paradigma de la maximización de la pérdida adversaria por la alineación de la predicción con una referencia, restringiendo el objetivo de olvido para evitar la deriva del modelo.
• Marco Multi-Objetivo: Modela explícitamente la tensión entre el olvido y la retención como un problema bi-objetivo, resuelto mediante optimización de estacionariedad de Pareto (descenso de Jacobiano) en lugar de una la escalarización lineal.
• Estrategias de Referencia: Propone dos distribuciones de referencia distintas (Uniforme y Held-out) para controlar el comportamiento del olvido, ofreciendo un compromiso entre la implementación libre de datos y la estabilidad de retención.
• Optimización Estable: Demuestra que reemplazar la maximización de la pérdida no acotada con la alineación de la KL acotada reduce el conflicto de gradientes, conduciendo a actualizaciones más estables.

Resultados Experimentales
Los autores evaluaron RAUL en tareas de clasificación de imágenes (CIFAR-10 con ResNet-18) bajo proporciones de olvido aleatorio del 10% y 50%, comparándolo con líneas base que incluyen Ascenso de Gradiente (GA), Recetado Aleatorio (RL), Funciones de Influencia (IU) y SalUn.

• Brecha de Rendimiento: Las variantes de RAUL lograron las brechas de rendimiento promedio más pequeñas en comparación con el reentrenamiento completo.
  • Al 10% de olvido, HeldDist-RAUL con UPGrad logró la mejor brecha promedio de 2.23, superando a la línea base más fuerte (IU con 6.06) y venciendo significativamente a GA (16.90).
  • Al 50% de olvido, donde las líneas base como GA colapsaron (brecha de 49.19), UniDist-RAUL con UPGrad logró la mejor brecha de 6.75, mientras que las variantes de HeldDist-RAUL mantuvieron brechas alrededor de 9.22.
• Compromiso entre Retención y Olvido:
  • HeldDist-RAUL priorizó la retención, logrando una alta Precisión de Retención (RA ~98.89%) y Precisión de Test (TA ~92.12%) con un olvido conservador.
  • UniDist-RAUL ofreció un perfil de olvido más agresivo (mayor Precisión de Olvido) manteniendo al mismo tiempo la brecha más baja respecto al reentrenamiento.
• Métricas de Privacidad: Los métodos RAUL mantuvieron puntuaciones de Ataque de Inferencia de Membresía (MIA) cercanas a la línea base de reentrenamiento (por ejemplo, ~15.31 frente a 13.13 para el reentrenamiento), mientras que GA cayó a niveles cercanos al azar (1.93), indicando que RAUL elimina la influencia sin la inestabilidad de los ataques adversarios.
• Estabilidad: Las variantes de RAUL exhibieron desviaciones estándar notablemente menores en el rendimiento en comparación con GA y los métodos de dispersión $\ell_1$, confirmando la estabilidad de las actualizaciones alineadas con la referencia.

Significancia y Reivindicaciones
El artículo afirma que RAUL aborda el cuello de botella fundamental del conflicto explícito entre el olvido y la retención. Al reemplazar la maximización de la pérdida no acotada con una alineación de la KL acotada a una distribución de referencia, el método:

1. Reduce el Conflicto de Gradientes: La formulación MOO con la agregación UPGrad asegura que las actualizaciones no degraden el conjunto de retención mientras se olvida el conjunto objetivo.
2. Previene el Olvido Catastrófico: La naturaleza acotada del objetivo de olvido evita que el modelo se desvíe demasiado de su conocimiento preentrenado.
3. Ofrece Flexibilidad: El marco proporciona una opción entre un enfoque libre de datos (UniDist) y un enfoque dependiente de datos con mayor estabilidad (HeldDist).

Los autores concluyen que, si bien UniDist-RAUL sirve como un respaldo robusto que no requiere datos adicionales, la disponibilidad de un conjunto reservado permite que HeldDist-RAUL logre una retención más ajustada. Señalan que el trabajo futuro explorará la extensión de esto a modelos generativos, LLMs y el uso de Algoritmos Evolutivos Multi-Objetivo (MOEAs) para soluciones Pareto-óptimas más diversas.