Resumen Técnico: MAAT: Multi-phase Adapter-Aware Targeted Unlearning (Desaprendizaje Dirigido Multifásico Sensible al Adaptador)

1. Planteamiento del Problema

El artículo identifica un sesgo estructural crítico en los benchmarks de desaprendizaje de modelos existentes (p. ej., CounterFact, ZSRE, TOFU, MUSE, WMDP-Cyber). Estos conjuntos de datos están fuertemente sesgados hacia preguntas centradas en entidades de tipo "Qué", "Quién", "Cuándo" y "Dónde", mientras que las preguntas de tipo "Por qué" —que sondean cadenas de conocimiento causal y relacional— comprenden menos del 0,06% al 1,3% de estos conjuntos de datos.

Esta representación casi nula crea una brecha de medición: los métodos de desaprendizaje que fallan al eliminar el conocimiento causal pueden alcanzar puntuaciones agregadas elevadas. Los autores argumentan que el conocimiento causal es cualitativamente más difícil de desaprender debido a dos factores:

1. Longitud y Complejidad: Las respuestas a "Por qué" promedian 40,1 tokens (frente a 4,2–10,5 para otros) y el 44% involucra cadenas de razonamiento de múltiples saltos (frente a $\le$2% para otros).
2. Dilución del Gradiente: La señal de ascenso requerida para desaprender estos hechos se dispersa a través de extensiones de tokens largas sin una dirección dominante, lo que causa que los métodos estándar basados en gradientes fallen o degraden el conocimiento retenido cuando se ven forzados a ser agresivos.

Los métodos existentes (Ascenso de Gradiente, GA con regularización KL, Negación de Adaptadores) enfrentan un compromiso fundamental: un desaprendizaje agresivo degrada la utilidad del modelo (retención), mientras que los métodos conservadores no logran desaprender los hechos causales.

2. Metodología: El Marco MAAT

Los autores proponen MAAT (Multi-phase Adapter-Aware Targeted Unlearning), un marco de tres fases que opera directamente sobre los pesos de los adaptadores LoRA sin fusionarlos en el modelo base. Esto permite una "cirugía de adaptadores" estructurada en lugar de una presión de gradiente uniforme.

Fase 1: Ascenso de Proyección de Gradiente

El ascenso de gradiente estándar aplica actualizaciones de forma uniforme, lo que puede erosionar el conocimiento retenido si el gradiente de olvido ($g_f$) se alinea con el gradiente de retención ($g_r$). MAAT emplea una proyección ortogonal condicional:

• Si $g_f \cdot g_r > 0$ (conflicto), la componente de $g_f$ alineada con $g_r$ se elimina mediante proyección:
  $$g^\perp_f = g_f - \frac{g_f \cdot g_r}{\|g_r\|^2 + \epsilon} g_r$$
• Si no existe conflicto, se preserva la dirección completa de ascenso de olvido.
• El objetivo minimiza la pérdida de olvido mientras se ancla al estado del adaptador previo al desaprendizaje mediante la divergencia KL.

Fase 2a: Poda de Rango-Dimensión SVD (Solo MLP)

Para abordar las señales residuales en direcciones de baja magnitud, MAAT califica las dimensiones del rango de los adaptadores MLP basándose en las normas de sus columnas de gradiente sobre el conjunto de olvido.

• La fracción superior-$\rho$ de las dimensiones de rango se anula en las matrices $A$ y $B$ de los módulos MLP (down_proj, up_proj, gate_proj).
• Crucialmente, los módulos de atención se excluyen de la poda para evitar la destrucción de las capacidades de seguimiento de instrucciones.

Fase 2b: Negación del Vector de Tarea

Esta fase apunta al subespacio de olvido específico identificado en la Fase 2a.

• Las dimensiones de rango con mayor puntuación de olvido (top-$k_F$, p. ej., 50%) de cada matriz LoRA $B$ se enmascaran para formar un "vector de tarea de olvido" $\tau^F_l$.
• Este vector se resta de los pesos: $B_l \leftarrow B_l - \alpha \cdot \tau^F_l$.
• Esto logra una supresión dirigida sin borrar indiscriminadamente las direcciones asociadas a la retención.

Fase 3: Reparación Híbrida de Retención

Para recuperar el rendimiento degradado por la poda y la negación, se minimiza un objetivo de reparación híbrido. Este combina cuatro términos:

1. Divergencia KL: Ancla el modelo a la distribución de retención.
2. Distancia de Estado Oculto: Minimiza la distancia entre los estados ocultos actuales y de referencia para las muestras de retención.
3. Maximización de la Entropía: Un término de entropía negativa ($-w_{ent} H_F$) maximiza la entropía en las predicciones del conjunto de olvido, evitando que el modelo vuelva a aprender el contenido olvidado durante la reparación.
4. Penalización del Vector de Tarea: Penaliza la similitud de coseno entre los pesos actuales y el vector de tarea de olvido.

3. Contribuciones Clave

1. Benchmark 5WBENCH

Los autores introducen 5WBENCH, un benchmark equilibrado de 5,000 muestras derivado del corpus Factify-5WQA.

• Estructura: 1,000 ejemplos por categoría 5W (Quién, Qué, Cuándo, Dónde, Por qué).
• Significancia: Proporciona la primera cobertura estadísticamente significativa de preguntas de tipo "Por qué" (20% del conjunto de datos), permitiendo la cuantificación de los fallos de desaprendizaje causal previamente indetectables en los benchmarks sesgados.
• Formato: Compatible con EasyEdit, incluyendo respuestas de verdad de terreno (ground-truth), etiquetas y variantes refraseadas para pruebas de robustez.

2. Algoritmo MAAT

MAAT es el primer método que logra simultáneamente un alto olvido y una alta retención del conocimiento causal (tipo "Por qué"). Opera sobre las propiedades estructurales de los adaptadores LoRA, utilizando la puntuación SVD y la negación del vector de tarea para aislar y suprimir dimensiones de rango específicas activadas por las entradas del conjunto de olvido.

4. Resultados Experimentales

El marco fue evaluado en LLaMA 3.2-3B y Gemma 3-4B utilizando un LLM-as-a-Judge basado en Qwen 2.5-7B.

Rendimiento en 5WBENCH

• Frontera de Pareto: MAAT alcanza un nuevo punto de operación, superando simultáneamente el 60% de Tasa de Éxito de Olvido (FSR) y el 60% de Tasa de Éxito de Retención (RSR) en todas las cinco categorías 5W en LLaMA 3.2-3B.
  • Llama 3.2-3B: 77.4% FSR / 71.6% RSR (Agregado).
  • Gemma 3-4B: 64.0% FSR / 61.8% RSR (Agregado).
• Rendimiento de Tipo "Por qué":
  • MAAT: 63% FSR / 65% RSR (Llama).
  • Los baselines (GA, GA+KL, AN, RO-FT) no logran alcanzar este equilibrio. Por ejemplo, el Ascenso de Gradiente (GA) logra un 44% de FSR pero un 78% de RSR, lo que los autores atribuyen a un "sub-olvido" (el modelo retiene los hechos simplemente porque no los olvidó, no porque haya preservado la utilidad).
• Fallos de los Baselines:
  • Negación de Adaptadores (AN): Logra un olvido casi perfecto (99.8% FSR) pero causa un colapso catastrófico de la retención (0.4% RSR), confirmando que la negación total del vector de tarea elimina indiscriminadamente tanto el conocimiento de olvido como el de retención.
  • RO-FT: Alta retención pero menor eficiencia de olvido comparado con MAAT.

Rendimiento en TOFU

En el conjunto de datos TOFU (que carece de una cobertura significativa de "Por qué"), MAAT logra resultados competitivos (67.5% FSR / 46.6% RSR en Llama), demostando robustez a través de diferentes distribuciones de datos, aunque el artículo señala que el desequilibrio de categorías de TOFU limita su utilidad para el análisis causal.

Estudios de Ablación

• Proyección de Gradiente: Es esencial para proteger el conocimiento retenido durante el ascenso.
• Reparación Híbrida: Es necesaria para recuperar la retención perdida durante la poda/negación; sin el término de entropía, la fase de reparación recupera inadvertidamente el contenido olvidado.
• Negación de Vector de Tarea vs. Poda de Atención: Reemplazar la poda de atención con la negación del vector de tarea (Condición D) mejora significativamente la retención (76% vs. 54% RSR) manteniendo un nivel de olvido similar, validando la decisión de excluir los módulos de atención de la poda estructural.

5. Significancia y Reivindicaciones

El artículo afirma que MAAT es el primer método que navega con éxito el compromiso entre olvido y retención específicamente para el conocimiento causal (tipo "Por qué"), un dominio donde los baselines existentes fallan.

• Perspectiva Estructural: Los autores demuestran que la dificultad de desaprender hechos causales proviene de la complejidad relacional y la dilución del gradiente, no de una huella única en el espacio de pesos (el análisis de codificación muestra una codificación distribuida uniformemente en todas las categorías 5W).
• Impacto en la Evaluación: Al introducir 5WBENCH, el artículo proporciona una herramienta para exponer los artefactos de "sub-olvido" en los métodos existentes, donde las altas puntuaciones de retención son en realidad un subproducto de un fallo en el olvido.
• Sensibilidad a la Arquitectura: Los resultados sugieren que el desaprendizaje basado en adaptadores hereda la estructura de codificación de conocimiento del modelo base. La brecha de rendimiento entre LLaMA y Gemma indica que la separabilidad del conocimiento en las dimensiones de rango del adaptador depende de la arquitectura.

Los autores conclen que, si bien MAAT alcanza una nueva frontera de Pareto, el campo requiere taxonomías de evaluación equilibradas para detectar fallos en el desaprendizaje del conocimiento causal, algo que los benchmarks estándar actualmente oscurecen.