Representation-Guided Parameter-Efficient LLM Unlearning

Resumen Técnico: ReGLU

1. El Problema: El Dilema Olvido-Retención y la Superposición

Los Grandes Modelos de Lenguaje (LLM) a menudo memorizan información sensible, dañina o protegida por derechos de autor. El Desaprendizaje de Máquina (Machine Unlearning - MU) busca eliminar este conocimiento específico sin reentrenar el modelo desde cero.

Aunque los métodos recientes basados en LoRA (Low-Rank Adaptation) han demostrado ser eficientes en parámetros, enfrentan un desafío crítico: el compromiso entre olvidar y retener (forget-retain trade-off).

• Causa Raíz: Los métodos existentes (como FILA y VILA) dependen de métricas de importancia de parámetros (ej. información de Fisher) para identificar qué pesos modificar.
• Limitación Fundamental: Debido al fenómeno de superposición en los LLM, un solo parámetro suele estar involucrado en la representación de múltiples conceptos (polisemántica). Por lo tanto, intentar aislar parámetros "solo para olvidar" a menudo degrada el rendimiento en el conjunto de datos que se debe retener (retain set), ya que esos parámetros también son cruciales para el conocimiento general.

2. Metodología: ReGLU (Representation-Guided Low-rank Unlearning)

Los autores proponen ReGLU, un marco que cambia el paradigma de la importancia de los parámetros a la geometría de los espacios de representación. En lugar de mirar los pesos directamente, ReGLU manipula los subespacios donde residen las representaciones de los datos.

El método consta de dos componentes principales:

A. RILA: Inicialización Guiada por Representación (Representation-guided Initialization of Low-rank Adaption)

• Objetivo: Encontrar un subespacio óptimo para el desaprendizaje que maximice el impacto en el conjunto de olvido (forget set) y minimice la interferencia con el conjunto de retención (retain set).
• Mecanismo:
  1. Se recogen las salidas (representaciones) de las capas del modelo preentrenado para muestras pequeñas de ambos conjuntos.
  2. Se calculan las matrices de covarianza ($Cov_F$ y $Cov_R$).
  3. Se construye una matriz de covarianza balanceada: $Cov_\Delta = (1 - \beta)Cov_F - \beta Cov_R$.
  4. Se inicializan las matrices de LoRA ($A$ y $B$) utilizando los $r$ autovectores principales de $Cov_\Delta$.
• Resultado: Esto alinea la actualización inicial de LoRA con las direcciones que tienen alta varianza en el conjunto de olvido y baja varianza en el de retención, aprovechando la descomponibilidad de las representaciones para evitar la polisemántica de los parámetros.

B. ROL: Pérdida de Ortogonalidad de Representación (Representation Orthogonal Loss)

• Objetivo: Garantizar que durante el entrenamiento, las actualizaciones no degraden el conocimiento retenido.
• Mecanismo:
  1. Se identifica el subespacio principal del conjunto de retención (usando la descomposición espectral de su covarianza) para obtener una base ortogonal $P_B$.
  2. Se introduce una función de pérdida de regularización: $L_{ROL} = \|B^\top P_B\|_F^2$.
  3. Esta pérdida fuerza a las columnas de la matriz de proyección superior de LoRA ($B$) a ser ortogonales al subespacio principal de las representaciones de retención.
• Resultado: Las actualizaciones de LoRA quedan restringidas al complemento ortogonal del subespacio de retención, minimizando la interferencia catastrófica.

Función de Objetivo Total:
El entrenamiento minimiza una combinación ponderada:
$$L_{total} = L_{forget}(D_f) + \gamma L_{retain}(D_r) + \lambda L_{ROL}$$
Donde $L_{forget}$ puede ser Gradient Ascent (GA) o Inverted Hinge Loss (IHL).

3. Contribuciones Clave

1. Cambio de Paradigma: Se aleja de las métricas de importancia de parámetros (propensas al error por superposición) hacia el control geométrico de los subespacios de representación.
2. Iniciación Teórica: Proporcionan una garantía teórica (Teorema 1) de que la inicialización basada en autovectores de la covarianza balanceada maximiza la "energía diferencial" entre los conjuntos de olvido y retención.
3. Eficiencia: El método es altamente escalable. A diferencia de FILA/VILA que requieren calcular gradientes para mapas de importancia, RILA solo necesita un pase forward y descomposición de covarianza, lo cual es computacionalmente más barato para conjuntos de olvido grandes.

4. Resultados Experimentales

El método se evaluó en dos benchmarks estándar (TOFU y WMDP) utilizando modelos como Llama-2-7B, Phi-1.5 y Zephyr-7B.

• Calidad de Olvido (Forget Quality): ReGLU superó consistentemente a los baselines de última generación (FILA, VILA) combinados con funciones de pérdida como GD e IHL.
  • En TOFU, ReGLU logró las puntuaciones más altas de Calidad de Olvido (FQ), indicando que el modelo olvidado se comporta estadísticamente más como un modelo reentrenado desde cero.
  • En WMDP (dominios de bioseguridad y ciberseguridad), ReGLU redujo la precisión en las preguntas de olvido de manera más agresiva (ej. bajando de 54.6% a 35.1% en promedio) sin sacrificar la utilidad general.
• Utilidad del Modelo: Todos los métodos mantuvieron al menos el 95% de la utilidad original del modelo (medido por MMLU y otras métricas), demostrando que el desaprendizaje fue selectivo y no catastrófico.
• Análisis de Mecanismo:
  • RILA mostró una relación energía olvido/retención significativamente mayor que los métodos anteriores en la inicialización.
  • ROL demostró mantener una alta ortogonalidad (0.87) entre las actualizaciones de LoRA y el subespacio de retención, superando a FILA (0.70) y VILA (0.82).

5. Significado e Impacto

• Robustez frente a la Superposición: ReGLU demuestra que es posible desentrañar conocimientos entrelazados manipulando la geometría de las representaciones en lugar de intentar aislar parámetros individuales, resolviendo una limitación fundamental de los métodos actuales.
• Eficiencia Escalable: La estrategia de inicialización es más rápida que los métodos basados en gradientes para conjuntos de datos grandes, lo que la hace viable para modelos de gran escala (hasta 70B de parámetros) mediante el uso de SVD aleatorizado.
• Aplicabilidad: Ofrece una solución práctica y de alto rendimiento para la privacidad, la eliminación de sesgos y el cumplimiento de derechos de autor en LLMs desplegados, permitiendo un "olvido selectivo" preciso sin el costo prohibitivo del reentrenamiento completo.

En conclusión, ReGLU establece un nuevo estado del arte en el desaprendizaje eficiente en parámetros, validando que el control a nivel de subespacio es superior al control a nivel de parámetros para gestionar el conocimiento en modelos de lenguaje grandes.