CURE:Circuit-Aware Unlearning for LLM-based Recommendation

1. Planteamiento del Problema

La integración de Grandes Modelos de Lenguaje (LLM) en sistemas de recomendación (LLMRec) ha mejorado significativamente la comprensión semántica y el razonamiento sobre las preferencias de los usuarios. Sin embargo, esto introduce riesgos críticos de privacidad, especialmente bajo regulaciones estrictas que exigen la capacidad de "olvidar" datos sensibles (desaprendizaje o unlearning).

Los métodos existentes de desaprendizaje para LLMRec presentan dos limitaciones fundamentales:

• Conflictos de Gradiente: La mayoría de los enfoques actuales formulan el desaprendizaje como una combinación ponderada de dos objetivos: "olvidar" (eliminar datos sensibles) y "retener" (mantener la utilidad del modelo). Optimizar estos objetivos simultáneamente genera conflictos de gradiente, donde las direcciones de actualización para un objetivo perjudican al otro, resultando en un olvido ineficaz o una degradación severa del rendimiento del modelo.
• Caja Negra: Los métodos actuales actualizan los parámetros del modelo de manera global y opaca, sin identificar qué módulos internos específicos (como cabezas de atención o MLPs) codifican la información que debe ser olvidada. Esto reduce la transparencia y la confianza en el proceso.

2. Metodología: CURE

El authors proponen CURE (Circuit-Aware Unlearning), un marco de desaprendizaje que utiliza la interpretabilidad mecánica para disociar los componentes del modelo en subconjuntos funcionalmente distintos y actualizarlos selectivamente. El enfoque se basa en la idea de que el conocimiento en un LLM se activa a través de "circuitos" computacionales (subgrafos causales) específicos.

El método consta de dos etapas principales:

Etapa 1: Localización de Circuitos (Circuit Extraction)

El objetivo es identificar los subgrafos computacionales responsables de las predicciones para los datos a olvidar ($D_f$) y los datos a retener ($D_r$).

• Representación del Modelo: Se modela el LLM como un grafo acíclico dirigido donde los nodos son cabezas de atención y módulos MLP, y las aristas representan el flujo de información.
• Detección de Circuitos: Se utilizan dos técnicas para puntuar la importancia de las aristas:
  1. Intervención de Activación: Aplica una aproximación de primer orden (Taylor) para estimar cómo cambia la probabilidad de salida al enmascarar una arista específica. Es eficiente pero puede ser menos precisa con entradas largas.
  2. Parcheo de Activación (Activation Patching): Utiliza una estrategia contrastiva. Se genera una muestra "corrupta" ($x^*$) modificando un ítem en el historial del usuario (usando Personalized PageRank en el grafo usuario-ítem para encontrar ítems de reemplazo relevantes pero débiles). Se compara la activación de la muestra original con la corrupta para localizar con precisión los módulos críticos.
• Descubrimiento Greedy: Se extrae un circuito completo desde las salidas (logits) hacia atrás, seleccionando iterativamente las aristas con mayor puntuación.

Etapa 2: Actualización Selectiva de Circuitos

Una vez identificados los circuitos $C_f$ (para olvidar) y $C_r$ (para retener), los módulos se categorizan en tres grupos y se actualizan con reglas específicas para mitigar conflictos:

1. Neuronas Específicas de Olvido ($\Theta_f$): Pertenecen solo a $C_f$. Se actualizan exclusivamente con la pérdida de olvido ($L_F$).
2. Neuronas Específicas de Retención ($\Theta_r$): Pertenecen solo a $C_r$. Se actualizan exclusivamente con la pérdida de retención ($L_R$).
3. Neuronas Compartidas ($\Theta_{sh}$): Pertenecen a la intersección $C_f \cap C_r$. Para evitar conflictos, se utiliza una estrategia de proyección de gradientes: si los gradientes de $L_F$ y $L_R$ son opuestos, se proyecta el gradiente de un objetivo sobre el plano normal del otro, eliminando el componente destructivo.

3. Contribuciones Clave

• Perspectiva basada en Circuitos: Introducen una nueva visión para entender y resolver los conflictos de gradiente en el desaprendizaje de LLMRec mediante la disociación transparente de circuitos conflictivos.
• Marco Modelo-Agnóstico: CURE es independiente del modelo base y puede aplicarse a diversas arquitecturas de LLM. Proporciona un análisis teórico que garantiza que la actualización de un paso en CURE reduce la pérdida total en comparación con el descenso de gradiente estándar.
• Eficiencia y Transparencia: A diferencia de los métodos de "caja negra", CURE ofrece control semántico sobre los parámetros, actualizando solo los módulos relevantes para la tarea específica.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos reales (MovieLens-1M y GoodReads) utilizando modelos como GPT-2 y Llama-2 (7B).

• Eficacia del Olvido y Utilidad: CURE supera a los métodos de referencia (como E2URec, RecEraser, ROME, WISE). Logra una mejora del 18% en la eficiencia de desaprendizaje (medida por la divergencia JSD respecto al modelo reentrenado) y un 6% de mejora en la utilidad (AUC y Accuracy) en comparación con los baselines.
• Mitigación de Conflictos: El análisis muestra que CURE reduce significativamente la proporción de pares de gradientes en conflicto (hasta un 76% menos que E2URec), estabilizando la optimización.
• Eficiencia Computacional: CURE es 3.5 veces más rápido que el método de referencia E2URec y mucho más rápido que los enfoques de reentrenamiento parcial (como SISA), manteniendo una precisión comparable al reentrenamiento completo pero con un costo computacional drásticamente menor.

5. Significado e Impacto

El trabajo de CURE es significativo porque aborda el problema del desaprendizaje en LLM desde una perspectiva de interpretabilidad mecánica. En lugar de tratar el modelo como una caja negra y aplicar actualizaciones globales que generan inestabilidad, CURE descompone el modelo en sus circuitos causales subyacentes.

Esto permite:

1. Privacidad Garantizada: Eliminar datos sensibles de manera precisa sin afectar la utilidad general del sistema de recomendación.
2. Transparencia: Hacer visible qué partes del modelo están siendo modificadas, lo cual es crucial para la auditoría y la confianza en sistemas de IA regulados.
3. Escalabilidad: Ofrecer una solución eficiente que hace viable el despliegue de sistemas de recomendación basados en LLM en entornos donde la privacidad y el cumplimiento normativo son prioritarios.

En resumen, CURE establece un nuevo estándar para el desaprendizaje en recomendaciones, demostrando que la comprensión estructural de los LLM es la clave para resolver los conflictos de optimización inherentes a la eliminación de datos.