Resumen Técnico: ASRU – Dirección de Activación Encuentra Olvido por Refuerzo para Modelos de Lenguaje Grande Multimodales

1. Declaración del Problema

Los Modelos de Lenguaje Grande Multimodales (MLLM) a menudo memorizan información sensible cruzada entre modalidades durante el preentrenamiento, lo que plantea riesgos de filtración de privacidad e infracción de derechos de autor. Aunque el Olvido de Máquina (MU) es crítico para eliminar dicho conocimiento, los métodos existentes enfrentan dos limitaciones fundamentales:

1. Degradación de la Respuesta Post-Olvido: Los enfoques actuales a menudo producen salidas alucinatorias, rígidas o incoherentes después del olvido. En lugar de expresar naturalmente una brecha de conocimiento, los modelos pueden generar contenido fabricado o texto repetitivo y degenerado. Este comportamiento "antinatural" puede revelar inadvertidamente que se ha producido un olvido e introducir riesgos de seguridad.
2. Compensación entre Olvido y Utilidad: Existe un conflicto persistente entre olvidar efectivamente el conocimiento objetivo y preservar la utilidad general del modelo. Los métodos basados en ascenso de gradiente tienden a suprimir en exceso el conjunto de olvido, causando cambios globales no deseados en el comportamiento, mientras que los métodos que priorizan la utilidad a menudo no logran un olvido completo.

Las evaluaciones existentes se centran principalmente en las desviaciones de la salida respecto a la verdad fundamental, pasando por alto la calidad de generación del modelo olvidado. Este artículo argumenta que un modelo olvidado debe comportarse como un modelo base alineado, expresando brechas de conocimiento de manera dinámica, consciente del contexto y coherente.

2. Metodología: Marco ASRU

Los autores proponen ASRU (Dirección de Activación encuentra Olvido por Refuerzo), un marco de dos etapas diseñado para lograr un control fino sobre los límites de rechazo mientras se mantiene la utilidad del modelo.

Etapa 1: Dirección de Rechazo mediante Redirección de Activación

La primera etapa aborda la falta de comportamiento espontáneo de rechazo en los MLLM preentrenados.

• Construcción de la Dirección de Ausencia de Conocimiento: El método construye una "dirección de referencia de rechazo" contrastando las activaciones ocultas medias del Conjunto de Olvido ($D_f$) contra un Conjunto de Referencia de Rechazo Objetivo ($D_{target}$). $D_{target}$ consiste en entradas donde el modelo no tiene conocimiento previo (por ejemplo, caras sintéticas no vistas emparejadas con consultas de privacidad).
• Dirección de Activación: Se calcula un vector de dirección ($v_{L^*}$) como la diferencia entre las activaciones medias de $D_{target}$ y $D_f$. Este vector se utiliza para redirigir las activaciones del flujo residual de las entradas del conjunto de olvido hacia una región de "sin conocimiento relevante".
• Optimización Eficiente: En lugar de ajustar finamente todo el modelo, ASRU actualiza solo una matriz de proyección descendente única en una capa objetivo específica ($L^*$). Esto se logra mediante una solución de forma cerrada que minimiza la desviación entre las activaciones reales y las objetivo, induciendo un comportamiento de rechazo inicial y controlable.

Etapa 2: Optimización del Límite de Rechazo mediante GRPO

La segunda etapa refina el límite de decisión para evitar rechazos innecesarios en los datos retenidos.

• Construcción del Conjunto Límite: Se muestrea un conjunto límite ($\tilde{D}_r$) del conjunto retenido ($D_r$). Estas muestras son altamente similares al conjunto de olvido en el espacio de entrada pero deben ser retenidas, permitiendo el aprendizaje de una distinción fina.
• Diseño de Recompensa Verificable: Se diseña una función de recompensa para evaluar dos aspectos:
  1. Efectividad del Olvido: Penalizar la reproducción del conocimiento objetivo y recompensar rechazos naturales y conscientes del contexto (por ejemplo, "Esto no se puede inferir de la imagen").
  2. Fidelidad de Retención: Recompensar respuestas correctas e informativas para muestras límite y retenidas, penalizando al mismo tiempo el exceso de rechazo.
• Optimización de Política Relativa de Grupo (GRPO): El modelo se optimiza utilizando GRPO. Al muestrear grupos de trayectorias para entradas emparejadas (olvido vs. límite), el algoritmo calcula ventajas relativas al grupo. Esto fomenta que el modelo aprenda una política precisa que rechace cuando sea necesario (para $D_f$) pero responda apropiadamente para el conocimiento retenido, agudizando efectivamente el límite de rechazo.

3. Contribuciones Clave

• Calidad de Generación como Métrica Central: El artículo introduce la calidad de generación como una dimensión de evaluación primaria para el olvido, midiendo específicamente el Rechazo Contextual (coherencia y naturalidad de los rechazos) y la Olvidadumbre (ausencia de filtración de conocimiento).
• Marco Novel de Dos Etapas: ASRU es el primer marco que combina la Dirección de Activación (para inicializar la capacidad de rechazo con actualizaciones mínimas de parámetros) y GRPO (para refinar el límite olvido-retención).
• Control Fino: Al utilizar un conjunto límite y recompensas verificables, ASRU logra una compensación superior entre la efectividad del olvido y la utilidad del modelo, evitando el comportamiento "todo o nada" de los métodos anteriores.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3-VL (4B y 8B) y LLaVA-1.5-7B utilizando los conjuntos de datos MLLMU-Bench y CLEAR.

• Efectividad del Olvido: ASRU supera significativamente a las líneas base (GA, GA Diff, KL Min, NPO, MMUnlearner). En Qwen3-VL-8B con una proporción de olvido del 5%, logró una mejora promedio del 24.6% en la efectividad del olvido en comparación con la línea base más fuerte.
• Calidad de Generación: ASRU demostró una mejora masiva en la calidad de generación, mostrando un aumento promedio de 5.8 veces sobre las líneas base. Esto indica una reducción sustancial en alucinaciones y respuestas rígidas, con el modelo produciendo rechazos conscientes del contexto y dinámicos.
• Preservación de la Utilidad: A pesar del olvido agresivo, ASRU mantuvo un alto rendimiento en el conjunto retenido y en conjuntos de celebridades del mundo real, utilizando solo una pequeña fracción (aproximadamente el 27.3%) de datos retenidos supervisados.
• Robustez: El método permaneció efectivo bajo variaciones adversas de los promts (prefijos aleatorios, parafraseos y intentos de jailbreak), lo que sugiere que el límite de rechazo aprendido es generalizable en lugar de basado en plantillas.

5. Significado y Afirmaciones

El artículo afirma que ASRU aborda una brecha crítica en el olvido multimodal: la degradación del comportamiento del modelo después de la eliminación de conocimiento. Al tratar la calidad de generación como un objetivo primario, ASRU asegura que los modelos olvidados permanezcan seguros, utilizables y alineados.

Los autores enfatizan que su enfoque permite que los modelos se comporten como "modelos base alineados" que pueden expresar naturalmente brechas de conocimiento sin alucinar ni filtrar información sensible. La integración de la dirección de activación para la inicialización y el aprendizaje por refuerzo para el refinamiento del límite proporciona una solución escalable y controlable para construir sistemas MLLM confiables. El trabajo se presenta como un paso hacia una IA más robusta que preserva la privacidad, con futuras extensiones potenciales a otras modalidades como audio y video.