LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Basado en el artículo proporcionado, aquí hay un resumen técnico detallado de LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection.

Definición del Problema

El post-entrenamiento mediante Aprendizaje por Refuerzo (RL) ha mejorado significativamente las capacidades de razonamiento visual de los Modelos de Razonamiento Multimodales Grandes (MLRMs) al permitirles emitir "cadenas de pensamiento" (CoT) explícitas antes de responder. Sin embargo, esta capacidad introduce una vulnerabilidad de privacidad distintiva: mientras que los métodos de desaprendizaje (unlearning) existentes pueden eliminar con éxito hechos sensibles de la respuesta final del modelo, a menudo fallan en evitar que el modelo recite esos mismos hechos dentro de su traza de razonamiento interna.

Los autores identifican que esta "fuga de la traza de razonamiento" es sustancialmente más pronunciada en los MLRMs entrenados con RL que en sus modelos base sin razonamiento. Los enfoques de desaprendizaje existentes, que típicamente se centran en el ajuste de pesos o en la intervención al nivel de la respuesta final, no están equipados para manejar esto. O bien fallan al monitorear las trayectorias diversas y exploratorias inducidas por el RL, o degradan las capacidades de razonamiento del modelo al intentar perturbar la traza.

Observación Clave: La Firma de Entropía

La idea central que impulsa este trabajo es el descubrimiento de una distintiva firma de entropía a nivel de token asociada con la recitación de contenido sensible memorizado en modelos entrenados con RL.

• Patrón de Dos Etapas: Cuando un modelo entrenado con RL recuerda un atributo sensible, exhibe un patrón característico de aumento y colapso en la entropía a nivel de token ($H_t(v)$).
  1. Etapa de Deliberación: El modelo duda entre candidatos posibles, causando un pico de entropía a medida que múltiples candidatos compiten.
  2. Etapa de Compromiso: Una vez que el modelo se compromete con el segmento memorizado, la entropía colapsa a casi cero mientras recita de forma determinante el atributo.
• Esta firma está mayormente ausente en los modelos base sin razonamiento, donde las distribuciones de entropía son más caóticas. Esta dinámica proporciona una señal confiable y libre de entrenamiento para detectar cuándo comienza y termina el razonamiento sensible.

Metodología: LEMUR

LEMUR es un marco de desaprendizaje totalmente libre de entrenamiento y de tiempo de inferencia diseñado específicamente para modelos multimodales nativamente entrenados con RL. Opera monitoreando el proceso de decodificación e interviniendo solo cuando se detecta contenido sensible. El método consta de tres componentes principales:

1. Cambio de Sensibilidad Aumentado por Entropía:

   • LEMUR combina una verificación léxica (conjuntos de tokens prohibidos) con la firma de entropía para activar un "modo sensible".
   • La condición de activación ($g_t$) se activa si se detecta una alta masa de tokens prohibidos (recitación comprometida) O si se detecta una alta entropía junto con una masa de prohibición menor (etapa de deliberación). Esto asegura que la intervención comience en el puro inicio del segmento sensible, no solo después de que el modelo se haya comprometido con la respuesta incorrecta.

2. Inyección de Anclaje Visual Basada en Entropía:

   • Una vez en el modo sensible, LEMUR cambia de la decodificación autorregresiva estándar a un régimen de decodificación latente.
   • En lugar de retroalimentar un token discreto, el modelo recibe un embedding continuo construido mediante Retroalimentación Latente Restringida (renormalizando la distribución para excluir tokens prohibidos) y Anclajes de Redirección Visual.
   • Los anclajes consisten en un Anclaje Visual (embedding promedio de tokens visuales especiales para volver a anclar el razonamiento en la imagen) y un Anclaje de Respuesta Segura (embeddings de plantillas de rechazo o incertidumbre).
   • Inyección Controlada por Entropía: La fuerza de la inyección de estos anclajes ($\gamma_t$) se modula dinámicamente por la entropía actual del token. Una alta entropía (deliberación) recibe un direccionamiento fuerte; una baja entropía (texto comprometido) recibe un direccionamiento más débil para preservar la fluidez.

3. Duración de Fase Controlada Dinámicamente por Entropía:

   • Para evitar que la intervención persista demasiado tiempo (degradando la fluidez) o termine demasiado pronto (permitiendo la fuga), LEMUR utiliza un mecanismo de salida adaptativo.
   • Rastrea la entropía base del modelo en texto normal y termina la fase latente solo cuando la entropía se recupera por encima de un umbral adaptativo ($\kappa \bar{H}_t$) y la masa de prohibición se despeja.
   • Un "periodo de enfriamiento refractario" evita la oscilación rápida entre los modos discretos y latentes, asegurando la coherencia del razonamiento circundante.

Resultados Experimentales

Los autores evaluaron LEMUR en MLRMs entrenados con RL (R1-Onevision-7B y Vision-R1-7B) utilizando un conjunto de datos reconstruido basado en MLLMU-Bench, que incluye sujetos ficticios con atributos privados.

• Supresión de Fugas: LEMUR superó significativamente tanto a los baselines basados en entrenamiento (ej. Gradient Ascent, NPO) como a los baselines libres de entrenamiento (ej. R-MUSE). Logró la más baja Fuga de Razonamiento a Nivel de Sujeto (SRL), borrando efectivamente los hechos sensibles tanto de la traza de razonamiento como de la respuesta final.
• Preservación de Utilidad: A diferencia de los métodos basados en entrenamiento que a menudo degradan las capacidades generales, LEMUR preservó el rendimiento en datos no olvidados (splits de Retain y Celebrity) a través de tareas de clasificación, completar espacios en blanco y generación.
• Fluidez: La métrica de Capacidad de Retención de Razonamiento (RRA) mostró que LEMUR mantuvo un razonamiento fluido y bien formado, mientras que los baselines agresivos a menudo causaron que el modelo colapsara en texto repetitivo o degenerado.
• Generalización: El método también fue probado en modelos no-RL (Qwen2.5-VL) y en corpora de razonamiento visual general (VQAv2), demostrando que, aunque la señal de entropía es más fuerte en modelos de RL, el marco sigue siendo efectivo y transferible.

Significancia y Reivindicaciones

El artículo afirma ser el primer método de desaprendizaje diseñado específicamente para modelos de razonamiento multimodales nativamente entrenados con RL. Sus principales contribuciones son:

1. Identificación de un Riesgo de Privacidad: Demostrar que la exploración inducida por RL crea una vulnerabilidad de privacidad única donde las trazas de razonamiento filtran datos sensibles incluso cuando las respuestas están limpias.
2. Explotación de la Dinámica de Entropía: Mostrar que la firma de entropía a nivel de token de la recitación memorizada proporciona una señal confiable y libre de entrenamiento para detectar e interceptar fugas durante la decodificación.
3. Desaprendizaje Efectivo Libre de Entrenamiento: Proponer LEMUR, que logra un rendimiento de desaprendizaje de vanguardia sin reentrenamiento, mediante el direccionamiento de la trayectoria de decodificación a través del anclaje visual modulado por la entropía.

Los autores concluyen que la dinámica de la entropía en la decodificación ofrece una base prometedora para el control de la privacidad en modelos con capacidad de razonamiento, sugiriendo que los objetivos de seguridad futuros podrían abordarse explotando estas señales internas en lugar de depender únicamente de las actualizaciones de pesos.