Resumen Técnico: Dirección de Actualización Residual Adaptativa para la Mitigación de Alucinaciones con Bajo Sobrecosto en Modelos de Lenguaje Visual Grandes

1. Declaración del Problema

Los Modelos de Lenguaje Visual Grandes (LVLM) suelen codificar las entradas visuales como un prefijo para un decodificador de lenguaje. A medida que el modelo genera texto de forma autoregresiva, esta información visual inicial sufre una "dilución", lo que provoca que el modelo dependa en exceso de los priores lingüísticos internos en lugar del contexto visual. Este fenómeno es un impulsor principal de la alucinación de objetos, donde los modelos describen con confianza objetos que no están presentes en la imagen (por ejemplo, alucinar una "taza" basándose en la asociación lingüística con "superficie").

Los métodos existentes de Intervención en Tiempo de Inferencia (ITI) intentan corregir esto mediante Decodificación Contrastiva o Refinamiento Iterativo. Sin embargo, estos enfoques enfrentan un cuello de botella severo en eficiencia: típicamente requieren múltiples pasadas hacia adelante (FWD extra) o clasificadores externos, incurriendo en costos de latencia prohibitivos que socavan el despliegue en el mundo real. Existe un compromiso crítico entre la eficacia (reducción de alucinaciones) y la eficiencia (mantener una latencia baja).

2. Metodología: RUDDER

Los autores proponen Regulación de Decodificación Dirigida por Actualización Residual (RUDDER), un marco diseñado para contrarrestar la dilución visual creando un ancla visual persistente sin pasadas adicionales hacia adelante. El método opera dentro de una sola pasada de inferencia y consta de dos componentes principales:

2.1. Vector CARD (Dirección Residual de Activación Contextual)

La idea central es que la señal visual se preserva de manera máxima en el flujo residual durante la etapa obligatoria de prefill (donde los tokens de imagen y prompt se procesan en paralelo).

• Extracción: Durante la etapa de prefill, RUDDER extrae las actualizaciones residuales de autoatención ($\Delta^l_i$) de una capa de decodificador objetivo $l$.
• Agregación: Estas actualizaciones se agrupan (por ejemplo, mediante media o media ponderada por magnitud) a través de todos los tokens de imagen y prompt y se normalizan mediante L2 para formar un vector por muestra, $v_{CARD}$.
• Función: Este vector representa una dirección robusta condicionada a la imagen que captura el efecto neto de la evidencia visual sobre las representaciones de los tokens. Sirve como un "ancla visual" para guiar la trayectoria de generación de vuelta hacia el contexto visual.
• Costo: La extracción ocurre durante la pasada de prefill estándar, incurriendo en cero pasadas adicionales hacia adelante.

2.2. Puerta Beta (Mecanismo de Dirección Adaptativa)

Para inyectar el ancla visual sin interrumpir la generación de tokens sintácticos o no visuales, RUDDER emplea un mecanismo de puerta adaptativa basado en la Distribución Beta.

• Mecanismo de Confianza: En lugar de actuar como un detector de errores, la puerta funciona como un estimador de "confianza". Calcula la similitud del coseno ($s_t$) entre el estado oculto actual ($h_{l,t}$) y el vector $v_{CARD}$.
• Formulación: Los parámetros de la puerta ($\alpha_t, \beta_t$) se derivan de una posterior conjugada Beta-Bernoulli utilizando un mapeo softplus de $s_t$. El valor de la puerta $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ determina la fuerza de la intervención.
  • Alta Alineación ($s_t \uparrow$): Indica que la generación es consistente con la evidencia visual. La puerta refuerza la inyección para mantener la trayectoria fundamentada.
  • Baja/Negativa Alineación ($s_t \downarrow$): Indica incertidumbre o contexto no visual (por ejemplo, tokens sintácticos). La puerta suprime la intervención para evitar una dirección excesiva y preservar la fluidez.
• Inyección: El vector de dirección $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ se agrega al flujo residual inmediatamente después de la operación de Autoatención durante la etapa de decodificación, específicamente dentro del rango de la respuesta.

3. Contribuciones Clave

1. Vector CARD: Un método para extraer un ancla visual persistente por muestra a partir de actualizaciones residuales de prefill, manteniendo al modelo fundamentado en el contexto visual durante toda la decodificación sin computación adicional.
2. Puerta Beta: Un mecanismo de puerta adaptativo y libre de entrenamiento basado en la Distribución Beta que equilibra la fundamentación visual con la fluidez aplicando correcciones solo cuando la generación se alinea con la evidencia visual.
3. Generalización: Se demuestra que el método es agnóstico a la arquitectura, funcionando efectivamente en diversos LVLM (LLaVA-1.5, Idefics2, InstructBLIP) y escalando a modelos más grandes (LLaVA-1.5-13B) y arquitecturas modernas (Qwen2.5-VL).
4. Eficiencia: RUDDER opera dentro de una sola pasada hacia adelante, introduciendo una latencia insignificante (< 4% de sobrecosto) y manteniendo el 96.0% del rendimiento comparado con modelos estándar, superando significativamente a los métodos de múltiples pasadas.

4. Resultados Experimentales

Los autores evaluaron RUDDER en benchmarks estándar de alucinaciones (CHAIR, POPE) y benchmarks de capacidades generales (MME).

• Mitigación de Alucinaciones (CHAIR): En el benchmark CHAIR (subtitulado abierto), RUDDER-Beta redujo consistentemente las alucinaciones. Con decodificación codiciosa, logró una reducción relativa promedio de 24.4% en CHAIRs (nivel de oración) y 23.6% en CHAIRi (nivel de objeto) en los modelos probados. Superó o igualó a métodos de última generación como VISTA y VCD, evitando sus costos de latencia.
• Sondeo de Objetos (POPE): En el benchmark POPE (preguntas de sí/no sobre objetos), RUDDER mejoró la precisión y las puntuaciones F1 en LLaVA-1.5, Idefics2 e InstructBLIP, a menudo superando a las líneas base fuertes basadas en dirección.
• Capacidades Generales (MME): RUDDER mantuvo o mejoró ligeramente las capacidades multimodales generales (razonamiento, conteo) en el benchmark MME, confirmando que la reducción de alucinaciones no se logró a costa del rendimiento general del modelo.
• Eficiencia: RUDDER-Beta mantuvo un 96.0% de rendimiento relativo a los modelos estándar. En contraste, los métodos que requieren pasadas adicionales hacia adelante (por ejemplo, VISTA) vieron caer su rendimiento a ~58.1%.
• Escalabilidad: El método escaló efectivamente a LLaVA-1.5-13B y se generalizó a Qwen2.5-VL-7B, logrando las tasas más bajas de alucinación a nivel de instancia (CHAIRi: 7.0) mientras mejoraba el rendimiento en POPE.

5. Significado y Afirmaciones

El artículo afirma que RUDDER resuelve el compromiso común entre eficacia y eficiencia en la mitigación de alucinaciones. Al prevenir estructuralmente la dilución de la información visual mediante un "ancla visual" ligera y un mecanismo de confianza adaptativo, RUDDER ofrece una solución práctica y de bajo sobrecosto para mejorar la fiabilidad de los LVLM en entornos del mundo real.

Los autores enfatizan que su enfoque es libre de entrenamiento, requiriendo solo una calibración única de hiperparámetros en un pequeño conjunto de validación retenido. Posicionan a RUDDER como un paso hacia la "IA Verde", reduciendo la huella energética de la inferencia de modelos de alta calidad al eliminar la necesidad de refinamiento iterativo o múltiples pasadas hacia adelante.

Limitaciones: Los autores reconocen que RUDDER es sensible a los hiperparámetros (específicamente la capa de intervención, la fuerza de dirección y la sensibilidad de la puerta), los cuales deben ajustarse para cada arquitectura de modelo específica. Se sugiere trabajo futuro centrado en la optimización automatizada de hiperparámetros para mejorar la robustez y la facilidad de despliegue.