Resumen Técnico: SAVAA – Mitigación de Alucinaciones en Modelos de Lenguaje-Vision Grandes (LVLMs) mediante Amplificación Adaptativa de Atención Visual Paso a Paso

1. Declaración del Problema

Los Modelos de Lenguaje-Vision Grandes (LVLMs) sufren frecuentemente de alucinaciones, generando contenido inconsistente con la entrada visual. Una causa principal durante la generación autoregresiva es la sobredependencia del modelo en los priores lingüísticos, particularmente cuando la evidencia visual está subutilizada.

Los enfoques recientes sin entrenamiento, colectivamente denominados Amplificación de Atención Visual (VAA), intentan mitigar esto amplificando los pesos de atención asignados a los tokens visuales durante una sola pasada hacia adelante. Sin embargo, los métodos VAA existentes emplean un factor de amplificación fijo a través de todos los pasos de generación. Los autores identifican un patrón de fallo dual inherente a este enfoque estático:

1. Subamplificación: En ciertos pasos, el factor fijo es demasiado débil para resolver las alucinaciones existentes.
2. Sobreamplificación: En otros pasos, el mismo factor es demasiado fuerte, introduciendo nuevas alucinaciones que no estaban presentes en la salida original.

Este fenómeno ocurre porque el nivel apropiado de atención visual varía dinámicamente dependiendo del token específico que se está generando y del estado actual de incertidumbre y anclaje del modelo.

2. Metodología: SAVAA

El artículo propone Amplificación Adaptativa de Atención Visual Paso a Paso (SAVAA), un marco que calibra dinámicamente el factor de amplificación visual en cada paso de generación basándose en una estimación del riesgo de alucinación.

2.1 Entropía de Anclaje Visual (VGE)

Para permitir una calibración guiada por riesgo, SAVAA requiere un estimador de riesgo de alucinación ligero. Los autores introducen la Entropía de Anclaje Visual (VGE), que complementa la entropía predictiva estándar con señales de anclaje visual.

• Entropía Predictiva ($\bar{H}_t$): Mide la incertidumbre del modelo basada en los logits de salida. Sin embargo, la entropía por sí sola falla cuando el modelo es altamente confiable pero está débilmente anclado a la imagen (es decir, "alucinaciones confiables").
• Puntuación de Anclaje Visual ($G_t$): Calculada durante la etapa de prellenado, se construye un vector de anclaje $G$ agrupando los logits del vocabulario de los tokens visuales. Para un token predicho $v^*_t$, la puntuación de anclaje $G_t$ representa la fuerza de la evidencia visual que respalda dicho token.
• Cálculo de VGE: La puntuación de riesgo se define como una combinación ponderada:
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  donde $\alpha$ equilibra la incertidumbre y el anclaje. Una VGE más alta indica que un token es incierto, débilmente anclado, o ambas cosas.

2.2 Calibración Adaptativa del Factor VAA Paso a Paso

SAVAA utiliza un mecanismo de calibración retrasado un paso. El riesgo $r_t$ se calcula a partir de los logits del paso actual $t$, pero se utiliza para calibrar el factor de amplificación para el paso siguiente $t+1$.

• Normalización del Riesgo: La VGE se normaliza a una puntuación de riesgo $r_t \in [0, 1]$.
• Calibración del Factor: El factor de amplificación visual $m_t$ para el paso $t$ se calcula como:
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  Si el paso anterior tuvo bajo riesgo, $m_t \approx 1$ (sin intervención). Si el paso anterior tuvo alto riesgo, $m_t$ aumenta, aplicando una amplificación visual más fuerte al paso actual.

2.3 Supresión de Atención de Texto

Para abordar las alucinaciones residuales que persisten incluso bajo una fuerte amplificación visual (a menudo debido a priores lingüísticos), SAVAA incorpora un mecanismo complementario de Supresión de Atención de Texto.

• Este mecanismo suprime las puntuaciones de atención pre-softmax asignadas a los tokens de texto de entrada mediante un factor fijo $m_{txt}^{max}$.
• A diferencia del factor visual adaptativo, esta supresión es estática y ligera, diseñada para reducir la influencia relativa de los priores lingüísticos sin requerir estimación de riesgo paso a paso.

2.4 Flujo de Trabajo General

1. Prellenado: Calcular el vector de anclaje visual $G$ una sola vez.
2. Bucle de Generación:
   • Calcular el factor VAA $m_t$ y el factor de supresión de texto basándose en el riesgo $r_{t-1}$ del paso anterior.
   • Modular las puntuaciones de atención pre-softmax: amplificar los tokens visuales por $m_t$ y suprimir los tokens de texto por $1/m_{txt}^{max}$.
   • Generar el siguiente token.
   • Calcular el nuevo riesgo $r_t$ utilizando VGE para la siguiente iteración.

3. Contribuciones Clave

1. Identificación del Patrón de Fallo Dual: El artículo demuestra que los factores de amplificación fijos en los métodos VAA existentes conducen tanto a subamplificación (dejando alucinaciones sin resolver) como a sobreamplificación (introduciendo nuevas alucinaciones), variando a través de los pasos de generación y las arquitecturas de modelos.
2. Marco SAVAA: Un nuevo marco VAA que estima el riesgo de alucinación paso a paso utilizando Entropía de Anclaje Visual (VGE) y calibra adaptativamente el factor de amplificación.
3. Supresión de Texto Complementaria: La introducción de un mecanismo ligero de supresión de atención de texto para abordar el dominio residual de los priores lingüísticos, trabajando en tandem con la amplificación visual.
4. Validación Empírica: Evaluación exhaustiva en tres LVLMs diversos (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) y múltiples puntos de referencia (CHAIR, SHR, AMBER, POPE), mostrando mejoras consistentes sobre las líneas base más avanzadas.

4. Resultados Experimentales

SAVAA fue evaluado en puntos de referencia estándar de alucinación:

• CHAIR: SAVAA logró las mejores puntuaciones CHAIRs (a nivel de oración) y CHAIRi (a nivel de instancia) en los tres modelos, reduciendo las alucinaciones en márgenes significativos (por ejemplo, reduciendo CHAIRs en 7.00 puntos en InternVL3.5-8B) sin sacrificar la calidad de generación (las puntuaciones F1 permanecieron comparables a los modelos originales).
• SHR: SAVAA superó a las líneas base en las cuatro métricas (HSR, HWR, HSPI, HWPI), demostrando efectividad en la reducción de alucinaciones tanto a nivel de oración como de palabra.
• AMBER: SAVAA logró las tasas de alucinación más bajas (Hal) mientras mantenía una alta cobertura de contenido (Cover), indicando una compensación favorable entre mitigación y completitud semántica.
• POPE: En tareas discriminativas, SAVAA preservó la utilidad del modelo original, logrando puntuaciones de precisión y F1 comparables a las líneas base originales, aunque las ganancias fueron modestas en comparación con las tareas generativas.
• Eficiencia: SAVAA incurre solo en una sobrecarga marginal en tiempo de inferencia en comparación con los modelos originales, ya que VGE no requiere pasadas hacia adelante adicionales (el vector de anclaje se calcula una vez) y la lógica de calibración es ligera.

5. Significado y Afirmaciones

El artículo afirma que SAVAA representa un cambio desde la amplificación visual estática basada en heurísticas hacia una calibración de atención guiada por riesgo y paso a paso. Al modelar explícitamente la necesidad variable de anclaje visual a través de diferentes pasos de generación, SAVAA aborda las limitaciones de los métodos de factor fijo.

Los autores posicionan a SAVAA como una solución práctica y sin entrenamiento que puede desplegarse en tiempo de inferencia para mejorar la fiabilidad factual de los LVLMs en tareas de generación abierta. Reconocen limitaciones, señalando que el método depende de hiperparámetros específicos del modelo y produce ganancias más modestas en tareas discriminativas de un solo token en comparación con la generación abierta. El trabajo sugiere que las direcciones futuras podrían involucrar estrategias de calibración más adaptativas y extender el enfoque a configuraciones de predicción de forma cerrada.