Resumen Técnico: LOOKBACK – Dónde y cómo puntuar las respuestas de los LVLM mediante el uso de referencias visuales

1. Planteamiento del problema

Los Modelos de Lenguaje-Visión Grandes (LVLM) integran la percepción visual con la generación de lenguaje, pero sufren un tipo específico de alucinación: producen respuestas fluidas y plausibles que no están fundamentadas en la imagen de entrada. Aunque los métodos existentes para mejorar la fiabilidad, como la selección Best-of-N (BoN), se basan en la puntuación de respuestas candidatas para seleccionar la mejor, los mecanismos de puntuación actuales son insuficientes para los LVLM.

El artículo identifica una brecha crítica en la confianza en el espacio de salida (por ejemplo, la verosimilitud de los tokens o la Autocerteza/Self-Certainty). Los diagnósticos revelan que estas puntuaciones de confianza son, en gran medida, insensibles a la entrada visual. Específicamente, eliminar la imagen del contexto de entrada apenas cambia la selección de la respuesta de mayor rango basada en la confianza. Esto indica que la confianza en el espacio de salida captura principalmente la plausibilidad textual (fluidez lingüística) en lugar de la fundamentación visual (acuerdo con la imagen). En consecuencia, confiar únicamente en la confianza no permite distinguir entre respuestas que son lingüísticamente fluidas pero visualmente alucinadas, frente a aquellas que son fieles a la imagen.

2. Metodología: LOOKBACK

Para abordar esto, los autores proponen LOOKBACK, un método de puntuación de respuestas intrínseco al modelo y libre de entrenamiento. LOOKBACK aumenta la verosimilitud de los tokens con una puntuación de mirada visual hacia atrás (visual lookback score), una medida ligera de qué tan fuertemente cada token generado hace referencia a la entrada visual. El método opera en tres etapas:

A. Puntuación de mirada visual hacia atrás ($A_t$)

Los autores aprovechan los mecanismos de atención interna de los LVLM. Dado que los LVLM procesan las imágenes como tokens visuales explícitos dentro del contexto causal, cada predicción de token generado puede atender directamente a estos tokens de visión.

• Definición: Para un token generado $y_t$, la puntuación de mirada visual hacia atrás $A_t$ es la fracción del peso de atención dirigida desde el paso de predicción hacia los tokens de visión ($P_v$) a través de todas las capas y cabezales de atención.
• Significado: $A_t$ sirve como un sustituto (proxy) del uso de la referencia visual. Es alta para tokens que describen objetos, atributos o relaciones presentes en la imagen y baja para palabras funcionales genéricas.

B. Puntuación de token calibrada por mirada hacia atrás ($u_t$)

LOOKBACK combina la confianza en el espacio de salida del modelo ($p_t$) con la puntuación de mirada visual hacia atrás ($A_t$) para formar una puntuación de token calibrada:
$$u_t = \log(p_t) + \alpha \log(A_t)$$

• Aquí, $\alpha$ es un hiperparámetro que controla la fuerza de la calibración.
• Esta formulación asegura que los tokens con alta confianza pero baja atención visual (alucinaciones) reciban una puntuación más baja, mientras que se favorecen los tokens que son tanto confiables como visualmente fundamentados.

C. Ponderación de relevancia visual y agregación

No todos los tokens contribsten por igual a la fundamentación visual. LOOKBACK agrega las puntuaciones de los tokens utilizando una distribución de relevancia visual ($q_\lambda$) en lugar de un promedio uniforme.

• Distribución: $q_\lambda$ se deriva maximizando un objetivo de relevancia con regularización de entropía, concentrando la masa de probabilidad en los tokens con altas puntuaciones de mirada visual hacia atrás ($A_t$).
• Puntuación Final: La puntuación final de la respuesta $S(y)$ es el valor esperado de las puntuaciones de los tokens calibrados bajo esta distribución:
  $$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$$
  Esto asegura que la puntuación final esté fuertemente influenciada por los tokens que son tanto confiables como fuertemente ligados a la entrada visual.

3. Contribuciones clave

1. Perspectiva diagnóstica: El artículo proporciona evidencia empírica de que las métricas estándar de confianza en el espacio de salida (como la Autocerteza) son, en gran medida, insensibles a la imagen, fallando en la detección de alucinaciones visuales en entornos de selección Best-of-N.
2. Puntuación libre de entrenamiento: LOOKBACK introduce un método para puntuar las respuestas de los LVLM sin requerir modelos de recompensa externos, entrenamiento adicional o pasadas de inferencia extra. Utiliza únicamente señales internas (probabilidades de tokens y pesos de atención) disponibles durante la generación.
3. Complementariedad a nivel de token: El trabajo demuestra que la confianza en el espacio de salida y las puntuaciones de mirada visual hacia atrás capturan aspectos complementarios de la generación: la confianza favorece la predictibilidad lingüística, mientras que la mirada hacia atrás favorece la referencia visual.
4. Agregación eficiente: Al ponderar los tokens según su relevancia visual, LOOKBACK prioriza las palabras de contenido diagnóstico (sustantivos, atributos) sobre las palabras de fluidez genérica en la puntuación final.

4. Resultados experimentales

Los autores evaluaron LOOKBACK a través de cuatro benchmarks (VQAv2, CHAIR, AMBER, HallusionBench) y tres LVLM representativos (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

• Desempeño: LOOKBACK superó consistentemente a las líneas base existentes, incluyendo métodos del lado del lenguaje (Autocerteza, Autoconsistencia Universal) y métodos del lado de la visión (CLIPScore, VAUQ).
  • Logró el mayor desempeño promedio por modelo en los tres LVLM.
  • Mejoró la precisión de la selección Best-of-N en aproximadamente un ganancia relativa del 4.97% sobre la selección aleatoria y superó consistentemente a la línea base de Autocerteza.
• Escalabilidad: A medida que el tamaño del grupo de candidatos ($N$) aumentó de 1 a 25, LOOKBACK mantuvo una ventaja constante sobre las líneas base, mientras que otros métodos mostraron rendimientos decrecientes o inestabilidad.
• Eficiencia: LOOKBACK incurrió en un gasto computacional insignificante en comparación con el tiempo de generación. Fue significativamente más rápido que los métodos que requieren perturbación (VAUQ) o codificadores externos (CLIPScore), añadiendo solo un costo modesto de puntuación post-generación.

5. Significado y afirmaciones

El artículo afirma que LOOKBACK proporciona una solución ligera e intrínseca al modelo para mejorar la fiabilidad de las respuestas de los LVLM. Su importancia radica en:

• Cerrar la brecha: Aborda directamente la desconex el condicionamiento de la imagen y la sensibilidad a la imagen en las métricas de puntuación actuales.
• Practicidad: Al estar libre de entrenamiento y no requerir modelos auxiliares, es aplicable a entornos con recursos limitados y escenarios de caja negra (siempre que los pesos de atención interna sean accesibles).
• Generalizabilidad: Los autores sugieren que el principio de "puntuación consciente de la fuente" (verificar si los pasos de generación de alta confianza se refieren de vuelta a la fuente prevista) podría extenderse más allá de la visión a otras tareas de generación fundamentada, como la Generación Aumentada por Recuperación (RAG) o el uso de herramientas.

Limitaciones reconocidas:
Los autores señalan que LOOKBACK requiere acceso a los pesos de atención interna, lo que limita su uso con APIs estrictamente de caja negra. Además, la mirada visual hacia atrás es un sustituto de la utilización de la referencia, no una garantía de corrección fáctica; un modelo puede atender a los tokens de la imagen y aun así generar contenido incorrecto o sesgado. Por lo tanto, se recomienda utilizar LOOKBACK como una ayuda de selección de respuestas para ser empleada junto con la validación específica de la tarea y la supervisión humana.