Resumen Técnico: Divergencia Logit-Atención: Mitigación del Sesgo Posicional en la Recuperación de Múltiples Imágenes Mediante Calibración Guiada por Atención

1. Declaración del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han demostrado capacidades sólidas en tareas de recuperación multimodal que involucran múltiples imágenes. Sin embargo, estos modelos sufren de un sesgo posicional severo, donde la precisión de la predicción está dominada por el orden de entrada de las imágenes en lugar de su relevancia semántica para la consulta.

• El Fenómeno: En tareas de recuperación de múltiples imágenes (por ejemplo, seleccionar la imagen correcta de una secuencia de $N$ candidatos), los MLLMs exhiben preferencias irracionales por posiciones específicas (por ejemplo, la 7ª posición) mientras ignoran otras, independientemente del contenido visual. Esto conduce a fluctuaciones drásticas en el rendimiento: la precisión puede alcanzar ~99% si la verdad fundamental se alinea con una posición preferida, pero colapsar al 0% si cae en una ignorada.
• Causa Raíz: Este sesgo proviene de la arquitectura autoregresiva heredada de los Modelos de Lenguaje Grandes (LLMs). Si bien las codificaciones posicionales temporales y las máscaras de atención causal son beneficiosas para la generación de texto, introducen asimetrías estructurales no deseadas cuando se aplican a secuencias visuales no temporales, haciendo que las predicciones sean altamente sensibles al orden de entrada.
• Limitaciones de las Soluciones Existentes:
  • Prompting: El prompting basado en instrucciones o de Cadena de Pensamiento (CoT) falla al adaptarse a la naturaleza dinámica de este sesgo.
  • Calibración Estática: Métodos como PriDe asumen que el sesgo posicional es un desplazamiento estático e independiente del contenido (un prior global). Sin embargo, el análisis empírico revela que el sesgo en los MLLMs es condicional, desplazándose dinámicamente según la ubicación del objetivo. Los priores estáticos no logran resolver esta ambigüedad condicional.

2. Idea Clave: Divergencia Logit-Atención

A través del análisis empírico, los autores identifican un fenómeno crítico denominado Divergencia Logit-Atención:

• Observación: Los MLLMs a menudo "miran" la respuesta correcta (los mapas de atención internos están bien alineados con la evidencia visual relevante) pero "dicen" la incorrecta (los logits de salida están fuertemente sesgados por priores posicionales).
• Implicación: El fallo no está en la percepción semántica sino en la calibración de la decisión. Los priores estructurales fuertes durante la etapa de decodificación anulan las características internas correctas, lo que lleva a predicciones erróneas a pesar de un anclaje visual preciso.

3. Metodología: Desviación Guiada por Atención

El artículo propone un marco sin entrenamiento, en tiempo de inferencia, que aprovecha las señales de atención intrínsecas para corregir el sesgo posicional. El método requiere únicamente un conjunto de calibración mínimo (por ejemplo, 5 muestras) y una sobrecarga computacional negligible.

3.1. Estimación de Sesgo Condicional

En lugar de un prior global estático, el método estima el sesgo posicional condicional utilizando un enfoque estadístico contrafactual:

• Calibración Simetrizada: Se construye un pequeño conjunto de calibración mediante permutaciones cíclicas de las imágenes candidatas y los índices de verdad fundamental. Esto asegura que la verdad fundamental recorra uniformemente cada posición.
• Descomposición: La probabilidad de generación observada se modela como un producto de un término de sesgo dependiente de la posición ($P_{bias}$) y una señal visual específica del objetivo ($P_{vis}$).
• Estimación: Al analizar la relación de las probabilidades observadas a través de las permutaciones, el método aísla el componente de sesgo estructural condicionado a la posición de la verdad fundamental.

3.2. Estimación del Prior de Atención

Reconociendo que las puntuaciones de atención crudas también están confundidas por artefactos estructurales (por ejemplo, "sumideros de atención"), el método estima un prior de atención estático:

• Se calcula la distribución promedio de atención sobre el conjunto de calibración simetrizado para capturar el sesgo estructural subyacente en el mecanismo de atención en sí mismo.
• Este prior sirve como línea base para calibrar la evidencia visual durante la inferencia.

3.3. Corrección en Tiempo de Inferencia

El proceso de desviación sigue un marco inspirado en Bayes:

1. Selección de Capas Adaptativa: El modelo identifica las capas superiores-$K$ del Transformer con la mayor fuerza de evidencia visual (suma de probabilidades de atención asignadas a las imágenes candidatas) para extraer las señales más informativas.
2. Recuperación de Evidencia Visual Intrínseca: Las puntuaciones de atención crudas de las capas seleccionadas se corrigen eliminando el prior de atención estático (en el dominio logarítmico), produciendo una distribución posterior visual purificada ($\pi$) que representa la creencia real del modelo sobre la ubicación de la verdad fundamental.
3. Corrección de Sesgo Esperado: Dado que la verdad fundamental verdadera es latente durante la inferencia, el método construye un prior de mezcla dinámico marginalizando los perfiles de sesgo condicional precalculados sobre la distribución posterior visual inferida $\pi$.
4. Calibración Final: El prior dinámico estimado se resta de los logits de salida crudos para recuperar la probabilidad visual intrínseca para la predicción final.

4. Resultados Experimentales

El método fue evaluado en benchmarks basados en MS-COCO a través de tres backbones de MLLM (Qwen2.5-VL-3B, LLaVA-OneVision-8B, InternVL3-8B) bajo configuraciones Aleatorias y Adversarias (negativo duro).

• Mejoras de Rendimiento: El método propuesto logra un rendimiento de vanguardia, mejorando la precisión en más del 40% en comparación con las líneas base (por ejemplo, Vanilla, PriDe, Autoconsistencia).
  • En LLaVA-OneVision (N=4, Aleatorio), la precisión aumentó de 67.52% (Vanilla) a 98.66%.
  • En configuraciones Adversarias, mejoró de 49.56% a 71.06%.
• Invarianza de Permutación: El método reduce drásticamente la Desviación Estándar de la Recuperación (RStd) y aumenta la Consistencia (Cons.), demostrando que las predicciones están impulsadas por la evidencia visual y no por el orden de entrada.
• Escalabilidad: El método mantiene una mayor precisión con una disminución más gradual a medida que el tamaño del grupo de candidatos ($N$) aumenta de 2 a 12, mientras que las líneas base sufren una degradación rápida.
• Generalización: El enfoque se generaliza efectivamente a través de dominios (Flickr8k a MS-COCO) y niveles de dificultad (Aleatorio a Adversario) sin recalibración específica de la tarea.
• Eficiencia: El método opera dentro de un solo pase hacia adelante. Aunque incurre en una ligera sobrecarga de latencia debido a la estimación de sesgo contrafactual y la extracción de atención, evita los altos costos de los métodos de conjunto.

5. Significado y Afirmaciones

El artículo afirma las siguientes contribuciones y significados:

• Identificación de la Divergencia Logit-Atención: Revela una limitación fundamental en los métodos existentes de calibración a nivel de logits, mostrando que la atención interna a menudo permanece semánticamente alineada incluso cuando las salidas están corrompidas por sesgo.
• Marco Sin Entrenamiento: Introduce un mecanismo práctico de desviación guiado por atención que no requiere reentrenamiento del modelo y utiliza datos de calibración mínimos (tan pocos como 5 muestras).
• Restauración de la Robustez: El método restaura efectivamente la invarianza de permutación en la recuperación de múltiples imágenes, sugiriendo que los MLLMs poseen capacidades de percepción visual latentes que actualmente están enmascaradas por priores de decodificación estructural.
• Implicaciones Más Amplias: Los hallazgos sugieren que la baja precisión reportada en ciertos benchmarks de MLLM puede reflejar sesgo posicional en lugar de limitaciones genuinas de capacidad, ya que los modelos internamente "ven" las respuestas correctas pero fallan en expresarlas.

El trabajo destaca el potencial sin explotar de los mecanismos de atención internos para mejorar la robustez de los MLLMs en contextos complejos de múltiples imágenes.