Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Resumen Técnico: Perdido al final: Sesgo de primacía en la recuperación multimodal de respuesta aumentada por conocimiento

Declaración del problema
Los sistemas de Respuesta Visual Basada en Conocimiento (KB-VQA) dependen de la recuperación de pasajes de una gran base de conocimientos (por ejemplo, a escala de Wikipedia) para condicionar a un lector de visión-lenguaje (VLM) a responder preguntas sobre una imagen. Si bien los modelos de lenguaje extensos (LLM) puramente textuales exhiben un efecto de "pérdida en el medio" (lost-in-the-middle) bien documentado (Liu et al., 2024) —donde la información al inicio y al final de un contexto es utilizada mientras que la del medio es ignorada—, sigue siendo desconocido si este fenómeno se transfiere a los sistemas KB-VQA desplegados. Los estudios existentes sobre el sesgo de posición multimodal no han caracterizado este entorno a escala de despliegue, utilizando a menudo un número pequeño de distractores o benchmarks de comprensión general de imagen-texto en lugar de pilas (stacks) específicas de KB-VQA. En consecuencia, no está claro si el sesgo en forma de U se mantiene, si emerge una forma diferente, dónde se origina el sesgo (proximidad de la imagen vs. posición del texto) y si las optimizaciones del lado de la recuperación (por ejemplo, diversificación, reordenamiento) pueden mitigar el problema para lectores congelados (frozen readers).

Metodología
Los autores diseñan un "protocolo de posición de oro" controlado para aislar la dependencia de la posición del lado del lector en el KB-VQA multimodal.

• Diseño del protocolo: Para cada pregunta, se construyen tres prompts que son idénticos bit a bit excepto por la posición del único pasaje "de oro" (relevante). El pasaje de oro se coloca en el primer slot (índice 0), en el slot medio (índice $\lfloor(k-1)/2\rfloor$), o en el último slot (índice $k-1$). Todos los demás $k-1$ slots se llenan con distractores idénticos.
• Escala y configuración: El estudio opera a una escala de despliegue utilizando los 50 mejores candidatos de un recuperador multivectorial fuerte (PreFLMR ViT-G) y variando $k$ hasta 20.
• Modelos y Benchmarks: Los experimentos se realizan en tres VLMs de instrucción de 7B/8B de código abierto (Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B) a través de dos benchmarks de KB-VQA (INFOSEEK y E-VQA).
• Rigor estadístico: El estudio emplea un diseño pareado dentro del prompt con inferencia de bootstrap pareado (10,000 remuestreos) para asegurar comparaciones pareadas exactas. Se utiliza un clasificador de cinco vías pre-registrado para categorizar los tamaños del efecto (por ejemplo, Generalización, Amplificado) para evitar la recolección post-hoc.
• Ablaciones: Los autores realizan ablaciones dirigidas para determinar el locus del efecto:
  1. Control solo de texto: Eliminar la imagen para medir el sesgo basal en modo texto.
  2. Ablación de posición de la imagen: Mover el bloque de tokens de la imagen al final del prompt para probar efectos de proximidad de tokens de imagen.
  3. Ablación de mezcla de distractores: Aleatorizar el orden de los distractores con respecto a su rango de recuperación para desacoplar la posición del slot del prompt de la similitud de recuperación.
  4. Arreglos del lado de la recuperación: Probar la diversificación por Relevancia Marginal Máxima (MMR), el reordenamiento de oráculo y el reordenamiento basado en rango sobre un lector congelado.

Resultos clave

1. Sesgo de primacía, no de forma de U: Contrario al efecto de "pérdida en el medio" en forma de U de los LLM solo de texto, el KB-VQA multimodal exhibe un fuerte sesgo de primacía. La configuración "oro al principio" supera a la configuración "oro al final" por 16 a 26 puntos porcentuales en todas las seis combinaciones de lector-benchmark. La curva de rendimiento es un decaimiento monotónico en lugar de una forma de U; las posiciones media y última a menudo colapsan juntas por debajo de la primera posición.
2. Amplificación multimodal: Una ablación de solo texto revela que el sesgo de primacía existe en los lectores de texto subyacentes, pero se amplifica de 2.2 a 4.5 veces en el entorno multimodal. El contexto multimodal remodela el sesgo, haciendo que la brecha entre la primera y la última posición sea significativamente mayor que en los modos de solo texto.
3. El locus es el slot de prompt 0: El sesgo está anclado al slot de prompt 0 del lector ajustado por instrucciones.
   • Mover la imagen al final del prompt no redujo la brecha entre el primero y el último, descartando la proximidad de los tokens de la imagen como el motor principal.
   • Un experimento de mezcla de distractores mostró que cuando el distractor más similar (rango-1) se alejaba del slot 0, la tasa de error del lector no seguía el rango de similitud, sino que permanecía alta cuando el distractor estaba en el slot 0. Esto confirma que el lector prioriza el primer slot independientemente de la similitud de recuperación.
4. Los arreglos del lado de la recuperación fallan: Las intervenciones sin entrenamiento del lado de la recuperación, incluyendo la diversificación por MMR, el reordenamiento de oráculo (forzando el oro al principio) y el reordenamiento basado en rango, fallaron en cerrar la brecha en un lector congelado. La brecha de rendimiento entre el primero y el último se mantuvo intacta dentro de los intervalos de confianza.

Significancia y Reivindicaciones
El artículo sostiene que Recall@k es la métrica incorrecta para los sistemas de KB-VQA desplegados que dependen de lectores congelados. Debido a que el lector ignora o utiliza sistemáticamente menos la información relevante a menos que aparezca al principio del prompt, optimizar la recuperación para el recall (encontrar el pasaje de oro en el top-$k$) no garantiza la fiabilidad del sistema si el pasaje de oro no está en el slot óptimo.

Los autores concluyen que cerrar la brecha de rendimiento requiere una intervención del lado del lector (por ejemplo, ajuste fino consciente de la posición, calibración de atención o reequilibrio de datos) en lugar de una mayor optimización del componente de recuperación. Liberan su protocolo de posición de oro como un instrumento controlado para que la comunidad evalúe futuras intervenciones del lado del lector o del tiempo de entrenamiento.

Limitaciones reconocidas por los autores

• Alcance: Los hallazgos son específicos para VLMs de 7B/8B de código abierto, contextos cortos ($k \le 20$) y bases de conocimiento derivadas de Wikipedia en inglés. Los modelos propietarios o escalas mayores podrían comportarse de manera diferente.
• Mecanismo: Aunque el locus se identifica como el slot de prompt 0, el mecanismo subyacente (por ejemplo, patrones de atención específicos o distribuciones de datos de ajuste de instrucciones) no está completamente caracterizado.
• Confusión: La ablación de solo texto compara diferentes conjuntos de datos (NQ-Open vs. M2KR), lo que significa que la "amplificación" reportada confunde los efectos de la modalidad y del corpus, aunque los autores argumentan que la amplificación es una propiedad del entorno de KB-VQA multimodal.
• Heurística: El diagnóstico de la categoría de fallo depende de la coincidencia de cadenas (string matching), lo que puede confundir errores de forma superficial y semántica.