Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Résumé Technique : Perdu à la fin : Biais de primauté dans le Questionnement-Réponse Multimodal Augmenté par Récupération

Énoncé du Problème
Les systèmes de Questionnement-Réponse Visuel basé sur la connaissance (KB-VQA) reposent sur la récupération de passages à partir d'une vaste base de connaissances (par exemple, à l'échelle de Wikipédia) pour conditionner un lecteur vision-langage (VLM) afin de répondre à des questions sur une image. Bien que les modèles de langage (LLM) à contexte long, purement textuels, présentent un effet « perdu au milieu » (lost-in-the-middle) bien documenté (Liu et al., 2024) — où l'information au début et à la fin d'un contexte est utilisée tandis que le milieu est ignoré — il reste inconnu si ce phénomène se transfère aux systèmes KB-VQA multimodaux déployés. Les études existantes sur le biais de position multimodal n'ont pas caractérisé ce cadre à l'échelle du déploiement, utilisant souvent un petit nombre de distracteurs ou des benchmarks de compréhension image-texte généraux plutôt que des piles KB-VQA spécifiques. Par conséquent, il n'est pas clair si le biais en forme de U se maintient, si une forme différente émerge, si le biais provient de la proximité de l'image ou de la position du texte, et si les optimisations du côté de la récupération (ex: diversification, réordonnancement) peuvent atténuer le problème pour des lecteurs gelés.

Méthodologie
Les auteurs conçoivent un « protocole de position d'or » contrôlé pour isoler la dépendance à la position du côté du lecteur dans le KB-VQA multimodal.

• Conception du protocole : Pour chaque question, trois prompts sont construits de manière identique bit à bit, à l'exception de la position du passage unique « d'or » (pertinent). Le passage d'or est placé au premier emplacement (index 0), à l'emplacement du milieu (index $\lfloor(k-1)/2\rfloor$), ou au dernier emplacement (index $k-1$). Tous les autres $k-1$ emplacements sont remplis de distracteurs identiques.
• Échelle et Configuration : L'étude opère à une échelle de déploiement en utilisant les 50 meilleurs candidats provenant d'un puissant récupérateur multi-vecteurs (PreFLMR ViT-G) et faisant varier $k$ jusqu'à 20.
• Modèles et Benchmarks : Les expériences sont menées sur trois VLM open-source de 7B/8B ajustés par instruction (Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B) sur deux benchmarks KB-VQA (INFOSEEK et E-VQA).
• Rigueur Statistique : L'étude emploie un design apparié intra-prompt avec une inférence par bootstrap apparié (10 000 rééchantillonnages) pour assurer des comparaisons appariées exactes. Un classificateur à cinq voies pré-enregistré est utilisé pour catégoriser les tailles d'effet (ex: Généralisation, Amplification) afin d'éviter la collecte post-hoc.
• Ablations : Les auteurs effectuent des ablations ciblées pour déterminer le lieu de l'effet :
  1. Contrôle texte seul : Suppression de l'image pour mesurer le biais de base en mode texte.
  2. Ablation de la position de l'image : Déplacement du bloc de tokens de l'image à la fin du prompt pour tester les effets de proximité des tokens d'image.
  3. Ablation du mélange des distracteurs : Randomisation de l'ordre des distracteurs par rapport à leur rang de récupération pour découpler la position de l'emplacement du prompt de la similitude de récupération.
  4. Corrections côté récupération : Test de la diversification par Relevance Maximale Marginale (MMR), du réordonnancement oracle et du réordonnancement basé sur le rang sur un lecteur gelé.

Résultats Clés

1. Biais de Primauté, non de forme en U : Contrairement à l'effet « perdu au milieu » en forme de U des LLM purement textuels, le KB-VQA multimodal présente un fort biais de primauté. La configuration « or au début » surpasse la configuration « or à la fin » de 16 à 26 points de pourcentage à travers les six combinaisons lecteur-benchmark. La courbe de performance est une décroissance monotone plutôt qu'une forme en U ; les positions du milieu et de la fin s'effondrent souvent ensemble sous la première position.
2. Amplification Multimodale : Une ablation en mode texte seul révèle que le biais de primauté existe dans les lecteurs textuels sous-jacents mais est amplifié de 2,2 à 4,5 fois dans le cadre multimodal. Le contexte multimodal remodèle le biais, rendant l'écart entre la première et la dernière position significativement plus grand que dans les modes texte seul.
3. Le lieu est l'emplacement du prompt 0 : Le biais est ancré à l'emplacement du prompt 0 du lecteur ajusté par instruction.
   • Déplacer l'image à la fin du prompt n'a pas réduit l'écart premier-dernier, excluant la proximité des tokens d'image comme moteur principal.
   • Une expérience de mélange des distracteurs a montré que lorsque le distracteur le plus similaire (rang 1) était éloigné de l'emplacement 0, le taux d'erreur du lecteur ne suivait pas le rang de similitude mais restait élevé lorsque le distracteur était à l'emplacement 0. Cela confirme que le lecteur donne la priorité au premier emplacement indépendamment de la similitude de récupération.
4. Les corrections côté récupération échouent : Les interventions sans entraînement du côté de la récupération, incluant la diversification MMR, le réordonnancement oracle (forcer l'or en haut) et le réordonnancement basé sur le rang, ont échoué à combler l'écart sur un lecteur gelé. L'écart de performance premier-dernier est resté intact à l'intérieur des intervalles de confiance.

Signification et Revendications
L'article affirme que le Recall@k est la mauvaise métrique pour les systèmes KB-VQA déployés reposant sur des lecteurs gelés. Parce que le lecteur ignore ou sous-utilise systématiquement l'information pertinente à moins qu'elle n'apparaisse au tout début du prompt, optimiser la récupération pour le rappel (trouver le passage d'or dans le top-$k$) ne garantit pas la fiabilité du système si le passage d'or n'est pas à l'emplacement optimal.

Les auteurs concluent que la fermeture de l'écart de performance nécessite une intervention du côté du lecteur (ex: ajustement fin sensible à la position, calibration de l'attention, ou rééquilibrage des données) plutôt qu'une optimisation supplémentaire du composant de récupération. Ils publient leur protocole de position d'or comme un instrument contrôlé pour que la communauté puisse évaluer les futures interventions du côté du lecteur ou lors de la phase d'entraînement.

Limites reconnues par les auteurs

• Portée : Les conclusions sont spécifiques aux VLM open-source de 7B/8B, aux contextes courts ($k \le 20$), et aux bases de connaissances dérivées de Wikipédia en anglais. Les modèles propriétaires ou à plus grande échelle pourraient se comporter différemment.
• Mécanisme : Bien que le lieu soit identifié comme l'emplacement du prompt 0, le mécanisme sous-jacent (ex: motifs d'attention spécifiques ou distributions de données d'ajustement par instruction) n'est pas entièrement caractérisé.
• Confusion : L'ablation texte seul compare des jeux de données différents (NQ-Open vs M2KR), ce qui signifie que l'« amplification » rapportée confond les effets de la modalité et du corpus, bien que les auteurs soutiennent que l'amplification est une propriété du cadre KB-VQA multimodal.
• Heuristiques : Le diagnostic par bac d'échec (failure bucket) repose sur la correspondance de chaînes de caractères, ce qui peut confondre les erreurs de forme de surface et de sémantique.