Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Technische Samenvatting: Lost at the End: Primacy Bias in Multimodale Retrieval-Augmented Question Answering

Probleemstelling
Kennisgebaseerde Visual Question Answering (KB-VQA) systemen vertrouwen op het ophalen van passages uit een grote kennisbank (bijv. op Wikipedia-schaal) om een visueel-talige reader (VLM) te conditioneren om vragen over een afbeelding te beantwoorden. Hoewel pure tekstuele long-context Large Language Models (LLMs) een goed gedocumenteerd "lost-in-the-middle" effect vertonen (Liu et al., 2024) — waarbij informatie aan het begin en einde van een context wordt benut terwijl de middelste wordt genegeerd — blijft het onbekend of dit fenomeen overdraagt naar uitgerolde multimodale KB-VQA systemen. Bestaande studies naar multimodale positie-bias hebben deze setting op deployment-schaal niet gekarakteriseerd, waarbij vaak een klein aantal distractoren of algemene beeld-tekstbegripsbenchmarks worden gebruikt in plaats van specifieke KB-VQA-stacks. Daarom is het onduidelijk of de U-vormige bias standhoudt, of dat er een andere vorm ontstaat, waar de bias vandaan komt (nabijheid van de afbeelding versus tekstpositie), en of optimalisaties aan de retrieval-zijde (bijv. diversificatie, reranking) het probleem kunnen mitigeren voor bevroren readers.

Methodologie
De auteurs ontwerpen een gecontroleerd "gold-position protocol" om de reader-zijde positie-afhankelijkheid in multimodale KB-VQA te isoleren.

• Protocolontwerp: Voor elke vraag worden drie prompts geconstrueerd die identiek zijn, behalve voor de positie van de enkele "gold" (relevante) passage. De gold passage wordt geplaatst in de eerste slot (index 0), de middelste slot (index $\lfloor(k-1)/2\rfloor$), of de laatste slot (index $k-1$). Alle andere $k-1$ slots worden gevuld met identieke distractoren.
• Schaal en Setup: De studie opereert op een deployment-schaal met top-50 kandidaten van een sterke multi-vector retriever (PreFLMR ViT-G) en een variërende $k$ tot 20.
• Modellen en Benchmarks: Experimenten worden uitgevoerd op drie open-source 7B/8B instruction-tuned VLMs (Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B) over twee KB-VQA benchmarks (INFOSEEK en E-VQA).
• Statistische Rigor: De studie maakt gebruik van een binnen-prompt gepaard ontwerp met paired-bootstrap inferentie (10.000 resamples) om exacte gepaarde vergelijkingen te waarborgen. Een vooraf geregistreerde vijf-weg classifier wordt gebruikt om effectgroottes te categoriseren (bijv. Generalization, Amplified) om post-hoc harvesting te voorkomen.
• Ablaties: De auteurs voeren gerichte ablaties uit om de locatie van het effect te bepalen:
  1. Text-only control: Het verwijderen van de afbeelding om de baseline tekst-modus bias te meten.
  2. Image-position ablation: Het verplaatsen van het image-token blok naar het einde van de prompt om effecten van image-token nabijheid te testen.
  3. Distractor-shuffle ablation: Het randomiseren van de volgorde van distractoren ten opzichte van hun retrieval rank om de prompt slot positie te ontkoppelen van retrieval similarity.
  4. Retrieval-side fixes: Het testen van Maximum Marginal Relevance (MMR) diversificatie, oracle reranking, en rank-gebaseerde herordening op een bevroren reader.

Belangrijkste Resultaten

1. Primacy Bias, Geen U-Shape: In tegenstelling tot de U-vormige "lost-in-the-middle" effect in tekst-only LLMs, vertoont multimodale KB-VQA een sterke primacy bias. De "gold-at-first" configuratie presteert 16 tot 26 procentpunten beter dan "gold-at-last" over alle zes de reader-benchmark combinaties. De prestatiecurve is een monotone afname in plaats van een U-vorm; de middelste en laatste posities vallen vaak samen onder de eerste positie.
2. Multimodale Amplificatie: Een text-only ablatie laat zien dat primacy bias bestaat in de onderliggende tekst readers, maar dat dit 2,2 tot 4,5 keer wordt versterkt in de multimodale setting. De multimodale context hervormt de bias, waardoor het gat tussen de eerste en laatste positie aanzienlijk groter is dan in text-only modi.
3. Locus is Prompt Slot 0: De bias is verankerd aan prompt slot 0 van de instruction-tuned reader.
   • Het verplaatsen van de afbeelding naar het einde van de prompt verminderde de eerste-versus-laatste kloof niet, wat de image-token nabijheid als primaire drijfveer uitsluit.
   • Een distractor-shuffle experiment toonde aan dat wanneer de meest gelijkaardige distractor (rank-1) werd weggehaald bij slot 0, de foutmarge van de reader niet de similarity rank volgde, maar hoog bleef wanneer de distractor op slot 0 stond. Dit bevestigt dat de reader de eerste slot prioriteert, ongeacht de retrieval similarity.
4. Retrieval-Side Fixes Falen: Training-vrije retrieval-zijde interventies, inclusief MMR diversificatie, oracle reranking (het forceren van gold naar de top), en rank-gebaseerde herordening, slaagden er niet in om de kloof te dichten op een bevroren reader. De eerste-versus-laatste prestatiekloof bleef intact binnen de betrouwbaarheidsintervallen.

Significantie en Claims
Het artikel claimt dat Recall@k de verkeerde metriek is voor uitgerolde KB-VQA systemen die vertrouwen op bevroren readers. Omdat de reader systematisch relevante informatie negeert of onderbenut tenzij deze aan het begin van de prompt verschijnt, leidt het optimaliseren van retrieval voor recall (het vinden van de gold passage in de top-$k$) niet tot gegarandeerde systeembetrouwbaarheid als de gold passage zich niet in de optimale slot bevindt.

De auteurs concluderen dat het dichten van de prestatiekloof reader-zijde interventie vereist (bijv. positie-bewuste fine-tuning, attention kalibratie, of data rebalancing) in plaats van verdere optimalisatie van de retrieval component. Zij stellen hun gold-position protocol beschikbaar als een gecontroleerd instrument voor de community om toekomstige reader-zijde of training-tijd interventies te evalueren.

Beperkingen Erkend door de Auteurs

• Scope: Bevindingen zijn specifiek voor open-source 7B/8B VLMs, korte contexten ($k \le 20$), en Engelse Wikipedia-afgeleide kennisbanken. Proprietary modellen of grotere schalen kunnen anders reageren.
• Mechanisme: Hoewel de locus is geïdentificeerd als prompt slot 0, is het onderliggende mechanisme (bijv. specifieke attention patronen of instruction-tuning data distributies) niet volledig gekarakteriseerd.
• Confounding: De text-only ablatie vergelijkt verschillende datasets (NQ-Open vs. M2KR), wat betekent dat de gerapporteerde "amplificatie" modality en corpus effecten conflateert, hoewel de auteurs beargumenteren dat de amplificatie een eigenschap is van de multimodale KB-VQA setting.
• Heuristieken: De failure bucket diagnostic vertrouwt op string matching, wat surface-form en semantische fouten kan confleren.