Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Sintesi Tecnica: Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

Definizione del Problema
I sistemi di Visual Question Answering basati sulla conoscenza (KB-VQA) si affidano al recupero di passaggi da una vasta base di conoscenza (ad esempio, su scala Wikipedia) per condizionare un lettore visione-linguaggio (VLM) a rispondere a domande riguardanti un'immagine. Sebbene i modelli linguistici di grandi dimensioni (LLM) puramente testuali a lungo contesto esibiscano un effetto "lost-in-the-middle" (Liu et al., 2024) ben documentato — in cui le informazioni all'inizio e alla fine di un contesto vengono utilizzate mentre quelle centrali vengono ignorate — rimane ignoto se questo fenomeno si trasferisca ai sistemi KB-VQA multimodali implementati. Gli studi esistenti sul bias di posizione multimodale non hanno caratterizzato questo scenario su scala di deployment, utilizzando spesso un numero ridotto di distrattori o benchmark di comprensione immagine-testo generici piuttosto che specifici stack KB-VQA. Di conseguenza, non è chiaro se il bias a forma di U sia confermato, se emerga una forma diversa, se l'origine del bias risieda nella prossimità dell'immagine o nella posizione del testo, e se le ottimizzazioni lato recupero (ad esempio, diversificazione, reranking) possano mitigare il problema per i lettori congelati (frozen).

Metodologia
Gli autori progettano un "protocollo gold-position" controllato per isolare la dipendenza dalla posizione del lettore nel KB-VQA multimodale.

• Progettazione del Protocollo: Per ogni domanda, vengono costruiti tre prompt che sono identici bit a bit eccetto che per la posizione dell'unico passaggio "gold" (rilevante). Il passaggio gold viene posizionato nello slot iniziale (indice 0), nello slot centrale (indice $\lfloor(k-1)/2\rfloor$), o nello slot finale (indice $k-1$). Tutti gli altri $k-1$ slot sono riempiti con distrattori identici.
• Scala e Configurazione: Lo studio opera su scala di deployment utilizzando i primi 50 candidati da un forte recuperatore multi-vettore (PreFLMR ViT-G) e variando $k$ fino a 20.
• Modelli e Benchmark: Gli esperimenti sono condotti su tre VLM open-source da 7B/8B istruiti (Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B) su due benchmark KB-VQA (INFOSEEK e E-VQA).
• Rigore Statistico: Lo studio impiega un design accoppiato entro il prompt con inferenza paired-bootstrap (10.000 campionamenti) per garantire confronti accoppiati esatti. Viene utilizzato un classificatore a cinque vie pre-registrato per categorizzare le dimensioni dell'effetto (ad esempio, Generalizzazione, Amplificato) per evitare l'harvesting post-hoc.
• Ablazioni: Gli autori eseguono ablazioni mirate per determinare il locus dell'effetto:
  1. Controllo solo testuale: Rimozione dell'immagine per misurare il bias basale in modalità testuale.
  2. Ablazione della posizione dell'immagine: Spostamento del blocco di token dell'immagine alla fine del prompt per testare gli effetti di prossimità dei token dell'immagine.
  3. Ablazione dello shuffle dei distrattori: Randomizzazione dell'ordine dei distrattori rispetto al loro rango di recupero per disaccoppiare la posizione dello slot del prompt dalla similarità di recupero.
  4. Fix lato recupero: Test di diversificazione Maximum Marginal Relevance (MMR), oracle reranking e riordinamento basato sul rango su un lettore congelato.

Risultati Chiave

1. Primacy Bias, non Forma a U: Contrariamente all'effetto "lost-in-the-middle" a forma di U tipico degli LLM solo testuali, il KB-VQA multimodale esibisce un forte primacy bias. La configurazione "gold-at-first" supera la configurazione "gold-at-last" di 16 o 26 punti percentuali in tutte le sei combinazioni lettore-benchmark. La curva delle prestazioni è un decadimento monotono piuttosto che una forma a U; le posizioni centrali e finali spesso collassano insieme al di sotto della prima posizione.
2. Amplificazione Multimodale: Un'ablazione solo testuale rivela che il primacy bias esiste nei sottostanti lettori testuali, ma è amplificato da 2,2 a 4,5 volte nell'ambiente multimodale. Il contesto multimodale rimodella il bias, rendendo il divario tra la prima e l'ultima posizione significativamente più ampio rispetto alle modalità solo testuali.
3. Il Locus è lo Slot del Prompt 0: Il bias è ancorato allo slot del prompt 0 del lettore istruito.
   • Spostare l'immagine alla fine del prompt non ha ridotto il divario tra primo e ultimo, escludendo la prossimità dei token dell'immagine come driver primario.
   • Un esperimento di distractor-shuffle ha mostrato che quando il distrattore più simile (rango-1) veniva spostato lontano dallo slot 0, il tasso di errore del lettore non seguiva il rango di similarità ma rimaneva elevato quando il distrattore era allo slot 0. Ciò conferma che il lettore privilegia il primo slot indipendentemente dalla similarità di recupero.
4. I Fix lato Recupero Falliscono: Le interazioni senza training lato recupero, inclusi l'MMR diversification, l'oracle reranking (forzare il gold in cima) e il riordinamento basato sul rango, non sono riuscite a colmare il divario su un lettore congelato. Il divario di performance tra primo e ultimo è rimasto intatto entro gli intervalli di confidenza.

Significatività e Rivendicazioni
Il paper sostiene che Recall@k è la metrica errata per i sistemi KB-VQA implementati che si affidano a lettori congelati. Poiché il lettore ignora o sottoutilizza sistematicamente le informazioni rilevanti a meno che non appaiano all'inizio del prompt, ottimizzare il recupero per la recall (trovare il passaggio gold nei top-$k$) non garantisce l'affidabilità del sistema se il passaggio gold non si trova nello slot ottimale.

Gli autori concludono che colmare il divario di performance richiede un intervento lato lettore (ad esempio, fine-tuning consapevole della posizione, calibrazione dell'attenzione o bilanciamento dei dati) piuttosto che un'ulteriore ottimizzazione della componente di recupero. Rilasciano il loro protocollo gold-position come uno strumento controllato per permettere alla comunità di valutare futuri interventi lato lettore o durante il training.

Limitazioni Riconosciute dagli Autori

• Ambito: Le scoperte sono specifiche per i VLM open-source da 7B/8B, contesti brevi ($k \le 20$) e basi di conoscenza derivate da Wikipedia in inglese. Modelli proprietari o scale maggiori potrebbero comportarsi diversamente.
• Meccanismo: Sebbene il locus sia identificato come lo slot del prompt 0, il meccanismo sottostante (ad esempio, pattern di attenzione specifici o distribuzioni dei dati di instruction-tuning) non è completamente caratterizzato.
• Confondimento: L'ablazione solo testuale confronta dataset differenti (NQ-Open vs. M2KR), il che significa che l' "amplificazione" riportata confonde gli effetti della modalità con quelli del corpus, sebbene gli autori sostengano che l'amplificazione sia una proprietà dell'ambiente KB-VQA multimodale.
• Euristica: La diagnostica del bucket di fallimento si basa sul matching delle stringhe, il che potrebbe confondere errori di superficie con errori semantici.