Riepilogo Tecnico: Catena di Prove (CoE) per la Generazione Aumentata dal Recupero Iterativa

1. Enunciato del Problema

La Generazione Aumentata dal Recupero Iterativa (iRAG) è emersa come un paradigma per rispondere a domande complesse multi-hop recuperando e ragionando progressivamente su documenti esterni. Tuttavia, i sistemi iRAG attuali affrontano tre colli di bottiglia critici quando operano su documenti reali, ricchi di elementi visivi (ad esempio, PDF, diapositive, report web):

1. Il Collo di Bottiglia della Verifica: I sistemi esistenti forniscono citazioni grossolane a livello di testo (ad esempio, "[Fonte: Doc-1]"). In scenari multi-hop, ciò costringe gli utenti a scansionare manualmente documenti lunghi per localizzare frasi di supporto specifiche, creando un alto carico cognitivo.
2. Perdita di Informazioni nella Conversione in Testo: La conversione di documenti ricchi di elementi visivi in testo lineare tramite OCR o analisi distrugge la logica spaziale e gli indici di layout (ad esempio, tendenze dei grafici, flussi dei diagrammi, gerarchie delle diapositive). Per molti documenti, la prova esiste nella relazione visiva tra gli elementi, non solo nel testo, rendendo le citazioni basate sul testo fondamentalmente insufficienti.
3. Catene di Ragionamento Opache: Gli utenti non hanno visibilità sulla traiettoria delle decisioni. I metodi attuali non visualizzano la "catena di prove" — come un elemento di prova intermedio guidi la selezione del documento successivo in una traiettoria multi-hop.

2. Metodologia: Catena di Prove (CoE)

Per affrontare queste limitazioni, gli autori propongono la Catena di Prove (CoE), un framework di attribuzione visiva agnostico rispetto al recuperatore che opera direttamente sugli screenshot dei documenti anziché sul testo analizzato.

Architettura Principale

• Paradigma Visivo-First: CoE bypassa le pipeline di analisi del testo fragili. Prende un insieme di screenshot di documenti candidati (da un recuperatore a monte) e li elabora come immagini ($d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$).
• Design Agnostico rispetto al Recuperatore: Il framework assume un recuperatore generico a monte che restituisce un insieme di $k$ candidati migliori. CoE si concentra sulla selezione, ordinamento e ancoraggio delle prove all'interno di questi candidati senza introdurre parametri specifici del recuperatore.
• Formato di Output: Invece di citazioni testuali, CoE produce una catena strutturata di prove composta da:
  • Identificatori selezionati delle immagini candidate.
  • Bounding box precise $[(x_1, y_1), (x_2, y_2)]$ che individuano le regioni di prova (paragrafi di testo, celle di tabelle, diagrammi).
  • Sottoparole in linguaggio naturale o pensieri di ragionamento per ogni salto.
• Processo di Generazione: Il modello esegue un singolo passaggio autoregressivo per generare l'intera catena di prove, mappando la query e gli screenshot candidati su una risposta e una sequenza di tuple $(documento, \text{bounding box}, \text{ragionamento})$.

Strategia di Addestramento

Gli autori impiegano una strategia di apprendimento curricolare in due fasi utilizzando il modello Qwen3-VL-8B-Instruct:

1. Fase I (Singolo salto): Si concentra sull'istaurare capacità di ancoraggio visivo addestrando il modello a localizzare prove in una singola immagine.
2. Fase II (Multi-salto): Introduce la generazione di catene di prove multi-salto su screenshot dei 5 candidati migliori, partendo da un checkpoint della Fase I.

• Aumento dei Dati: Per garantire robustezza, l'addestramento incorpora aumento spaziale (ritaglio, traslazione), variazione della risoluzione (gestione di diverse densità visive) e permutazione delle prove (disaccoppiamento dell'ordine di presentazione dall'ordine di ragionamento logico).

3. Dataset e Valutazione

Per valutare rigorosamente CoE attraverso vari livelli di complessità visiva, gli autori introducono una strategia a doppio benchmark:

• Wiki-CoE: Un dataset su larga scala derivato da 2WikiMultiHopQA, contenente 70.418 domande multi-hop. Presenta screenshot ad alta fedeltà di pagine Wikipedia con annotazioni di bounding box per layout strutturati (tabelle, infobox).
• SlideVQA: Un dataset impegnativo di diapositive di presentazioni che presenta diagrammi complessi, layout liberi e grafici in cui la disposizione spaziale è semanticamente cruciale.

Metriche di Valutazione:

• Accuratezza della Risposta (EM): Corrispondenza Esatta per la risposta generata.
• Accuratezza di Localizzazione delle Prove (Loc-Acc): Una metrica congiunta che richiede la corretta selezione dell'immagine candidata e una sovrapposizione del bounding box (IoU $\ge$ 0,3) con la verità fondamentale.
• Accuratezza della Catena di Ragionamento (Chain-Acc): Verifica se la sequenza ordinata dei documenti selezionati corrisponde al percorso di ragionamento aureo.

4. Risultati Chiave

Gli esperimenti dimostrano che CoE supera significativamente i baselines basati sul testo e i Modelli Linguaggio-Visivo (VLM) zero-shot, in particolare negli scenari che richiedono la comprensione del layout visivo.

• Prestazioni su Wiki-CoE: CoE-8B ottiene 82,3% EM, 94,4% Chain-Acc e 80,4% Loc-Acc. Mentre i VLM generici (ad esempio, GPT-5) raggiungono un'accuratezza della risposta competitiva, la loro qualità di attribuzione è significativamente più debole (ad esempio, GPT-5 ottiene solo il 31,7% di Loc-Acc).
• Prestazioni su SlideVQA: Il vantaggio dell'approccio visivo-first è qui più pronunciato. I baselines basati sul testo falliscono a causa della perdita di informazioni sul layout. CoE-8B ottiene 58,8% EM, 87,5% Chain-Acc e 61,0% Loc-Acc. Al contrario, Qwen3-VL-235B zero-shot scende a 6,8% Loc-Acc, e i baselines basati su OCR testuale faticano significativamente con diapositive ricche di diagrammi.
• Impatto della Complessità Visiva: Su diapositive con organigrammi e grafici di dati, CoE supera i metodi basati su OCR con margini fino al 28,1% di accuratezza, dimostrando che l'attribuzione visiva è una necessità, non solo un miglioramento, per le strutture informative non lineari.
• Studi di Ablazione:
  • Apprendimento Curricolare: Rimuovere la fase di pre-addestramento a singolo salto causa cali significativi nella Loc-Acc (ad esempio, -7,3 punti su Wiki-CoE), confermando che l'ancoraggio isolato è un prerequisito per il ragionamento multi-salto.
  • Risoluzione: L'input ad alta risoluzione (1536×1536) è critico; ridurre la risoluzione a 512×512 causa un crollo catastrofico delle prestazioni, specialmente per il testo fine-granulare negli infobox.
  • Modalità: Un baseline solo testo (utilizzando OCR) mostra un divario di prestazioni di circa 26 punti su Wiki-CoE e circa 22 punti su SlideVQA rispetto al modello visivo, validando che la struttura visiva è il vettore primario delle informazioni logiche in questi contesti.

5. Significato e Affermazioni

Il documento afferma che la Catena di Prove (CoE) rappresenta un cambiamento di paradigma nell'iRAG, passando dall'analisi del testo fragile al ragionamento visivo robusto.

• Ancoraggio Visivo come Necessità di Ragionamento: Gli autori sostengono che per documenti complessi, la modalità visiva non è semplicemente una caratteristica di interpretabilità ma un requisito fondamentale per il ragionamento. La logica spaziale spesso prevale sul testo lineare, e il suo abbandono porta a allucinazioni e risposte non verificabili.
• Risoluzione del Collo di Bottiglia della Verifica: Fornendo bounding box a livello di pixel e visualizzando l'intera catena di ragionamento, CoE offre un meccanismo di verifica visiva immediato. Ciò permette agli utenti di verificare perché una risposta è stata generata, affrontando l'opacità dei sistemi iRAG attuali.
• Interpretabilità Agnostica rispetto al Recuperatore: CoE stabilisce una soluzione per l'iRAG interpretabile a livello di pixel compatibile con qualsiasi recuperatore a monte (lessicale, denso, ibrido o visivo), disaccoppiando le capacità di ragionamento e attribuzione dal meccanismo di recupero.
• AI Affidabile: Il lavoro fornisce un progetto per la prossima generazione di sistemi AI verificabili, in particolare per domini ad alto rischio dove l'attribuzione della fonte e la trasparenza del ragionamento sono essenziali.

Gli autori concludono che il loro lavoro sfida la visione prevalente centrata sul testo del recupero delle informazioni, dimostrando che preservare la semantica visiva è critico per un ragionamento multi-hop affidabile e interpretabile.