Riepilogo Tecnico: MAGE-RAG

Definizione del Problema

Il question answering (QA) multimodale su documenti lunghi richiede sistemi in grado di localizzare prove sparse all'interno di PDF estesi e integrare indizi eterogenei provenienti da testo, tabelle, immagini, grafici e layout complessi. Gli approcci esistenti di Retrieval-Augmented Generation (RAG) affrontano tre limitazioni primarie:

1. Top-k Fisso e Budget Statici: I metodi attuali mappano ogni query a un numero fisso di pagine o chunk. Ciò crea un compromesso in cui un $k$ piccolo perde prove disperse tra più pagine, mentre un $k$ grande introduce eccessivo rumore e regioni irrilevanti, particolarmente per domande non rispondibili o a singola pagina.
2. Evidenza a Singola Granularità: Il recupero basato sul testo comprime il contesto ma perde le informazioni visive e di layout. Al contrario, il recupero visivo a livello di pagina preserva il layout originale ma costringe il lettore a elaborare ampie regioni irrilevanti, aumentando i costi di inferenza e il rumore.
3. Mancanza di Controllo al Momento della Query: Le pipeline standard passano i candidati recuperati direttamente al lettore senza un meccanismo esplicito per tracciare lo stato delle prove, gestire le lacune o espandere/potare dinamicamente l'evidenza in base alle necessità specifiche di una query.

Il paper formula il QA multimodale su documenti lunghi come un probletto di costruzione di un sottografo di evidenze al momento della query sotto vincoli di budget, con l'obiettivo di bilanciare la copertura delle prove, il controllo del rumore e il costo di inferenza.

Metodologia: MAGE-RAG

MAGE-RAG (Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG) affronta queste limitazioni attraverso un framework composto da quattro componenti interconnesse:

1. Costruzione Offline di un Grafo di Evidenze Multigranulare

Prima del momento della query, il sistema analizza il PDF in un grafo di evidenze eterogeneo $G_D = (V, E)$:

• Nodi: Il grafo contiene Nodi Pagina ($V_p$) che rappresentano viste dell'intera pagina (preservando il layout e il contesto visivo) e Nodi Elemento ($V_e$) che rappresentano componenti a grana fine (intestazioni, paragrafi, tabelle, grafici, immagini, formule).
• Archi: Le relazioni codificano la struttura del documento, inclusa la contenenza (pagina-elemento), l'ordine di lettura, l'adiacenza del layout, la gerarchia delle sezioni e le relazioni di vicinanza semantica.
• Attributi: Ogni nodo memorizza descrizioni multimodali, inclusi riassunti, contenuto testuale, bounding box e riferimenti alle immagini.

2. Grounding Iniziale a Livello di Pagina

Al momento della query, il sistema utilizza il recupero visivo a livello di pagina (ad es., ColPali) per identificare le Top-$k$ pagine più rilevanti. Questo funge da punto di ingresso robusto, inizializzando la memoria di lavoro con nodi pagina piuttosto che tentare di cercare l'intero spazio degli elementi da zero.

3. Controller di Evidenze Online

Un controller iterativo gestisce lo stato dell'evidenza ($S_t$) attraverso una sequenza di azioni all'interno di un budget definito ($B$). Lo stato di ogni nodo può essere Inattivo, Attivo (selezionato per la memoria di lavoro), Aperto (contenuto dettagliato esposto) o Potato (scartato).

• Spazio delle Azioni: Il controller esegue ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (re-retrieval mirato), PRUNENODE e STOP.
• Processo Decisionale: Un valutatore stima l'utilità marginale delle azioni candidate basandosi sulla domanda corrente, sullo stato dell'evidenza e sulla traccia recente. Decide se espandere il grafo, aprire elementi specifici, cercare nuove pagine o potare i nodi a basso valore.
• Vincoli di Budget: Il processo è limitato da soglie sul numero di pagine iniziali, azioni di attivazione per iterazione, iterazioni totali e nodi aperti finali, prevenendo una crescita incontrollata del contesto.

4. Rendering del Lettore Multimodale Strutturato

Il sottografo di evidenza finale viene renderizzato in un input strutturato per il modello di linguaggio visivo (LVLM) lettore. Questo input allinea le immagini delle pagine, i ritagli dei nodi locali e i bounding box con un testo strutturato in XML contenente i riassunti dei nodi e i loro tipi. Ciò consente al lettore di consumare evidenze compatte, rilevanti e visivamente fondate, invece di testo grezzo non strutturato o intere pagine.

Contributi Chiave

1. Formulazione del Problema: Gli autori diagnosticano i limiti del recupero a granularità fissa e propongono di formulare il QA su documenti lunghi come costruzione di un sottografo di evidenze a budget, enfatizzando la necessità di una gestione dello stato al momento della query.
2. Framework MAGE-RAG: Il paper introduce un sistema che unifica l'ingresso visivo a livello di pagina, un grafo documentale multigranulare, un controller di evidenze online e un rendering strutturato. Ciò consente la selezione dinamica, l'espansione e la potatura delle evidenze all'interno di uno spazio di stato condiviso.
3. Protocollo Unificato e Analisi: Gli autori stabiliscono un protocollo di confronto unificato tra LongDocURL e MMLongBench-Doc, analizzando le prestazioni non solo in termini di accuratezza, ma anche tramite il budget delle evidenze, il comportamento della traccia e scomposizioni granulari (singola pagina vs cross-page, tipi di evidenza).

Risultati Sperimentali

Il sistema è stato valutato su LongDocURL e MMLongBench-Doc, confrontandolo con Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG) e Graph/Agentic RAG (MLDocRAG, G2-Reader).

• Prestazioni: MAGE-RAG ha raggiunto un'accuratezza complessiva del 52,75% su LongDocURL e un'accuratezza del 53,26% (51,19 F1) su MMLongBench-Doc.
• Confronti: Ha superato Direct MLLM, Text RAG, Page-level Visual RAG e il baseline di Graph/Agentic RAG, G2-Reader. In particolare, ha mostrato miglioramenti significativi nei compiti di ragionamento cross-page rispetto ai baseline di visual RAG (ad es., 34,70% di accuratezza cross-page contro il 24,87% di M3DocRAG su MMLongBench-Doc).
• Granularità: Il sistema ha dimostrato che la combinazione di anchor a livello di pagina con evidenze locali a livello di elemento produce prestazioni più stabili attraverso tipi di evidenza eterogenei (testo, tabelle, grafici) rispetto agli approcci a singola granularità.
• Analisi della Traccia: Un'analisi dettagliata della traccia ha rivelato che i campioni corretti non richiedono necessariamente tracce più lunghe o più iterazioni rispetto a quelli errati; piuttosto, beneficiano di una selezione delle evidenze più efficace (apertura dei nodi rilevanti e potatura di quelli irrilevanti).

Significato e Assertions

Il paper afferma che MAGE-RAG dimostra come la costruzione di un sottografo di evidenze al momento della query possa bilanciare efficacementamente la copertura di evidenze disperse con il controllo del rumore contestuale. Trattando il recupero non come una decisione istantanea ma come un processo iterativo e con stato, il framework si adatta ai requisiti di evidenza specifici di ogni domanda.

Gli autori osservano con modestia che l'estremo superiore del framework dipende dalla qualità del grafo di evidenze offline e che il controller introduce costi computazionali aggiuntivi (chiamate all'evaluator). Suggeriscono che l'approccio sia particolarmente adatto a scenari di documenti lunghi con evidenze sparse, dipendenze cross-page o layout visivi complessi, pur riconoscendo che potrebbe non essere conveniente per tutti i casi di documenti brevi o a singolo step (single-hop). Il lavoro fornisce un meccanismo tracciabile e verificabile per diagnosticare i fallimenti nella comprensione documentale multimodale, andando oltre le semplici metriche di accuratezza per analizzare il processo stesso di costruzione delle evidenze.