Riepilogo Tecnico: FLOWREADER

Definizione del Problema

I documenti lunghi e multimodali rappresentano una sfida significativa per i sistemi di Retrieval-Augmented Generation (RAG). Le prove necessarie per rispondere a query complesse sono spesso frammentate tra testo, tabelle, grafici e slide, distribuite su più celle, pagine o modalità. Gli approcci tradizionali di ritorno dei top-$k$ chunk falliscono in questo contesto perché trattano i frammenti di evidenza in modo indipendente. Questa indipendenza impedisce al sistema di rappresentare le connessioni strutturali, le dipendenze multi-hop e il modo in cui l'evidenza deve essere assemblata da fonti disgiunte (ad esempio, una figura e la sua discussione, o l'intestazione di una tabella e una riga distante). Inoltre, le politiche di recupero a budget fisso allocano lo stesso budget computazionale a query di diversa complessità, portando a inefficienze.

Metodologia

FLOWREADER riformula il problema dell'assemblaggio delle evidenze come un compito di ottimizzazione del flusso a costo minimo (min-cost flow) su un grafo di nodi multimodale. Il sistema opera attraverso tre fasi strutturate:

1. Costruzione del Grafo Multimodale (Offline)

Il corpus documentale viene pre-elaborato in un grafo eterogeneo diretto e pesato $G = (V, E)$.

• Nodi ($V$): Partizionati in unità testuali ($V_{txt}$), visive ($V_{vis}$) e tabellari ($V_{tbl}$). Ogni nodo contiene un riassunto generato da un LLM, parole chiave di indicizzazione, un tag di modalità e un embedding.
• Archi ($E$): Gli archi diretti trasportano pesi che codificano l'affinità semantica. Il grafo è costruito utilizzando un processo duale-evolutivo (ispirato a G2-Reader) che affina iterativamente gli attributi dei nodi e l'adiacenza sulla base dei vicini semantici e del layout.

2. Scoring dei Nodi Multi-Segnale e Routing del Flusso (Online)

Al momento della query, viene calcolato uno score scalare singolo $h_i$ per ogni nodo, aggregando tre segnali:

• Rilevanza della Query ($r_i$): Una fusione di similarità del coseno densa e punteggi BM25.
• Propagazione Strutturale ($\phi_i$): Rilevanza propagata lungo il grafo per catturare nodi che fanno parte di cluster stretti di nodi ad alta rilevanza, anche se la loro rilevanza individuale è moderata.
• Diffusione di Località ($\psi_i$): Uno score di PageRank personalizzato che cattura connessioni a lungo raggio all'interno del vicinato topico della query.

Questi score guidano un problema di flusso a costo minimo su una rete aumentata $G^*$:

• Sorgenti e Pozzi (Sources and Sinks): Le sorgenti sono selezionate tra i nodi allineati alla query utilizzando la Massimal Relevance (MMR) per garantire la diversità. I pozzi sono selezionati in base a uno score di "rispondibilità" che combina rilevanza e densità informativa.
• Costi e Capacità: I costi degli archi penalizzano le transizioni semanticamente incoerenti e i detour attraverso nodi a basso punteggio. Le capacità sono limitate dalla qualità dei nodi connessi.
• Ottimizzazione: Un programma lineare instrada un budget di evidenza fisso $F$ dalle sorgenti ai pozzi, minimizzando il costo totale. Il flusso ottimale viene decomposto in un insieme di percorsi di evidenza candidati (catene).

3. Selezione dei Percorsi e Sintesi Adattiva

La decomposizione del flusso produce molti percorsi candidati, spesso con nodi sovrapposti. FLOWREADER seleziona un sottoinsieme compatto e non ridondante utilizzando la dinamica del replicatore regolarizzata dall'entropia (RD):

• Gioco Qualità-Diversità: I percorsi sono trattati come strategie in un gioco dove la matrice dei payoff bilancia la qualità del singolo percorso rispetto alla diversità a coppie (misurata tramite la non-sovrapposizione di Jaccard).
• Selezione: La RD aggiorna iterativamente la popolazione di percorsi, convergendo verso un clique massimale pesato che massimizza il trade-off qualità-diversità.
• Sintesi della Risposta: I percorsi selezionati sono elaborati in parallelo da worker di Modelli Linguistici Visivi (VLM).
• Gating a Doppio Processo: Un passaggio "Sistema 1" genera risposte iniziali. Un gate monitora la coerenza della risposta tra i worker e la saturazione del flusso. Se la coerenza è bassa o il flusso è sotto sforzo (indicando evidenza insufficiente), viene attivato un singolo passaggio di raffinamento "Sistema 2". Questo passaggio modifica il grafo (ad esempio, aggiungendo archi ponte o ricalibrando i pesi degli archi) ed esegue nuovamente la pipeline una sola volta.

Contributi Chiave

1. Formulazione del Flusso a Costo Minimo: Il documento introduce un framework unificato in cui un singolo parametro (lo score del nodo $h$) controlla la selezione delle sorgenti, la selezione dei pozzi, i costi degli archi e le capacità. Ciò collassa le fasi tradizionalmente separate di scoring, routing e selezione in un unico problema di ottimizzazione.
2. Gestione dell'Evidenza Frammentata: Modellando l'assemblaggio dell'evidenza come trasporto di flusso, il sistema cattura esplicitamente le dipendenze multi-hop e le connessioni strutturali che i top-$k$ retrieval mancano.
3. Calcolo Adattivo: L'integrazione di un gate a doppio processo consente al sistema di allocare risorse computazionali aggiuntive (un passaggio di raffinamento Sistema 2) solo quando il recupero e la sintesi iniziali sono ritenuti inaffidabili, bilanciando prestazioni e costi.
4. Selezione Regolarizzata dall'Entropia: L'uso della dinamica del replicatore fornisce un approccio basato sulla teoria dei giochi per selezionare un insieme diversificato di percorsi di evidenza, evitando il collasso su un singolo percorso ad alto punteggio ma potenzialmente ridondante.

Risultati Sperimentali

Il sistema è stato valutato su VisDoMBench, coprendo cinque sottoinsiemi multimodali: SPIQA, FetaTab, PaperTab, SciGraphQA e SlideVQA.

• Prestazioni sull'Evidenza Frammentata: FLOWREADER ha ottenuto i migliori risultati sui due sottoinsiemi dominati da evidenza frammentata:
  • PaperTab: 58.40 (un miglioramento di +1.30 rispetto al forte baseline G2-Reader).
  • SlideVQA: 72.93 (un miglioramento di +0.62 rispetto a G2-Reader).
• Prestazioni Complessive: Lo score medio macro su tutti i cinque sottoinsiemi è stato 65.47, entro 0.74 punti dal baseline più forte (G2-Reader, 66.21).
• Scenario Competitivo: Sebbene FLOWREADER eccellesse nei compiti frammentati, è stato competitivo ma non superiore in altri sottoinsiemi (ad esempio, restando leggermente indietro rispetto a VisDoMRAG su SPIQA). Gli autori attribuiscono il gap di prestazioni su SciGraphQA all'uso di un encoder open-source più piccolo (nomic-embed-text-v1.5) rispetto agli encoder proprietari usati dai baseline, e a prompt ancorati strettamente alle entità che penalizzano le risposte parafrasate comuni in quel dataset.
• Efficienza: Il sistema opera con un budget di chiamate VLM limitato. Il Sistema 2 viene attivato al massimo una volta per query, risultando in una media di 30.8–47.3 chiamate, rispetto ai loop di replanning illimitati di alcuni baseline.

Significato e Rivendicazioni

Il documento sostiene che il flusso a costo minimo sia un meccanismo efficace per assemblare evidenze multimodali frammentate dove il tradizionale top-$k$ retrieval fallisce. Unificando scoring, routing e selezione sotto un unico obiettivo di ottimizzazione, FLOWREADER fornisce un modo rigoroso per gestire la complessità strutturale dei documenti lunghi.

Gli autori sottolineano che il loro approccio offre un meccanismo di controllo unificato per l'intero processo di recupero, consentendo l'allocazione adattiva del calcolo senza la necessità di una complessa regolazione multi-stadio. I risultati suggeriscono che in regimi in cui l'evidenza è altamente frammentata (tabelle, slide), il routing strutturato è più critico rispetto al semplice aumento della scala del modello generatore. Il lavoro si posiziona come un passo verso il superamento del RAG basato su euristiche fisse a favore di processi strutturati e appresi per l'assemblaggio delle evidenze all'interno di budget computazionali controllati.