LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

Riepilogo Tecnico: LFRAG – Recupero e Generazione Aumentata a Granularità Fine Orientata al Layout per la Comprensione di Documenti Multimodali

Enunciato del Problema
Il Recupero e Generazione Aumentata (RAG) multimodale è emerso come un paradigma per potenziare i Modelli Linguistici su Grande Scala (LLM) con conoscenze esterne provenienti da documenti ricchi di elementi visivi (ad esempio, articoli scientifici, rapporti finanziari). Tuttavia, i sistemi RAG multimodali esistenti si basano prevalentemente su un recupero a livello di pagina a granularità grossolana. Questo approccio tratta l'intera pagina di un documento come l'unità minima di recupero, introducendo limitazioni significative:

1. Perdita della Struttura a Granularità Fine: Non riesce a catturare le semantica gerarchiche e le strutture di layout all'interno della pagina, come le relazioni riga-colonna delle tabelle o le associazioni figura-testo.
2. Contesto Ridondante: Il recupero di intere pagine introduce contenuti irrilevanti sostanziali, aumentando l'overhead computazionale per la generazione a valle e elevando il rischio di allucinazioni.
3. Perdita di Risoluzione: Il fissaggio di patch a risoluzione fissa nei Modelli Vision-Language (VLM) spesso sottocampiona pagine ad alta risoluzione, causando la perdita di informazioni a granularità fine.

Le soluzioni attuali convertono i documenti in testo semplice tramite OCR (scartando dati visivi/strutturali) o utilizzano VLM per codificare intere pagine (ignorando il layout interno alla pagina). Manca un quadro di riferimento che segmenti efficacemente i documenti in blocchi semanticamente coerenti preservando le informazioni di layout per un recupero preciso.

Metodologia: Framework LFRAG
Per affrontare queste sfide, gli autori propongono LFRAG (Recupero e Generazione Aumentata a Granularità Fine Orientata al Layout), un framework che sposta il paradigma di recupero dal livello di pagina al livello di blocco. Il sistema opera attraverso quattro fasi chiave:

1. Segmentazione del Layout e Aggregazione di Blocchi Semantici:

   • Il sistema utilizza inizialmente un modello di rilevamento del layout (DocLayout-YOLO) per identificare le regioni strutturali (ad esempio, titoli, figure, tabelle, paragrafi).
   • Per prevenire una frammentazione eccessiva (ad esempio, separare una figura dalla sua didascalia), viene impiegato un algoritmo di aggregazione di blocchi semantici basato su grafi. Questo algoritmo unisce regioni spazialmente adiacenti e semanticamente compatibili (in base alla sovrapposizione, alla distanza verticale e alla coerenza del tipo) in blocchi coerenti.
   • Viene creato anche un blocco ausiliario "pagina mascherata" per mantenere il contesto globale di sfondo non catturato nei singoli ritagli.

2. Codifica della Fusione di Caratteristiche Semantico-Layout:

   • Viene progettata una strategia di codifica gerarchica. Le immagini dei blocchi sono codificate da un codificatore visivo, mentre l'intera pagina è codificata per generare un embedding globale.
   • Un meccanismo di cross-attention integra il contesto globale del layout nelle rappresentazioni locali dei blocchi.
   • I tag di tipo di layout (ad esempio, <Figure>, <Table>) sono codificati e concatenati con gli embedding visivi proiettati per migliorare la consapevolezza strutturale.

3. Recupero a Interazione Tardiva a Livello di Blocco:

   • Il recupero utilizza un meccanismo di interazione tardiva (ispirato a ColBert). I token della query e le rappresentazioni dei blocchi sono codificati in embedding multi-vettore.
   • La rilevanza è calcolata utilizzando un punteggio MaxSim (massimo prodotto scalare tra i token della query e i token del blocco), consentendo un allineamento a granularità fine senza fusione precoce.
   • I blocchi più rilevanti (top-$k$) vengono recuperati in base a questo punteggio.

4. Generazione Aumentata:

   • I blocchi recuperati (top-$k$) e la query originale sono immessi in un VLM per la generazione della risposta. Limitando l'input a blocchi precisi anziché intere pagine, il modello opera su prove strutturalmente fondate, riducendo il rumore.

Costruzione del Benchmark: LFDocQA
Riconoscendo la mancanza di standard di valutazione a granularità fine, gli autori hanno costruito LFDocQA, il primo benchmark per documenti multimodali con annotazioni di bounding box a livello di blocco.

• Composizione: È composto da due sottoinsiemi: LF-Docmatix (derivato da documenti generali) e LF-PaperTab (derivato da articoli accademici con layout complessi).
• Annotazione: Una pipeline semi-automatica utilizza LLM per identificare i blocchi rilevanti di verità fondamentale per query specifiche, assicurando che le query siano esplicitamente allineate alle regioni di layout piuttosto che a intere pagine.
• Scala: Il dataset include 1.000 coppie QA con annotazioni dettagliate a livello di blocco, coprendo tipi di contenuto diversi come testo, tabelle e grafici.

Risultati Sperimentali
Esperimenti estesi su LFDocQA e benchmark pubblici (ViDoRe V1, VisDoMBench) dimostrano quanto segue:

• Prestazioni di Recupero: LFRAG ottiene prestazioni all'avanguardia. Su LFDocQA (in-domain), supera la migliore baseline (ColQwen2.5-v0.2) del 4,95% in nDCG@3 e del 3,85% in Recall@3 a livello di blocco.
• Prestazioni di Generazione: LFRAG migliora l'accuratezza delle risposte del 7,20% rispetto alla migliore baseline.
• Efficienza: Filtrando il contesto irrilevante, LFRAG riduce il consumo di token di input del 73,07% nelle attività di generazione (scendendo da ~8–10k token a ~1,7–2,9k token) mantenendo o migliorando la qualità delle risposte.
• Generalizzazione: Il framework dimostra una forte generalizzazione sui benchmark pubblici a livello di pagina, ottenendo la media Recall@5 più alta su ViDoRe V1 e la media ANLCS più alta su VisDoMBench.

Significato e Contributi
Il paper rivendica tre contributi principali:

1. Framework LFRAG: Un nuovo framework RAG multimodale che integra segmentazione del layout, codifica di fusione semantico-layout e interazione tardiva a livello di blocco per abilitare un recupero preciso e una generazione efficiente.
2. Benchmark LFDocQA: Il primo benchmark di recupero e QA multimodale a livello di blocco, colmando il vuoto nelle valutazioni esistenti a livello di pagina e consentendo una valutazione rigorosa a granularità fine.
3. Validazione Empirica: Esperimenti estesi che confermano che lo spostamento dal recupero a livello di pagina a quello a livello di blocco migliora significativamente l'accuratezza del recupero, riduce l'overhead di generazione e mitiga i rischi di allucinazione nella comprensione di documenti ricchi di elementi visivi.

Gli autori concludono che un recupero a granularità fine efficace si basa su una segmentazione semanticamente significativa piuttosto che su una divisione arbitraria, e che integrare le informazioni di layout è cruciale per gestire strutture documentali complesse. Sono previsti lavori futuri per estendere il framework per gestire meglio dati strutturati come le tabelle ed esplorare strategie di granularità adattiva.