MoDora: Tree-Based Semi-Structured Document Analysis System

Il paper presenta MoDora, un sistema basato su LLM che analizza documenti semi-strutturati organizzando i loro elementi in una "Component-Correlation Tree" (CCTree) e utilizzando strategie di recupero specifiche per tipo di domanda, superando così le limitazioni delle tecniche esistenti nella comprensione del layout e delle relazioni gerarchiche.

L'essenziale

Immagina di dover leggere un documento complesso, come un rapporto finanziario, una tesi di laurea o un manuale tecnico. Questi documenti non sono semplici file di testo: sono un mix caotico di tabelle, grafici, titoli, paragrafi e immagini, tutti disposti in modo irregolare. È come cercare di trovare un ingrediente specifico in una cucina dove gli scaffali sono disordinati, gli ingredienti sono mescolati e alcune ricette sono scritte su foglietti staccati.

Fino a poco tempo fa, i computer faticavano terribilmente a capire questi documenti. Se chiedevi loro: "Qual è il punteggio delle piume del gruppo Decoquinate studiato in inverno?", spesso rispondevano a caso, ignorando che "inverno" era scritto in un paragrafo a pagina 1 e il dato era in una tabella a pagina 2.

Gli autori di questo paper hanno creato MoDora, un sistema intelligente che risolve questo problema. Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Il "Puzzle Smembrato"

Quando un computer legge un documento (usando una tecnologia chiamata OCR, che è come un occhio robotico che legge il testo), spesso vede solo pezzi staccati: una parola qui, una tabella lì, un numero altrove. Perde il contesto. È come se qualcuno ti desse i pezzi di un puzzle sparsi sul pavimento senza dirti che immagine devono formare. I vecchi metodi provavano a incollare tutto insieme in modo piatto, perdendo la struttura logica (chi è il titolo? cosa sta sotto cosa?).

2. La Soluzione: MoDora, l'Architetto Organizzato

MoDora agisce come un architetto esperto che entra nella stanza disordinata e riorganizza tutto.

• Fase 1: Il Raggruppamento Intelligente (Aggregazione)
  Invece di guardare le singole parole, MoDora raggruppa gli elementi correlati in "componenti". Immagina di prendere un titolo, i paragrafi che lo seguono e la tabella a cui si riferisce, e metterli tutti in un unico "cestino" etichettato. Se c'è un grafico, MoDora lo lega al suo titolo e ai dati, creando un blocco unico e comprensibile. Non lascia più i pezzi sparsi.

• Fase 2: La Mappa dell'Albero (CCTree)
  Una volta raggruppati i pezzi, MoDora non li mette in una lista piatta. Costruisce un albero genealogico (chiamato Component-Correlation Tree o CCTree).

  • Immagina un albero vero: la radice è il titolo del documento.
  • I rami principali sono i capitoli (es. "Introduzione", "Esperimenti").
  • I rami più piccoli sono i paragrafi, le tabelle e i grafici associati a quel capitolo.
    Questo permette al computer di capire che una tabella appartiene a un certo capitolo, proprio come un figlio appartiene ai suoi genitori. Inoltre, separa le "cose di contorno" (come i numeri di pagina o le note a piè di pagina) in un ramo separato, così non confondono il ragionamento principale.

• Fase 3: La Ricerca Guidata (Il Detective)
  Quando fai una domanda, MoDora non legge tutto il documento a caso. Agisce come un detective che usa una mappa:

  • Se la domanda è "C'è scritto in alto a sinistra?", il detective guarda subito la mappa delle posizioni (senza nemmeno leggere il testo).
  • Se la domanda è "Quali sono i risultati dell'esperimento 3?", il detective sale sull'albero, trova il ramo "Esperimento 3", e legge solo quel ramo specifico, ignorando tutto il resto.
    Usa anche un "assistente" (un'intelligenza artificiale avanzata) per verificare se le informazioni trovate sono davvero corrette, evitando di inventare risposte.

3. Perché è così bravo?

I metodi precedenti fallivano perché:

• I vecchi metodi leggevano tutto come un muro di testo, perdendo la struttura (come leggere un libro senza guardare i titoli dei capitoli).
• I modelli visivi (che guardano il documento come una foto) spesso si perdono nei dettagli o "allucinano" risposte sbagliate perché non capiscono la logica interna.

MoDora, invece, combina la struttura (l'albero) con il significato (il testo) e la posizione (dove si trova la cosa). È come avere un bibliotecario che conosce non solo il contenuto di ogni libro, ma anche esattamente in quale scaffale, in quale ripiano e in quale ordine si trovano le informazioni.

Il Risultato

Grazie a questo approccio, MoDora è molto più preciso dei suoi concorrenti (migliora la precisione fino al 60% in alcuni casi). Riesce a collegare un paragrafo che parla di "inverno" con una tabella specifica, fornendo la risposta esatta invece di indovinare.

In sintesi: MoDora trasforma il caos di un documento complesso in un albero ordinato e logico, permettendo all'intelligenza artificiale di trovare le risposte come se avesse una mappa del tesoro perfetta.

Sommario tecnico

1. Il Problema

I documenti semi-strutturati (come report scientifici, bilanci finanziari e manuali tecnici) integrano elementi di dati eterogenei e intrecciati (tabelle, grafici, paragrafi gerarchici) disposti in layout complessi e spesso irregolari. Sebbene questi documenti costituiscano una grande parte dei dati reali, le attuali tecniche di analisi e di risposta alle domande in linguaggio naturale (NLQA) falliscono nel gestirli efficacemente a causa di tre sfide principali:

1. Frammentazione del contesto semantico: Gli elementi estratti tramite OCR sono spesso frammentati e privi del loro contesto semantico originale, rendendoli inadeguati per l'analisi.
2. Mancanza di rappresentazioni gerarchiche ed esplicative: Gli approcci esistenti non riescono a catturare efficacemente le strutture gerarchiche (es. associare tabelle a titoli di capitoli annidati) né a preservare le distinzioni specifiche del layout (es. differenziare le barre laterali dal contenuto principale).
3. Difficoltà nell'allineamento delle informazioni: Rispondere a domande complesse richiede spesso recuperare e allineare informazioni sparse su più regioni o pagine (es. collegare un paragrafo descrittivo a celle di una tabella situate altrove nel documento), un compito per cui i metodi attuali (come RAG standard o modelli End-to-End) mostrano carenze nell'aggregazione delle prove.

2. Metodologia: MoDora

MoDora è un sistema basato su Large Language Models (LLM) progettato per l'analisi di documenti semi-strutturati. La sua architettura si articola in tre fasi principali:

A. Pre-elaborazione del Documento e Aggregazione Locale

Il sistema trasforma gli elementi grezzi estratti dall'OCR in Componenti Documentali (CO) autocontenuti e consapevoli del layout:

• Strategia di Aggregazione Locale: Gli elementi frammentati vengono raggruppati in componenti coerenti. Ad esempio, un titolo e i paragrafi successivi formano un componente testuale; una tabella o un grafico vengono associati al loro titolo (se presente) o a un titolo predefinito.
• Estrazione di Informazioni Specifiche:
  • Per i titoli gerarchici, viene utilizzata un'analisi del formato (semantica e visiva) tramite LLM per determinare il livello di annidamento.
  • Per gli elementi non testuali (tabelle, grafici), viene generata una tripletta semantica strutturata: (titolo, metadati, dati) per arricchire il contenuto con informazioni estratte visivamente.

B. Costruzione dell'Albero di Correlazione dei Componenti (CCTree)

Per superare la semplice sequenza lineare di lettura, MoDora costruisce una struttura ad albero chiamata CCTree:

• Nodi e Relazioni: Ogni nodo rappresenta un componente documentale. Le relazioni sono definite in tre modi:
  1. Testo-Testo: Basato sui livelli gerarchici dei titoli.
  2. Testo-Altri: Gli elementi non testuali (tabelle/grafici) diventano figli del componente testuale adiacente a cui sono semanticamente collegati.
  3. Supplementi Indipendenti: Elementi come intestazioni, piè di pagina e numeri di pagina sono isolati in rami separati per evitare interferenze semantiche.
• Sintesi Cascata Bottom-Up: Per abilitare una ricerca efficiente, viene eseguita una sintesi ricorsiva dal basso verso l'alto. Ogni nodo erede genera metadati (parole chiave) che vengono aggregati e compressi nei nodi genitore, permettendo di comprendere il contenuto di interi sottografi senza dover scorrere tutti i nodi foglia.

C. Strategia di Recupero Consapevole del Tipo di Domanda

MoDora utilizza una strategia di recupero ibrida e adattiva sul CCTree:

• Recupero Basato sulla Posizione: Per domande che richiedono riferimenti spaziali (es. "cosa c'è in basso a destra?"), il sistema mappa la domanda su una griglia 3x3 della pagina e seleziona i nodi in base alle coordinate di sovrapposizione.
• Recupero Basato sulla Semantica: Per domande di contenuto, viene utilizzata una strategia iterativa a due fasi:
  1. Ricerca in Avanti (Forward Search): Un LLM seleziona i nodi candidati basandosi su indici e metadati. Per i nodi non selezionati, viene attivato un fallback basato su embedding per recuperare prove potenzialmente perse.
  2. Verifica all'Indietro (Backward Verification): Un MLLM (Multimodal LLM) verifica i nodi candidati confrontando il contenuto testuale e le regioni ritagliate dell'immagine originale con la domanda, eliminando i falsi positivi.
• Generazione della Risposta: Le prove confermate (testo, regioni visive e contesto gerarchico) vengono inviate a un MLLM per generare la risposta finale.

3. Contributi Chiave

1. MoDora: Un nuovo sistema di analisi documentale che supporta layout diversi e gestisce sia domande semantiche che basate sulla posizione.
2. Strategia di Aggregazione Locale: Un metodo che trasforma elementi OCR in componenti semantici completi, integrando il rilevamento gerarchico e l'estrazione strutturata per elementi non testuali.
3. CCTree (Component-Correlation Tree): Una rappresentazione gerarchica che cattura le relazioni tra componenti e le distinzioni del layout, abilitando la sintesi contestuale bottom-up.
4. Strategia di Recupero Ibrida: Un approccio che combina selezione guidata da LLM, ricerca per embedding e verifica multimodale per bilanciare precisione e richiamo.
5. Benchmark MMDA: Introduzione di un nuovo benchmark (Multi-Modal Document Analysis) composto da 537 documenti reali e 1.065 domande, progettato per valutare la diversità degli elementi e la complessità del layout, superando i limiti dei dataset esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark pubblici (DUDE, M3DocVQA, MP-DocVQA) e sul nuovo benchmark MMDA.

• Prestazioni Generali: MoDora supera tutti i baselines (inclusi GPT-5, DocOwl2, ZenDB, TextRAG) con un miglioramento di accuratezza che varia dal 5,97% al 61,07%.
• Analisi per Tipo di Domanda:
  • Domande Gerarchiche: MoDora ottiene il 76,73% di accuratezza (vs 55,97% di DocAgent), dimostrando l'efficacia del CCTree.
  • Domande Ibride (Testo + Immagini): Supera i competitor grazie alla capacità di allineare tabelle e testo.
  • Domande Basate sulla Posizione: Utilizzando la mappatura a griglia, MoDora supera i modelli puramente visivi che tendono a allucinazioni.
• Efficienza dei Costi: Nonostante l'uso di LLM, MoDora mantiene costi di API competitivi (circa $0,025 per query) rispetto a soluzioni multi-turno come DocAgent ($0,09), offrendo un ottimo compromesso tra costo e accuratezza.
• Studio Ablativo: La rimozione della struttura ad albero o della costruzione dei componenti porta a cali drastici di performance (-15% e -37% rispettivamente), confermando che la modellazione strutturale è il fattore critico di successo.

5. Significato e Impatto

Il lavoro di MoDora rappresenta un passo significativo nell'analisi dei documenti, spostando il paradigma dal semplice "estrazione di testo" alla modellazione strutturale semantica.

• Superamento dei Limiti dell'OCR: Dimostra che l'OCR grezzo non è sufficiente e che è necessario un passo intermedio di aggregazione e arricchimento semantico.
• Gestione della Complessità: Offre una soluzione robusta per documenti reali complessi, dove layout e gerarchie sono fondamentali per la comprensione.
• Versatilità: Il sistema è flessibile rispetto al modello LLM sottostante (funziona bene con diversi modelli) e può essere esteso in futuro per gestire foreste di documenti (multi-documento) e sfruttare strutture PDF native quando disponibili.

In sintesi, MoDora stabilisce un nuovo stato dell'arte per la comprensione e il ragionamento su documenti semi-strutturati, combinando efficacemente la potenza dei modelli linguistici con una rigorosa ingegneria della struttura documentale.