Riepilogo Tecnico: Doc-CoB

Enunciato del Problema

La comprensione dei documenti implica l'esecuzione di risposte a domande (QA) e l'estrazione di informazioni (IE) su immagini di documenti, caratterizzate da un'alta densità informativa e layout complessi. I Modelli Linguistici Multimodali (MLLM) esistenti adottano tipicamente una strategia "single-pass", elaborando l'intera immagine in modo uniforme. Questo approccio assume implicitamente che tutte le regioni siano ugualmente importanti, portando spesso i modelli a essere fuorviati da informazioni visive ridondanti e a inferire risposte da regioni errate. Al contrario, le strategie esistenti da grossolano a fine nel QA visivo generale ricorrono spesso al ritaglio diretto o allo zoom su regioni specifiche. Sebbene ciò riduca la ridondanza visiva, scarta informazioni di layout critiche uniche per i documenti, come le relazioni spaziali, il posizionamento relativo e le dipendenze tra regioni, causando fallimenti in query sensibili al layout.

La sfida centrale affrontata è come seguire un paradigma di ragionamento da grossolano a fine per la comprensione dei documenti, preservando al contempo il contesto globale del layout necessario per un'inferenza accurata.

Metodologia: Doc-CoB

Gli autori propongono Doc-CoB (Chain-of-Boxes), un framework che permette agli MLLM di eseguire la comprensione dei documenti attraverso un ragionamento visivo da grossolano a fine, consapevole del layout, senza modificare l'architettura del modello sottostante. Il framework opera in due fasi distinte, utilizzando il prompting visivo per guidare l'attenzione:

1. Fase 1: Selezione della Casella Chiave

   • Un analizzatore di layout ($\Lambda$) estrae un insieme di caselle di layout candidate ($B$) dall'immagine del documento ($x_I$).
   • Ogni casella viene assegnata a un ID univoco e sovrapposta all'immagine per creare un'immagine con prompting visivo ($X^S_1$).
   • L'MLLM ($f$) viene sollecitato a selezionare il sottoinsieme di ID delle caselle ($I_{key}$) più rilevanti per la query ($Q$). Ciò è formulato come una previsione a scelta multipla sulle caselle candidate.

2. Fase 2: Risposta Focalizzata

   • Le caselle chiave selezionate ($B_{key}$) vengono evidenziate con bordi rossi sull'immagine originale per creare una seconda immagine con prompting visivo ($X^S_2$).
   • Crucialmente, viene mantenuta l'intera immagine del documento anziché essere ritagliata. Questo preserva il contesto globale e le relazioni spaziali, enfatizzando al contempo le regioni rilevanti.
   • L'MLLM genera la risposta finale ($A$) condizionata a questa immagine evidenziata e alla query.

Compiti di Ragionamento e Costruzione dei Dati

Per supportare questo paradigma, gli autori introducono due specifici compiti di ragionamento per migliorare la comprensione del layout e semantica del modello:

• Riconoscimento della Casella: Il modello impara a mappare una specifica casella visiva al suo ID corrispondente.
• Ragionamento sulla Casella: Il modello impara a descrivere il ruolo semantico di un specifico ID di casella nel rispondere a una data query.

Per addestrare queste capacità, è stato costruito un pipeline di generazione automatica dei dati utilizzando GPT-4o come annotatore linguistico e MinerU come analizzatore visivo del layout. Questo pipeline ha elaborato nove dataset di documenti esistenti (inclusi DocVQA, DeepForm, SROIE, FUNSD, ecc.) per generare:

• 249.601 campioni di addestramento per il framework Doc-CoB.
• 126.970 campioni per il Riconoscimento della Casella.
• 269.108 campioni per il Ragionamento sulla Casella.
  Questi campioni includono una supervisione visiva intermedia, etichettando esplicitamente le caselle "utili" (contenenti prove) e le caselle "confondenti" (simili alla query ma errate).

Contributi Chiave

1. Framework Doc-CoB: Un nuovo paradigma a due fasi che integra un ragionamento visivo da grossolano a fine, consapevole del layout, negli MLLM tramite prompting visivo, bilanciando il focus sulle regioni chiave con la preservazione del contesto globale.
2. Compiti di Ragionamento e Dataset: La proposta dei compiti di Riconoscimento della Casella e Ragionamento sulla Casella, supportati da un dataset su larga scala di oltre 249k campioni con supervisione visiva intermedia, adattato per il ragionamento sul layout dei documenti.
3. Prestazioni e Generalizzazione: Numerosi esperimenti dimostrano che Doc-CoB migliora significativamente le prestazioni su sette benchmark e quattro diverse architetture MLLM (che variano da 2B a 40B parametri), inclusi modelli non specificamente pre-addestrati per i documenti.

Risultati Sperimentali

Il documento valuta Doc-CoB su sette benchmark (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) utilizzando quattro MLLM: InternVL2 (2B/8B), Qwen2.5-VL e DocOwl 1.5.

• Miglioramenti delle Prestazioni: Doc-CoB migliora costantemente le prestazioni su tutti i modelli e dataset. In particolare, il modello InternVL2-8B-CoB ottiene risultati all'avanguardia su sei dataset e supera il molto più grande InternVL2-40B e il closed-source GPT-4o su tutti e sette i benchmark. Ad esempio, su DeepForm, InternVL2-8B-CoB ottiene l'80,06%, un miglioramento significativo rispetto alla baseline SFT del 36,33%.
• Studi di Ablazione:
  • Rimuovere il paradigma a due fasi (utilizzando solo il dataset CoB per l'inferenza single-pass) produce miglioramenti ma rimane inferiore all'approccio completo a due fasi, confermando il valore del paradigma di ragionamento stesso.
  • Rimuovere i compiti specifici di ragionamento riduce le prestazioni, indicando che gli attuali MLLM mancano della capacità intrinseca di sfruttare appieno il framework senza una supervisione mirata.
  • Sostituire l'input dell'immagine intera nella Fase 2 con immagini ritagliate porta a cali significativi delle prestazioni (5–15 punti), validando la necessità di preservare il contesto globale del layout.
• Efficienza: Nonostante elabori due immagini, Doc-CoB consente impostazioni di risoluzione effettiva più basse, risultando in un utilizzo totale di token comparabile o inferiore rispetto all'inferenza vanilla, pur raggiungendo una maggiore accuratezza.
• Robustezza: Il metodo rimane efficace quando si utilizzano diversi analizzatori di layout (ad es. OCR+K-means, Marker) e dimostra una forte generalizzazione zero-shot a domini non visti come infografiche e documenti multi-pagina.

Significato e Limitazioni

Il documento afferma che Doc-CoB dimostra che un ragionamento visivo esplicito e consapevole del layout può migliorare significativamente le capacità di comprensione dei documenti negli MLLM senza cambiamenti architetturali. Sottolinea che la combinazione di un paradigma di ragionamento da grossolano a fine e una supervisione intermedia mirata è fondamentale per gestire le sfide uniche dei layout dei documenti.

Limitazioni riconosciute dagli autori:

• Accumulo di Rumore: Sebbene le strategie di generazione dei dati sopprimano il rumore derivante dall'analisi del layout, il rumore al momento dell'inferenza non può essere completamente eliminato e potrebbe accumularsi tra le fasi.
• Selezione a Singola Round: L'attuale pipeline esegue solo una round di selezione delle caselle. Gli autori suggeriscono che un meccanismo di auto-verifica per il raffinamento iterativo potrebbe migliorare ulteriormente la robustezza.
• Granularità: Il framework affronta il ragionamento a livello di layout ma non risolve le ambiguità intra-casella (ad es. errori OCR o testo ambiguo all'interno di una casella selezionata), che rimangono una fonte di fallimento.