Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

1. Il Problema

Il Visual Question Answering su Documenti (DocVQA) multi-pagina rappresenta una sfida fondamentale nell'elaborazione di documenti visivamente ricchi e lunghi (come rapporti finanziari, articoli accademici e manuali industriali). Le attuali soluzioni affrontano un compromesso critico tra capacità e precisione:

• Metodi End-to-End: Processano l'intero documento come una sequenza di immagini, ma soffrono di costi computazionali quadratici, limiti di lunghezza del contesto e dell'effetto "persi nel mezzo" (lost-in-the-middle), rendendoli inefficienti per documenti molto lunghi.
• Metodi basati su Retrieval (RAG): Recuperano le pagine più rilevanti prima della generazione, ma sono spesso passivi, fragili agli errori di recupero e limitati nel ragionamento multi-hop.
• Limitazione Comune: Entrambi i paradigmi sono passivi: elaborano un input fisso senza adattare la strategia man mano che emergono nuove prove, ignorando il comportamento umano di lettura attiva e mirata.

2. Metodologia: Doc-V∗

Gli autori propongono Doc-V∗, un framework agente OCR-free (senza riconoscimento ottico dei caratteri) che formula il DocVQA multi-pagina come un processo di aggregazione sequenziale di prove. Il sistema si ispira alla teoria della Visione Attiva e alla cognizione razionale delle risorse, imitando il modo in cui gli esperti umani leggono i documenti.

Architettura e Flusso di Lavoro

1. Panoramica Globale (Thumbnail Overview):
   • L'agente inizia con una visione d'insieme a bassa risoluzione (thumbnail) di tutte le pagine, organizzate in griglie. Questo fornisce un prior strutturale a basso costo (tipo di documento, layout, distribuzione dei grafici) senza consumare token visivi ad alta risoluzione.
2. Navigazione Attiva e Azioni Atomiche:
   L'agente interagisce con l'ambiente attraverso un ciclo di ragionamento e azione, selezionando dinamicamente quali pagine recuperare ad alta risoluzione:
   • Retrieval Action (<retrieval_page>): Simula una ricerca "Ctrl+F" sulle immagini delle pagine per recuperare pagine candidate basate su query testuali (che possono essere raffinate iterativamente).
   • Fetch Action (<fetch_page>): Recupera pagine specifiche per indice assoluto (es. basandosi su indici di un indice o pagine adiacenti per contesto).
   • Answer Action (<answer>): Termina l'interazione quando le prove sono sufficienti.
3. Memoria Strutturata e Ragionamento:
   • L'agente utilizza un protocollo ReAct (Reasoning + Acting) con un formato di output fisso (<thought>, <action>, <summary>).
   • Mantiene una Memoria di Lavoro (Working Memory) che concatena i riassunti delle interazioni precedenti, prevenendo la perdita di informazioni e il ragionamento dispersivo.
   • Ogni turno include un'analisi delle nuove pagine, una valutazione della rilevanza e un piano per il passo successivo.

Strategia di Addestramento

Il modello è addestrato in due fasi su un backbone multimodale (Qwen2.5-VL):

1. Fine-Tuning Supervisionato (SFT): Utilizza traiettorie di interazione di alta qualità distillate da un modello "insegnante" (GPT-4o) che simula l'interazione con l'ambiente reale. Questo fornisce un avvio freddo solido.
2. Ottimizzazione della Politica Relativa di Gruppo (GRPO): Un algoritmo di Reinforcement Learning (RL) che ottimizza congiuntamente l'accuratezza della risposta e l'efficienza nella ricerca delle prove. La funzione di ricompensa bilancia la correttezza della risposta, la qualità del recupero delle prove e la validità del formato.

3. Contributi Chiave

• Paradigma Agente Attivo: Trasforma il DocVQA da un processo di elaborazione statica a un processo decisionale sequenziale attivo, riducendo il rumore e focalizzando l'attenzione solo sulle prove necessarie.
• Strategia "Coarse-to-Fine": L'uso di una panoramica globale a bassa risoluzione per guidare la ricerca di pagine ad alta risoluzione risolve il problema della scalabilità e dell'efficienza dei token visivi.
• Memoria di Lavoro Strutturata: L'integrazione esplicita di riassunti storici permette all'agente di mantenere il contesto in documenti lunghi, mitigando il problema della perdita di informazioni.
• Indipendenza dall'OCR: Il modello opera direttamente sulle immagini, preservando le informazioni layout e visive che spesso vengono perse nelle pipeline basate su OCR.

4. Risultati Sperimentali

Doc-V∗ è stato valutato su 5 benchmark (DUDE, MP-DocVQA, SlideVQA, MMLongBench-Doc, LongDocURL) e confrontato con modelli open-source e proprietari (come GPT-4o).

• Prestazioni Generali: Doc-V∗ supera tutti i baseline open-source su 4 dei 5 benchmark e si avvicina o supera le prestazioni dei modelli proprietari chiusi.
• Generalizzazione (Out-of-Domain): Il modello mostra una robustezza eccezionale in contesti non visti durante l'addestramento, migliorando le prestazioni fino al 47.9% rispetto a baseline RAG statici.
• Efficienza e Qualità delle Prove:
  • A differenza dei metodi RAG che degradano le prestazioni all'aumentare del numero di pagine recuperate (rumore), Doc-V∗ mantiene prestazioni elevate selezionando attivamente le pagine giuste.
  • Dimostra che la comprensione di documenti lunghi dipende dall'aggregazione efficace delle prove con attenzione selettiva, non dalla semplice ingestione di un gran numero di pagine.
• Robustezza: Il sistema mantiene prestazioni elevate anche con recuperatori di testo deboli (es. BM25), grazie alla sua capacità di correggere attivamente le lacune nel recupero tramite azioni di navigazione.

5. Significato e Impatto

Il lavoro di Doc-V∗ segna un passo avanti significativo verso l'intelligenza artificiale applicata alla comprensione dei documenti complessi. Dimostra che:

1. L'approccio agente attivo è superiore ai metodi passivi per la gestione di contesti lunghi e visivamente densi.
2. È possibile ottenere prestazioni di livello commerciale utilizzando modelli open-source di dimensioni contenute (7B parametri) se combinati con una strategia di ragionamento interattivo efficace.
3. La selezione attiva delle informazioni è più cruciale della quantità di dati in input per il ragionamento visivo su documenti lunghi.

In sintesi, Doc-V∗ introduce un nuovo standard per il DocVQA multi-pagina, spostando il focus dalla semplice capacità di elaborazione del contesto alla capacità di ragionamento strategico e navigazione attiva all'interno di documenti complessi.