Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

Sintesi Tecnica: Attribuzione delle Prove nella Comprensione di Documenti Visivi senza Coordinate o Etichette di Regione

Definizione del Problema
Una comprensione affidabile dei documenti visivi (VDU) richiede che i modelli non si limitino a rispondere alle domande, ma attribuiscano tali risposte a specifiche regioni di evidenza all'interno di un documento. I benchmark e i sistemi attuali, come CiteVQA, impongono un interfaccia a coordinate, in cui i modelli devono generare coordinate di bounding box ($x_1, y_1, x_2, y_2$) per marcare l'evidenza. Gli autori osservano che, sotto questa interfaccia, i modelli di linguaggio-visione (VLM) soffrono frequentemente di Allucinazione di Attribuzione: generano risposte corrette ma falliscono nell'identificare le regioni di supporto, producendo spesso coordinate che non si sovrappongono alla verità di base (ground truth). Il documento indaga se questo fallimento derivi da una mancanza fondamentale di capacità di grounding nei modelli open-source o se sia un artefatto del formato di output delle coordinate stesso. Inoltre, affronta la sfida pratica per cui addestrare i modelli a localizzare l'evidenza richiede annotazioni a livello di regione estremamente costose, difficili da raccogliere su larga scala per documenti lunghi.

Metodologia
Gli autori propongono uno studio comparativo e un nuovo paradigma di addestramento che evita l'interfaccia delle coordinate e la supervisione a livello di regione.

1. Interfaccia Linguistica vs. Interfaccia a Coordinate:

   • Condizione a Coordinate: I modelli seguono il protocolo standard di CiteVQA, generando coordinate di bounding box in modo autoregressivo.
   • Condizione Linguistica: I modelli restituiscono citazioni testuali letterali dell'evidenza invece di coordinate. Una pipeline separata risolve poi queste citazioni in regioni del documento:
     • Un parser di layout (MinerU) segmenta il documento in blocchi semantici (paragrafi, tabelle, figure, didascalie).
     • Ogni blocco viene renderizzato come un ritaglio d'immagine (image crop) ed emerso tramite un encoder multimodale.
     • Le citazioni generate dal modello vengono emesse e collegate al miglior blocco semantico corrispondente tramite un'assegnazione uno-a-uno (risolta tramite l'algoritmo di Hungarian).
   • Questa configurazione permette agli autori di valutare gli stessi modelli di base sotto entrambe le interfacce mantenendo costanti l'input e la logica di punteggio.

2. Apprendimento per Rinforzo Senza Etichette di Regione (GRPO):

   • Per migliorare l'attribuzione senza etichette di regione costose, gli autori utilizzano l'interfaccia linguistica come impalcatura di addestramento.
   • Costruzione della Ricompensa: Un giudice linguaggio-visione valuta l'output del modello basandosi sulla domanda, sulla risposta corretta (gold answer) e sui ritagli d'immagine ritagliati delle regioni citate (non sulle citazioni testuali grezze). Il giudice assegna un punteggio a:
     • $a$: Correttezza della risposta.
     • $erel$: Rilevanza dell'evidenza (il ritaglio supporta la risposta?).
     • $ecov$: Copertura dell'evidenza (l'insieme dei ritagli copre tutte le informazioni necessarie?).
   • La funzione di ricompensa è definita come $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$. Questa struttura moltiplicativa assicura che i punteggi di evidenza contribuiscano solo se la risposta è corretta, mirando direttamente all'allucinazione di attribuzione.
   • Ottimizzazione: Il modello viene addestrato utilizzando il Group Relative Policy Optimization (GRPO) con clipping asimmetrico (DAPO) per stabilizzare l'addestramento. La policy impara a generare citazioni migliori per massimizzare la ricompensa del giudice, imparando efficacemente a indicare le giuste regioni senza mai vedere coordinate di regione durante l'addestramento.

Contributi Chiave

1. Analisi dell'Interfaccia: Uno studio controllato che dimostra che la scarsa performance degli open VLM nell'attribuzione delle prove è in gran parte un artefatto dell'interfaccia piuttosto che un gap di capacità. Passare dall'interfaccia delle coordinate a un'interfaccia linguistica basata su citazione e recupero aumenta significativamente la capacità di attribuzione.
2. Interfaccia di Evidenza Linguistica: Un metodo innovativo che adatta la citazione basata su citazioni (comune nel RAG testuale) ai documenti visivi. Risolve le citazioni in linguaggio naturale in regioni di pixel tramite recupero (retrieval), evitando la necessità per i modelli di generare coordinate precise.
3. Addestramento Senza Etichette di Regione: Una ricetta di apprendimento per rinforzo che migliora l'accuratezza rigorosa dell'attribuzione utilizzando solo coppie domanda-risposta e un giudice che valuta i ritagli recuperati. Ciò elimina la necessità di costose annotazioni manuali a livello di regione.

Risultati
Valutati su un sottoinsieme verificato di CiteVQA (719 domande bilingui) su sei open VLM (da 8B a 31B parametri):

• Recupero dell'Attribuzione: Sotto l'interfaccia a coordinate, il richiamo dell'evidenza (IoU $\ge$ 0.5) era al massimo dell'8,1%, con tassi di allucinazione (risposte corrette con evidenza errata) compresi tra l'82% e il 97%. Passare all'interfaccia linguistica ha elevato il richiamo al 25,9%–46,9% e ridotto i tassi di allucinazione al 38,6%–65,4%.
• Guadagni di Addestramento: Applicare la ricetta di addestramento GRPO a un backbone da 8B ha aumentato l'accuratezza rigorosa dell'attribuzione (SAA) dal 22,4% al 33,8% e ha ulteriormente ridotto il tasso di allucinazione al 28,4%.
• Qualità della Risposta: La correttezza della risposta è rimasta ampiamente stabile tra le interfacce, indicando che il miglioramento è specifico per l'attribuzione, non per il ragionamento generale.
• Ablazione: Il recupero è stato attribuito alle informazioni codificate nel linguaggio generato dal modello (le citazioni) piuttosto che alla sola meccanica di recupero. L'interfaccia linguistica ha permesso ai modelli di esprimere informazioni di localizzazione che il formato a coordinate non riusciva a catturare.

Significatività e Rivendicazioni
Il documento sostiene che l' "Allucinazione di Attribuzione" osservata negli open VLM non è una mancanza insormontabile di capacità di grounding, ma un disallineamento tra l'evidenza che i modelli possono esprimere in linguaggio e i vincoli dell'interfaccia a coordinate. Adottando un approccio di citazione e recupero (quote-and-retrieve), gli autori dimostrano una via pratica per ottenere un'alta qualità di attribuzione delle prove nei documenti visivi. Fondamentalmente, questo percorso non richiede:

• Un'interfaccia di output a coordinate.
• Dati di supervisione a livello di regione costosi.

I risultati suggeriscono che i modelli open possiedono già la capacità di identificare le posizioni dell'evidenza quando sono autorizzati a esprimerle in linguaggio naturale, e che l'apprendimento per rinforzo con ricompense basate su un giudice che valuta i ritagli recuperati può affinare efficacemente questa capacità. Gli autori segnalano i limiti, come la dipendenza da un parser di layout (che stabilisce un limite superiore alle prestazioni) e l'attuale ambito limitato all'attribuzione di documenti singoli.