Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

Technische Samenvatting: Bewijsattributie in Visuele Documentbegrip zonder Coördinaten of Regio-labels

Probleemstelling
Betrouwbaar visueel documentbegrip (VDU) vereist dat modellen niet alleen vragen beantwoorden, maar die antwoorden ook kunnen toeschrijven aan specifieke bewijsregio's binnen een document. Huidige benchmarks en systemen, zoals CiteVQA, dwingen een coördinatie-interface af, waarbij modellen bounding box-coördinaten ($x_1, y_1, x_2, y_2$) moeten genereren om bewijs te markeren. De auteurs observeren dat onder deze interface vision-language modellen (VLMs) vaak lijden aan Attributie-hallucinatie: ze genereren correcte antwoorden, maar slagen er niet in de ondersteunende regio's te identificeren, waarbij ze vaak coördinaten produceren die niet overlappen met de grondwaarheid (ground truth). Het artikel onderzoekt of dit falen voortkomt uit een fundamenteel gebrek aan grondingsvermogen (grounding capability) in open modellen, of dat het een artefact is van het coördinatengebonden outputformaat zelf. Bovendien wordt de praktische uitdaging aangepakt dat het trainen van modellen om bewijs te lokaliseren doorgaans dure, regio-niveau annotaties vereist voor lange documenten, die moeilijk op grote schaal te verzamelen zijn.

Methodologie
De auteurs stellen een vergelijkende studie en een nieuw trainingsparadigma voor dat de coördinatie-interface en regio-niveau supervisie omzeilt.

1. Taalinterface versus Coördinatie-interface:

   • Coördinatieconditie: Modellen volgen het standaard CiteVQA-protocol door autoregressief bounding box-coördinaten te genereren.
   • Taalconditie: Modellen genereren letterlijke tekstcitaten van het bewijs in plaats van coördinaten. Een aparte pipeline lost deze citaten vervolgens op naar documentregio's:
     • Een layout-parser (MinerU) segmenteert het document in semantische blokken (paragrafen, tabellen, figuren, bijschriften).
     • Elk blok wordt gerenderd als een afbeelding-crop en ingebed met behulp van een multimodale encoder.
     • De gegenereerde citaten van het model worden ingebed en gematcht met het best passende semantische blok via een één-op-één toewijzing (opgelost via het Hongaarse algoritme).
   • Deze opzet stelt de auteurs in staat om dezelfde backbone-modellen onder beide interfaces te evalueren, terwijl de input en de scorelogica constant blijven.

2. Regio-labelvrije Reinforcement Learning (GRPO):

   • Om attributie te verbeteren zonder kostbare regio-labels, gebruiken de auteurs de taalinterface als een trainingssteiger (scaffold).
   • Beloningsconstructie: Een vision-language judge evalueert de output van het model op basis van de vraag, het gouden antwoord en de teruggevende afbeelding-crops van de geciteerde regio's (niet de ruwe tekstcitaten). De judge scoort:
     • $a$: Correctheid van het antwoord.
     • $erel$: Relevantie van het bewijs (ondersteunt de crop het antwoord?).
     • $ecov$: Dekking van het bewijs (dekt de set crops alle noodzakelijke informatie?).
   • De beloningsfunctie is gedefinieerd als $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$. Deze multiplicatieve structuur zorgt ervoor dat bewijsscores alleen bijdragen als het antwoord correct is, wat direct gericht is op attributie-hallucinatie.
   • Optimalisatie: Het model wordt getraind met behulp van Group Relative Policy Optimization (GRPO) met asymmetrische clipping (DAPO) om de training te stabiliseren. De policy leert betere citaten te genereren om de beloning van de judge te maximaliseren, waardoor het effectief leert om naar de juiste regio's te wijzen zonder ooit regio-coördinaten tijdens de training te zien.

Belangrijkste Bijdragen

1. Interface-analyse: Een gecontroleerde studie die aantoont dat de slechte prestaties van open VLMs in bewijsattributie grotendeels een interface-artefact zijn in plaats van een gebrek aan capaciteit. Het overstappen van coördinaten naar een quote-en-retrieve taalinterface herstelt de attributievermogens aanzienlijk.
2. Taal-bewijsinterface: Een nieuwe methode die quote-gebaseerde citatie (gebruikelijk in tekst-RAG) aanpast aan visuele documenten. Het lost natuurlijke taalcitaten op naar pixelregio's via retrieval, waardoor de noodzaak voor modellen om precieze coördinaten te genereren wordt omzeild.
3. Regio-labelvrije Training: Een reinforcement learning-recept dat strikte attributie-accuratesse verbetert met behruik van enkel vraag-antwoordparen en een judge die de teruggevende crops evalueert. Dit elimineert de noodzaak voor dure, handmatige regio-niveau annotaties.

Resultaten
Geëvalueerd op een geverifieerde subset van CiteVQA (719 tweetalige vragen) over zes open VLMs (variërend van 8B tot 31B parameters):

• Attributieherstel: Onder de coördinatie-interface was de bewijs-recall (IoU $\ge$ 0.5) maximaal 8,1%, met hallucinatiecijfers (correcte antwoorden met foutief bewijs) variërend van 82% tot 97%. Het overstappen naar de taalinterface verhoogde de recall naar 25,9%–46,9% en verlaagde de hallucinatiecijfers naar 38,6%–65,4%.
• Trainingswinsten: Het toepassen van het GRPO-trainingsrecept op een 8B backbone verhoogde de strikte attributie-accuratesse (SAA) van 22,4% naar 33,8% en verlaagde de hallucinatie-ratio verder naar 28,4%.
• Antwoordkwaliteit: De correctheid van de antwoorden bleef grotendeels stabiel over de interfaces, wat aangeeft dat de verbetering specifiek is voor attributie en niet voor algemene redenering.
• Ablatie: Het herstel werd toegeschreven aan de informatie die is gecodeerd in de gegenereerde taal van het model (de citaten), in plaats van aan de retrieval-machinerie alleen. De taalinterface stelde modellen in staat om locatie-informatie uit te drukken die het coördinatenformaat niet kon vastleggen.

Betekenis en Claims
Het artikel beargumenteert dat de geobserveerde "Attributie-hallucinatie" in open VLMs geen onoverkomelijk gebrek aan grondingsvermogen is, maar een mismatch tussen het bewijs dat modellen in taal kunnen uitdrukken en de beperkingen van de coördinatie-interface. Door een quote-and-retrieve benadering te adopteren, demonstreren de auteurs een praktisch pad naar hoogwaardige bewijsattributie in visuele documenten. Cruciaal is dat dit pad het volgende niet vereist:

• Een coördinaten-output interface.
• Dure, regio-niveau supervisiegegevens.

De bevindingen suggereren dat open modellen al over de capaciteit beschikken om de locaties van bewijs te identificeren wanneer ze in staat zijn deze in natuurlijke taal uit te drukken, en dat reinforcement learning met judge-gebaseerde beloningen op teruggevende crops effectief deze capaciteit kan verfijnen. De auteurs merken beperkingen op, zoals de afhankelijkheid van een layout-parser (die een bovengrens stelt aan de prestaties) en de huidige reikwijdte die beperkt is tot attributie binnen een enkel document.