💬 NLP

Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

Het paper introduceert Doc-V*, een OCR-vrij, agentisch raamwerk voor meerpagina-documentvraagbeantwoording dat door middel van coars-to-fine interactieve redenering, semantische zoekopdrachten en geaggregeerd bewijsmateriaal de nauwkeurigheid en efficiëntie aanzienlijk verbetert ten opzichte van bestaande methoden.

Oorspronkelijke auteurs: Yuanlei Zheng, Pei Fu, Hang Li, Ziyang Wang, Yuyi Zhang, Wenyu Ruan, Xiaojin Zhang, Zhongyu Wei, Zhenbo Luo, Jian Luan, Wei Chen, Xiang Bai

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuanlei Zheng, Pei Fu, Hang Li, Ziyang Wang, Yuyi Zhang, Wenyu Ruan, Xiaojin Zhang, Zhongyu Wei, Zhenbo Luo, Jian Luan, Wei Chen, Xiang Bai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, honderden pagina's tellende handleiding moet lezen om één specifiek antwoord te vinden. Bijvoorbeeld: "Hoeveel handtekeningen staan er in dit contract?" of "Wat is het verschil in winst tussen jaar 1 en jaar 5?"

De meeste slimme computerprogramma's (AI) die we vandaag hebben, doen dit op twee manieren, en beide hebben grote nadelen:

De "Alles in één hap" methode: De AI probeert het hele boek in één keer te lezen. Dit is als proberen een hele bibliotheek in één seconde te scannen. Het wordt snel te druk, de AI raakt in de war en vergeet belangrijke details (het "verloren in het midden"-effect).
De "Zoekmachine" methode: De AI zoekt eerst naar de beste pagina's en leest die. Dit is sneller, maar als de zoekmachine de verkeerde pagina's kiest, is de AI verloren. Het is alsof je iemand vraagt om een woord te vinden in een woordenboek, maar je geeft hem de verkeerde pagina. De AI kijkt dan alleen naar die pagina en denkt dat het antwoord daar niet staat, terwijl het er wel was op de volgende pagina.

Doc-V* is de slimme, menselijke oplossing.

In plaats van blindelings te lezen of te gokken, gedraagt Doc-V* zich als een slimme detective die een document "leest" met een doel. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Globale Blik (De "Vluchtige Blik")

Voordat de detective het boek opent, kijkt hij eerst naar de kaft en de inhoudsopgave.

Hoe het werkt: Doc-V* begint met een "miniatuur-overzicht" (thumbnails) van alle pagina's. Het ziet niet de kleine tekst, maar wel de grote lijnen: waar zitten de grafieken? Waar staan de hoofdstuktitels?
De analogie: Het is alsof je een stapel brieven doorbladeren om te zien welke envelop een stempel heeft, in plaats van elke brief direct open te maken.

2. Actief Zoeken (De "Detective")

Nu de detective een idee heeft van waar het antwoord zou kunnen zitten, gaat hij niet zomaar alles lezen. Hij maakt een plan.

Hoe het werkt: Hij gebruikt twee tools:
- Zoeken (Retrieval): Hij roept een zoekmachine in: "Zoek naar pagina's met handtekeningen."
- Ophalen (Fetch): Als hij ziet op de miniatuur dat pagina 7 en 8 eruitzien als een contract, zegt hij: "Haal die twee pagina's even groot en leesbaar voor me."
De analogie: Een mens leest ook niet van voor tot achter als hij op zoek is naar een telefoonnummer. Hij kijkt eerst naar de inhoudsopgave, springt naar het hoofdstuk "Contact", en zoekt dan pas het nummer. Doc-V* doet precies hetzelfde.

3. Het Werkgeheugen (De "Post-it Notities")

Omdat het document zo lang is, kan de detective niet alles in zijn hoofd houden.

Hoe het werkt: Na elke stap (bijvoorbeeld: "Ik heb pagina 7 gelezen, daar staan 2 handtekeningen"), schrijft de AI een kort samenvatting op een virtuele "post-it". Deze post-its blijven bij elkaar staan in een werkgeheugen.
De analogie: Het is alsof je op een lange zoektocht door een museum gaat. Je maakt op je telefoon notities bij elke zaal die je bezoekt ("Zaal 3: hier staat een blauwe vaas"). Als je de hele route hebt afgelegd, kijk je naar al je notities om het totaal te berekenen, in plaats van te proberen alles tegelijk in je hoofd te houden.

Waarom is dit zo goed?

De paper toont aan dat Doc-V* veel beter presteert dan de oude methoden, vooral bij lange documenten.

Efficiëntie: Het leest niet elke pagina. Het leest alleen de pagina's die nodig zijn. Dit bespaart tijd en rekenkracht.
Nauwkeurigheid: Omdat het actief zoekt en zijn notities (werkgeheugen) bijhoudt, maakt het minder fouten dan systemen die passief wachten op een antwoord.
Leren van fouten: De AI is getraind met een speciale methode (GRPO) waarbij hij probeert, fouten maakt, en dan leert hoe hij de "detective-spelregels" beter kan volgen om sneller en slimmer te zijn.

Kortom:
Doc-V* is geen robot die blindelings een berg papier doorzoekt. Het is een slimme, actieve lezer die eerst een blik werpt, een plan maakt, de juiste pagina's pakt, zijn notities bijhoudt en pas dan het antwoord geeft. Het is de digitale versie van hoe een mens een moeilijk document zou aanpakken.

Probleemstelling

Het beantwoorden van visuele vragen over meerpagina-documenten (Multi-Page Document VQA) blijft een grote uitdaging, vooral bij langere, visueel dichte documenten zoals academische papers, financiële rapporten en handleidingen. Bestaande methoden kampen met fundamentele beperkingen:

OCR-gebaseerde pipelines: Deze lineariseren documenten naar tekst voordat redenering plaatsvindt. Dit leidt onvermijdelijk tot het verlies van fijne lay-outdetails en cumulatieve OCR-fouten.
OCR-vrije End-to-End modellen: Deze verwerken het volledige document als één lange beeldsequentie. Ze schalen echter slecht bij lange documenten vanwege de kwadratische aandachtskosten (attention cost), contextlimieten en het "lost-in-the-middle"-effect.
Retrieval-Augmented Generation (RAG): Deze systemen halen eerst de top- $k$ pagina's op. Hoewel dit de ruis vermindert, zijn ze vaak passief, gevoelig voor retrieval-fouten en beperkt in multi-hop redenering. Ze passen hun strategie niet aan op basis van nieuwe bewijslast die tijdens het proces wordt gevonden.

De kern van het probleem is dat bestaande systemen passief zijn en geen interactieve, doelgerichte perceptie toepassen zoals menselijke experts die doen bij het lezen van documenten.

Methodologie: Doc-V ∗

De auteurs stellen Doc-V ∗ voor, een OCR-vrij, agentisch framework dat multi-page DocVQA formuleert als een sequentiële aggregatie van bewijslast (sequential evidence aggregation). Het framework imiteert het menselijke leesgedrag door actief te navigeren in plaats van alles passief te verwerken.

1. Cognitieve Motivatie & Actieve Visie
Doc-V ∗ is gebaseerd op de Active Vision Theory. In plaats van het hele document te scannen, begint de agent met een globaal overzicht en zoekt dan iteratief naar, verifieert en integreert bewijs.

2. Werkingsprincipe (Coarse-to-Fine)
Het proces verloopt in drie fasen:

Global Thumbnail Overview: De agent begint met een laag-resolutie overzicht van het hele document (thumbnails van pagina's in een raster). Dit biedt een goedkope structurele prior (bijv. waar staan tabellen, titels, diagrammen) zonder de volledige context te laden.
Interactieve Navigatie: De agent voert acties uit in een gesloten lus:
- Retrieval Action: Zoekt pagina's op basis van tekstuele queries (vergelijkbaar met "Ctrl+F" in een document, maar op beeldniveau).
- Fetch Action: Haalt specifieke pagina's op via paginanummers (bijv. gebaseerd op observaties in de thumbnail of expliciete vragen).
- Answer Action: Beëindigt de interactie wanneer voldoende bewijs is verzameld.
Gestructureerd Werkgeheugen: De agent onderhoudt een werkgeheugen (Working Memory) dat samenvattingen van eerdere stappen bevat. Dit voorkomt dat de agent vergeet wat er al is gevonden of pagina's dubbel ophaalt.

3. Training
Doc-V ∗ wordt getraind in twee fasen:

Supervised Fine-Tuning (SFT): Het model wordt getraind op hoogwaardige interactietrajecten gegenereerd door een sterke leraar (GPT-4o). Dit zorgt voor een goede start (cold start) met correcte toolgebruik en redeneerpatronen.
Group Relative Policy Optimization (GRPO): Een versterkingsleer (RL) fase waarbij het model wordt geoptimaliseerd op een gecombineerde beloning voor antwoordnauwkeurigheid, kwaliteit van de gevonden bewijslast (evidence discovery) en formaatvaliditeit. Dit verbetert de efficiëntie van het zoeken naar bewijs.

Belangrijkste Bijdragen

Agentic Framework voor DocVQA: Doc-V ∗ introduceert een actief agentisch paradigma dat documentvragen behandelt als een dynamisch zoekproces, in tegenstelling tot statische input-verwerking.
Coarse-to-Fine Strategie: Door te beginnen met thumbnails en vervolgens gerichte pagina's op te halen, balanceert het model tussen contextkosten en precisie.
OCR-vrije Benadering: Het vermijdt OCR volledig, waardoor het robuuster is voor visuele elementen en lay-outinformatie die bij OCR vaak verloren gaat.
Gestructureerd Redeneren: De implementatie van een vaste "Think-Act" cyclus (ReAct-stijl) met een werkgeheugen zorgt voor transparante en auditabele besluitvorming.

Resultaten

Doc-V ∗ is geëvalueerd op vijf benchmarks, waaronder in-domein (MP-DocVQA, DUDE) en out-of-domein (SlideVQA, LongDocURL, MMLongBench-Doc).

Prestaties: Doc-V ∗ presteert consistent beter dan bestaande open-source baselines en komt in de buurt van gesloten modellen zoals GPT-4o.
Out-of-Domain Verbetering: Op out-of-domein taken toont het een significante verbetering, met name op LongDocURL waar het 47,9% beter presteert dan een statische RAG-baseline.
Efficiëntie: In tegenstelling tot RAG-systemen die vaak meer pagina's ophalen dan nodig is (wat leidt tot ruis), bereikt Doc-V ∗ betere resultaten met minder geïntroduceerde pagina's door selectieve aandacht.
Robuustheid: Het model blijft stabiel bij variaties in de zoektool (retriever) en presteert goed op zeer lange documenten (>80 pagina's), waar andere methoden sterk achteruitgaan.

Betekenis en Impact

Dit paper is significant omdat het een fundamentele verschuiving aangeeft in hoe lange documenten worden begrepen door AI. Het bewijst dat effectieve aggregatie van bewijslast met selectieve aandacht belangrijker is dan het simpelweg invoeren van meer contextpagina's.

Door het menselijke leesgedrag (globaal scannen, dan gerichte diepgang) te formaliseren in een agentisch framework, overwint Doc-V ∗ de beperkingen van zowel end-to-end modellen als passieve RAG-systemen. Dit biedt een schaalbare en kostenefficiënte oplossing voor complexe documentbegripstaken in de echte wereld, zonder afhankelijk te zijn van foutgevoelige OCR-processen.