💬 NLP

$G^2$ -Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$ -Reader pakt de broosheid van retrieval-augmented generation in multimodale langdocument-QA aan door een dual-graph systeem te introduceren dat een Content Graph evolueert om de natuurlijke documentstructuur te behouden en een Planning Graph om iteratieve bewijsverzameling te sturen, waarmee het een state-of-the-art prestatie op VisDoMBench bereikt.

Oorspronkelijke auteurs: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, 500 pagina tellende mysteryroman probeert op te lossen die geschreven is in een mix van tekst, grafieken, foto's en handgeschreven aantekeningen. Je bent een deskundige detective (de AI), maar je hebt een zeer kort geheugen: je kunt slechts ongeveer 10 pagina's tegelijk in je hoofd houden.

Dit is het probleem waar de paper over spreekt: Multimodale Document QA (Question Answering). Huidige AI-systemen proberen dit boek op te lossen door het in kleine, platte stukjes te hakken (zoals een puzzel in individuele vierkantjes snijden) en vervolgens naar de juiste stukjes te zoeken. Het probleem is dat dit het beeld vernietigt. Een grafiek wordt gescheiden van de bijschrift; een grafiek wordt gescheiden van de paragraaf die hem uitlegt. De AI eindigt met "semantische fragmenten": stukjes van een puzzel die op zichzelf geen zin hebben.

Verder, als de AI een vraag stelt en een gedeeltelijk antwoord krijgt, raakt hij vaak in een loop terecht, waarbij hij steeds weer dezelfde irrelevante pagina's doorzoekt, of hij dwaalt af naar ongerelateerde secties omdat hij geen "grote visie" of kaart heeft van waar hij is geweest.

G2-Reader is een nieuw systeem dat is ontworpen om dit op te lossen. De auteurs stellen een oplossing voor met behulp van twee evoluerende grafen (denk aan twee verschillende soorten kaarten) die samenwerken.

1. De Content Graph: De "Levende Encyclopedie"

In plaats van het document in platte stukken te snijden, bouwt G2-Reader een Content Graph.

De Analogie: Stel je voor dat het document geen stapel papier is, maar een stad.
- Nodes (De Gebouwen): Elke paragraaf, tabel of figuur is een gebouw.
- Edges (De Wegen): De verbindingen tussen hen zijn wegen. Een bijschrift is een weg die verbonden is met een afbeelding; een verwijzing is een weg die verbonden is met een vorige paragraaf.
De Magie (Evolutie): Bij oude systemen zijn deze wegen alleen gebaseerd op fysieke nabijheid (wat naast wat staat). In G2-Reader fungeert het systeem als een stadsplanner die de straten blijft bewandelen. Het vraagt zich af: "Heeft dit gebouw echt relatie met dat andere gebouw?"
- Als een grafiek in Hoofdstuk 1 een diagram in Hoofdstuk 5 uitlegt, bouwt de planner een nieuwe, onzichtbare weg die hen verbindt.
- Het werkt de "borden" op de gebouwen bij (de samenvattingen) om context van hun buren toe te voegen.
- Resultaat: De AI ziet niet alleen een zwevend diagram; het ziet een diagram verbonden met het verhaal dat het vertelt. Dit behoudt de "natuurlijke structuur" van het document.

2. De Planning Graph: Het "Notebook van de Detective"

Zodra de stadskaart is gebouwd, moet de AI de specifieke vraag oplossen. Dat is waar de Planning Graph in beeld komt.

De Analogie: Stel je een detective voor die een complexe zaak probeert op te lossen. In plaats van alleen maar te gissen, schrijft hij een flowchart van deelvragen in een notebook.
- De Root (De Wortel): De hoofdvraag ("Wie heeft de koek gestolen?").
- De Branches (De Takken): Kleinere vragen ("Is de butler de kamer binnengekomen?" "Was de koekjestrommel open?").
De Magie (Dynamisch Herplannen):
- De AI fungeert als een agent. Hij volgt de flowchart en controleert de "Content Graph" (de stad) op bewijs voor elke deelvraag.
- De "Evidence Checker" (Bewijscontroleur): Nadat er aanwijzingen zijn verzameld, fungeert een speciaal onderdeel van het systeem als een kwaliteitscontroleur. Het kijkt naar het notebook en vraagt: "Hebben we genoeg bewijs om de hoofdzaak op te lossen?"
- De "Replan" (Herplanning): Als de controleur zegt: "Nee, we missen gegevens over het alibi van de butler," dan gaat het systeem niet zomaar gokken. Het schrijft de flowchart opnieuw. Het voegt een nieuwe tak toe aan het notebook, specifiek om dat ontbrekende alibi te vinden.
- Resultaat: De AI komt nooit in een loop vast te zitten. Het heeft een persistent geheugen van wat het weet en wat het nog moet vinden, wat het stap voor stap naar het antwoord leidt.

Hoe ze samenwerken

Beschouw de Content Graph als de Bibliotheek (waar de boeken perfect georganiseerd zijn met kruisverwijzingen) en de Planning Graph als de Strategie van de Bibliothecaris (een stapsgewijs plan om de juiste boeken te vinden).

De Bibliothecaris (Planning Graph) breekt de grote vraag af in kleine taken.
Voor elke taak gaat hij naar de Bibliotheek (Content Graph). Omdat de Bibliotheek georganiseerd is met "levende" verbindingen, vindt hij direct de exacte cluster van gerelateerde tekst, tabellen en afbeeldingen.
Als de Bibliothecaris beseft dat hij een aanwijzing heeft gemist, dwaalt hij niet doelloos rond; hij werkt zijn strategiekaart bij en keert terug naar de Bibliotheek om specifiek dat ontbrekende stukje te vinden.

De Resultaten

De auteurs hebben dit systeem getest op een benchmark genaamd VisDoMBench, die lastige vragen bevat over slides, wetenschappelijke artikelen en tabellen.

Ze gebruikten een open-source AI-model (Qwen3-VL-32B) als het "brein".
De Uitkomst: G2-Reader behaalde een nauwkeurigheid van 66,21%.
De Vergelijking: Dit versloeg de beste open-source modellen die dit alleen probeerden (29,90%) en versloeg zelfs een enorm, propriëtair "supermodel" (GPT-5), dat slechts 53,08% scoorde.

De Kernboodschap

De paper beweert dat voor complexe, meerpagina tellende documenten met afbeeldingen en tabellen, structuur belangrijker is dan brute kracht. Door de AI een gestructureerde kaart van het document te geven (Content Graph) en een dynamisch plan voor hoe het moet zoeken (Planning Graph), kan een kleiner, open-source AI-model veel grotere, "dommere" systemen verslaan die simpelweg proberen alles tegelijk te lezen.

De paper beweert niet dat dit klaar is voor medische diagnoses of rechtszalen; het bewijst simpelweg dat deze "dual-graph" architectuur een superieure manier is om complexe documenten te lezen en te redeneren.

Technische Samenvatting: G2-Reader: Dual Evolving Graphs voor Multimodale Document QA

Probleemstelling

Retrieval-Augmented Generation (RAG) is een dominante paradigma geworden voor vraagbeantwoording over lange documenten. Huidige RAG-systemen kampen echter met aanzienlijke beperkingen wanneer ze worden toegepast op multimodale lange documenten (bijv. academische papers, diavoorstellingen, tekstboeken) waarbij tekst, tabellen en figuren verspreid over vele pagina's zijn door elkaar geplaatst. Het artikel identificeert twee gekoppelde crises in bestaande benaderingen:

De Representatie-uitdaging: Standaard RAG-pipelines vlakt documenten af tot onafhankelijke tekstfragmenten (chunks). Deze "platte chunking" verbreekt de natuurlijke structuur en de cross-modale uitlijning van het document (bijv. het scheiden van een figuur van de bijbehorende tekst of bijschrift). Als gevolg hiervan worden de opgehaalde contexten semantische fragmenten die moeilijk in isolatie te interpreteren zijn.
De Retrieval-uitdaging: Traditionele RAG is vaak eenmalig (one-shot) en broos in lange contexten. Hoewel iteratieve retrieval werd geïntroduceerd om queries stap voor stap te verfijnen, faalt het in lange multimodale settings vaak door te blijven hangen in partiële bewijslast of weg te drijven naar irrelevante secties naarmate de ruis accumuleert. Dit gebeurt omdat elke stap alleen wordt gestuurd door het huidige fragment zonder een persistente globale zoekstatus.

Methodologie: G2-Reader

Om deze problemen aan te pakken, stellen de auteurs G2-Reader voor, een dual-graph systeem dat zowel de bewijsrepresentatie als de retrieval-redenering vooruit helpt. Het systeem werkt via twee nauw gekoppelde, evoluerende grafen:

1. Content Graph ( $G_C$ ): Gestructureerde Multimodale Representatie

In plaats van platte chunking construeert G2-Reader een heterogene multimodale Content Graph om de document-natuurlijke lay-outs en cross-modale semantiek te behouden.

Constructie: Documenten worden geparst in atomaire eenheden (paragrafen, tabellen, figuren met bijschriften) die de verzameling knopen $V$ vormen. Randen (edges) worden geïnitialiseerd op basis van de leesvolgorde (sliding windows).
Gezamenlijke Evolutie: De graaf ondergaat een iteratief evolutieproces ( $T$ $T$ stappen) gedreven door een Vision-Language Model (VLM). In elke stap voert de VLM een gezamenlijke update uit van de knoopattributen (samenvattingen en trefwoorden) en de graaftopologie (randen).
- Attribuut-update: De VLM verrijkt de samenvattingen van knopen met context uit buren, lost impliciete verwijzingen op en benadrukt onderscheidende kenmerken.
- Topologie-update: De VLM identificeert betekenisvolle logische links (bijv. verklaring, causaliteit, cross-modale gronding) die verder gaan dan eenvoudige gelijkenis, waardoor een ijle set substantiële afhankelijkheden ontstaat.
Retrieval: Bewijs wordt opgehaald via een structuurbewuste readout-operator. Gegeven een query worden knopen gerangschikt op basis van gelijkenis, en de top-k knopen worden uitgebreid met hun directe buren in de graaf, wat zorgt voor contextbewuste assemblage van bewijsmateriaal.

2. Planning Graph ( $G_P$ ): Agentic Reasoning State

De Planning Graph is een Directed Acyclic Graph (DAG) die het redeneerproces expliciet verankert en dient als een dynamische statustracker voor de assemblage van bewijsmateriaal.

Initialisatie: Een decomposer-agent breekt de gebruikersquery af in een initiële DAG van atomaire subvragen, waarbij de afhankelijkheidsrelaties worden gecodeerd.
Executie & Verfijning: Het systeem voert subvragen uit in topologische volgorde. Voor elke subvraag haalt een worker-agent een lokaal bewijs-subgraaf op uit $G_C$ en genereert een tussenliggend antwoord.
Verificatie & Replanning: Een evidence checker evalueert of de geaccumuleerde tussenliggende antwoorden voldoende zijn om de oorspronkelijke query te beantwoorden.
- Indien voldoende, eindigt het proces.
- Indien onvoldoende, identificeert de checker specifieke hiaten (ontbrekende gegevens, ambiguïteiten). Een decomposer verfijnt vervolgens de Planning Graph door knopen toe te voegen, bij te werken of te verwijderen om deze hiaten aan te pakken.
Synthese: Zodra aan de voldoening is voldaan, synthetiseert een reasoner-agent het definitieve antwoord op basis van de oorspronkelijke query en de geverifieerde, gestructureerde bewijsmset.

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Probleemidentificatie: Het identificeert formeel de gekoppelde beperkingen van gefragmenteerde bewijsrepresentatie en instabiele long-context retrieval in huidige multimodale RAG-systemen.
Dual-Graph Architectuur: Het introduceert de Content Graph om de semantische structuren binnen multimodale documenten te behouden en de Planning Graph om een redeneerstatus te handhaven die stapsgewijze navigatie voor bewijsvoltooiing stuurt.
Empirische Superioriteit: Op de VisDoMBench benchmark over vijf multimodale domeinen (diavoorstellingen, webpagina's, academische papers, tekstboeken en wetenschappelijke grafieken) bereikt G2-Reader state-of-the-art prestaties.

Experimentele Resultaten

Het systeem werd geëvalueerd op VisDoMBench met de open-source Qwen3-VL-32B-Instruct als backbone.

Algemene Prestaties: G2-Reader behaalde een gemiddelde nauwkeurigheid van 66,21%.
Vergelijking met Baselines:
- Het presteerde aanzienlijk beter dan het propriëtaire frontier model GPT-5 (53,08%) met een marge van 13,13 procentpunt.
- Het overtrof sterke open-source baselines, waaronder VisDoMRAG (65,01%) en gespecialiseerde graafgebaseerde systemen zoals GraphRAG (50,86%).
- Het vertoonde een relatieve verbetering van 121% ten opzichte van het basis Qwen3-VL-32B model gebruikt in een zero-shot setting (29,90%).
Ablatie-studies:
- Multimodaliteit: Het opnemen van visueel bewijs verbeterde de gemiddelde nauwkeurigheid met 8,4%.
- Component Synergie: De combinatie van de Content Graph en de Planning Graph leverde een prestatiewinst op (+4,8%) die groter was dan de som van hun individuele bijdragen, wat wijst op sterke complementariteit.
- Iteratieve Verfijning: Matige verfijning van de Planning Graph (tot 3 iteraties) verbeterde de prestaties, terwijl overmatige verfijning leidde tot verminderde meeropbrengsten.
- Graaf-evolutie: Iteratieve evolutie van de Content Graph (tot 3 rondes) verbeterde de knooprepresentaties, waarbij de prestaties daalden bij hogere iteraties door over-smoothing.

Betekenis en Claims

Het artikel stelt dat G2-Reader de hypothese valideert dat een gestructureerde architectuur open-source modellen in staat kan stellen om krachtige closed-source frontier modellen te overtreffen. Door een gestructureerde fundering te bieden voor complexe assemblage van bewijsmateriaal, compenseert de dual-graph benadering effectief voor de beperkingen in long-context redeneren van medium-sized modellen.

De auteurs benadrukken dat hun methode de paradigmaverschuiving maakt van "documenten-als-tekst" naar "documenten-als-kennis", waarbij visueel rijke documenten worden omgezet in expliciete, herbruikbare externe kennisstructuren. Deze aanpak faciliteert meer controleerbaar kennisbeheer en robuuste redenering over multimodale lange documenten, waarmee de broosheid van huidige RAG-systemen in real-world scenario's wordt aangepakt. Het werk suggereert dat geavanceerde organisatie van bewijsmateriaal en iteratieve planning effectiever zijn dan pure model-scaling of proprietary training voor complexe multimodale redeneertaken.