💬 NLP

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG is een multigranulair adaptief graafframework voor multimodale vraag-en-antwoordsystemen op lange documenten dat op het moment van de query bewijssubgrafen construeert door iteratief pagina- en elementknopen te activeren en te snoeien, waardoor de dekking van bewijs wordt afgewogen tegen ruisreductie om state-of-the-art prestaties te behalen op LongDocURL en MMLongBench-Doc.

Oorspronkelijke auteurs: Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die een mysterie probeert op te lossen, maar in plaats van een paar aanwijzingen op een bureau, krijg je een enorme encyclopedie van 500 pagina's vol tekst, grafieken, foto's en complexe diagrammen. Je doel is om ergens in de tekst een specifiek antwoord te vinden.

Dit is de uitdaging van Long-Document Multimodal Question Answering. Het artikel introduceert een nieuw systeem genaamd MAGE-RAG om dit probleem op te lossen. Zo werkt het, eenvoudig uitgelegd:

Het Probleem: De "One-Size-Fits-All" Fout

Huidige systemen proberen dit mysterie op twee gebrekkige manieren op te lossen:

De "Alleen Tekst" Aanpak: Ze lezen de woorden, maar gooien de plaatjes en de lay-out weg. Het is alsof je het transcript van een film leest, maar nooit de acteurs of de decors ziet. Je mist misschien een cruciale aanwijzing die verborgen zit in een grafiek of een diagram.
De "Hele Pagina" Aanpak: Ze pakken hele pagina's uit het boek en laten die aan de AI zien. Maar als het antwoord slechts één zin is in het midden van een pagina, raakt de AI overweldigd door alle irrelevante rommel (zoals advertenties, voetnoten of ongerelateerde afbeeldingen) eromheen. Het is alsof je probeert een speld in een hooiberg te vinden door de hele hooiberg aan een robot te geven.

Beide methoden zitten vast in een "vaste" modus: ze pakken een vast aantal pagina's of fragmenten, ongeacht hoe moeilijk of makkelijk de vraag is.

De Oplossing: MAGE-RAG (De Slimme Rechercheur)

MAGE-RAG werkt als een slimme, adaptieve rechercheur die niet zomaar pagina's grijpt, maar een dynamische kaart van het document opbouwt.

1. De Kaart (De Multigranulaire Graaf)

Voordat de rechercheur zelfs maar begint te zoeken, bouwt MAGE-RAG een speciale "kaart" van het hele document.

Pagina-nodes: Dit zijn de grote oriëntatiepunten (de hele pagina's).
Element-nodes: Dit zijn de kleine details (een specifieke paragraaf, een tabel, een grafiek of een lijst).
Verbindingen: De kaart trekt lijnen tussen deze items om te laten zien hoe ze met elkaar verband houden. Bijvoorbeeld: het systeem weet dat een grafiek binnen een specifieke sectie valt, of dat een tabel naast een paragraaf staat.

Deze kaart stelt het systeem in staat om in te zoomen op een klein detail of uit te zoomen om de hele pagina te zien, afhankelijk van wat nodig is.

2. Het Onderzoek (Query-Time Control)

Wanneer je een vraag stelt, dumpt MAGE-RAG niet zomaar data bij de AI. Het speelt een spelletje van "Warm of Koud" met een strikt budget (een limiet op hoeveel tijd en geheugen het kan gebruiken).

Stap 1: Het Instappunt: Het begint met het pakken van een paar waarschijnlijke pagina's (alsof de rechercheur de juiste kamer binnenloopt).
Stap 2: De Iteratieve Jacht: Het systeem heeft een "controller" die fungeert als een projectmanager. Deze vraat vragen zoals:
- "Hebben we genoeg informatie?"
- "Moeten we inzoomen en die specifieke grafiek openen?" (Open Node)
- "Moeten we naar de pagina voor of na deze kijken?" (Zoeken/Uitbreiden)
- "Is deze paragraaf irrelevant? Laten we deze negeren." (Snoeien/Pruning)
Stap 3: Het Budget: De rechercheur heeft een regel: "Ik mag maximaal 5 pagina's bekijken en 10 details openen." Als het antwoord simpel is, stopt hij vroegtijdig. Als het antwoord complex is en verspreid over het boek, gebruikt hij zijn volledige budget om dieper te graven.

3. Het Eindrapport (Gestructureerde Weergave)

Zodra de rechercheur de juiste aanwijzingen heeft verzameld, geeft hij niet zomaar een rommelige stapel papier over. Hij organiseert het bewijs in een schoon, gestructureerd rapport. Hij laat de AI de specifieke tekst, de exacte uitsnede van de grafiek en de relevante paginalay-out zien, waarbij alle ruis wordt verwijderd.

Waarom het Beter is (De Resultaten)

Het artikel testte dit op twee moeilijke datasets (LongDocURL en MMLongBench-Doc) vol met lange, complexe documenten.

Nauwkeurigheid: MAGE-RAG behaalde ongeveer 52,75% nauwkeurigheid op de ene test en 53,26% op de andere, waarmee het eerdere methoden die vertrouwden op vaste paginatellingen of tekstzoekopdrachten versloeg.
Efficiëntie: Het won niet alleen door meer te lezen; het won door slimmer te lezen. Het slaagde erin om antwoorden te vinden die verspreid waren over verschillende pagina's of verborgen zaten in complexe lay-outs, wat andere systemen misten.
Transparantie: Omdat het systeem een "trace" (een logboek van elke stap die het nam) bijhoudt, kunnen we precies zien waarom het slaagde of faalde. Mist het de juiste pagina? Of werd een aanwijzing te vroeg weggefilterd? Dit maakt het systeem gemakkelijker te debuggen.

De Kern van het Verhaal

MAGE-RAG verandert de strategie van "pak een paar pagina's en hoop het beste" naar "bouw een kaart, volg de aanwijzingen en toon de AI precies wat nodig is om het puzzelstukje op te lossen." Het balanceert de noodzaak om het grote plaatje (de pagina) te zien met de noodzaak om de fijne details (de specifieke grafiek of tekst) te zien, en dat alles binnen een strikt budget van tijd en middelen.

Technische Samenvatting: MAGE-RAG

Probleemdefinitie

Beantwoorden van vragen over lange, multimodale documenten (Long-document Multimodal QA) vereist systemen die verspreide bewijslast kunnen lokaliseren binnen langdurige PDF's en heterogene aanwijzingen uit tekst, tabellen, afbeeldingen, grafieken en complexe lay-outs kunnen integreren. Bestaande Retrieval-Augmented Generation (RAG)-benaderingen kampen met drie primaire beperkingen:

Vaste Top-k en Statische Budgetten: Huidige methoden koppelen elke query aan een vast aantal pagina's of chunks. Dit creëert een afweging waarbij een kleine $k$ verspreide bewijslast over meerdere pagina's mist, terwijl een grote $k$ overmatige ruis en irrelevante regio's introduceert, met name voor onbeantwoordbare of enkelvoudige pagina-vragen.
Enkelvoudige Granulariteit van Bewijslast: Tekstgebaseerde retrieval comprimeert context maar verliest visuele en lay-outinformatie. Omgekeerd behoudt visuele retrieval op paginaniveau de oorspronkelijke lay-out, maar dwingt het de lezer om grote irrelevante regio's te verwerken, wat de inferentiekosten en ruis verhoogt.
Gebrek aan Controle tijdens de Query: Standaard pipelines sturen de opgehaalde kandidaten direct door naar de reader zonder een expliciet mechanisme om de status van de bewijslast bij te houden, hiaten te beheren of de bewijslast dynamisch uit te breiden of te snoeien op basis van de specifieke behoeften van een query.

Het artikel formuleert long-document multimodale QA als een probleem van query-tijd bewijs-subgraafconstructie onder budgetbeperkingen, met als doel een balans te vinden tussen de dekking van bewijslast, ruiscontrole en inferentiekosten.

Methodologie: MAGE-RAG

MAGE-RAG (Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG) pakt deze beperkingen aan via een framework bestaande uit vier onderling verbonden componenten:

1. Offline Constructie van een Multigranulaire Bewijsgraaf

Voordat de query-tijd aanbreekt, analyseert het systeem de PDF tot een heterogene bewijsgraaf $G_D = (V, E)$ :

Nodes (Knopen): De graaf bevat Pagina-nodes ( $V_p$ ) die volledige paginaweergaven vertegenwoordigen (waarbij de lay-out en visuele context behouden blijven) en Element-nodes ( $V_e$ ) die fijnmazige componenten vertegenwoordigen (koppen, paragrafen, tabellen, grafieken, afbeeldingen, formules).
Edges (Verbindingen): Relaties coderen de documentstructuur, inclusclusief containment (pagina-naar-element), leesvolgorde, lay-outnabijheid, sectiehierarchie en semantische-buurrelaties.
Attributes (Attributen): Elke node slaat multimodale beschrijvingen op, inclusief samenvattingen, tekstinhoud, bounding boxes en afbeeldingverwijzingen.

2. Initiële Gronding op Paginaniveau

Tijdens de query-tijd gebruikt het systeem visuele retrieval op paginaniveau (bijv. ColPali) om de Top- $k$ meest relevante pagina's te identificeren. Dit dient als een robuust instappunt dat het werkgeheugen initialiseert met pagina-nodes, in plaats van te proberen de gehele elementruimte vanaf nul te doorzoeken.

3. Online Bewijscontroller

Een iteratieve controller beheert de status van de bewijslast ( $S_t$ ) via een reeks acties binnen een gedefinieerd budget ( $B$ ). De status van elke node kan Inactief, Actief (geselecteerd voor het werkgeheugen), Geopend (gedetailleerde inhoud blootgesteld) of Gesnoeid (verworpen) zijn.

Actieruimte: De controller voert uit: ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (gerichte her-retrieval), PRUNENODE, en STOP.
Besluitvormingsproces: Een evaluator schat de marginale bruikbaarheid van kandidaat-acties in op basis van de huidige vraag, de status van de bewijslast en de recente trace. Het beslist of de graaf moet worden uitgebreid, specifieke elementen moeten worden geopend, er naar nieuwe pagina's moet worden gezocht, of dat laagwaardige nodes moeten worden gesnoeid.
Budgetbeperkingen: Het proces wordt begrensd door limieten op initiële pagina's, activatie-acties per iteratie, het totaal aantal iteraties en het uiteindelijke aantal geopende nodes, om ongecontroleerde contextgroei te voorkomen.

4. Gestructureerde Multimodale Reader-Rendering

De uiteindelijke bewijs-subgraaf wordt gerenderd naar een gestructureerde input voor de Large Vision-Language Model (LVLM) reader. Deze input stemt pagina-afbeeldingen, lokale node-crops en bounding boxes af op XML-gestructureerde tekst met node-samenvattingen en -typen. Dit stelt de reader in staat om compacte, relevante en visueel gegronde bewijslast te consumeren in plaats van ruwe, ongestructureerde tekst of volledige pagina's.

Belangrijkste Bijdragen

Probleemformulering: De auteurs diagnosticeren de beperkingen van single-granularity retrieval en stellen voor om long-document QA te formuleren als budgetgestuurde bewijs-subgraafconstructie, waarbij de nadruk ligt op de noodzaak van statusbeheer tijdens de query.
MAGE-RAG Framework: Het artikel introduceert een systeem dat pagina-niveau visuele instappunten, een multigranulaire documentgraaf, een online bewijscontroller en gestructureerde rendering verenigt. Dit maakt de dynamische selectie, expansie en het snoeien van bewijslast mogelijk binnen een gedeelde statusruimte.
Verenigd Protocol en Analyse: De auteurs stellen een verenigd vergelijkingsprotocol vast over LongDocURL en MMLongBench-Doc, waarbij prestaties niet alleen worden geanalyseerd op basis van nauwkeurigheid, maar ook op basis van het bewijsbudget, trace-gedrag en granulaire uitsplitsingen (enkelvoudige pagina versus kruis-pagina, typen bewijslast).

Experimentele Resultaten

Het systeem werd geëvalueerd op LongDocURL en MMLongBench-Doc, waarbij het werd vergeleken met Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG) en Graph/Agentic RAG (MLDocRAG, G2-Reader).

Prestaties: MAGE-RAG behaalde een totale nauwkeurigheid van 52,75% op LongDocURL en 53,26% nauwkeurigheid (51,19 F1) op MMLongBench-Doc.
Vergelijkingen: Het presteerde beter dan Direct MLLM, Text RAG, Page-level Visual RAG en de Graph/Agentic baseline G2-Reader. Met name liet het significante verbeteringen zien in cross-page redeneertaken vergeleken met visuele RAG-baselines (bijv. 34,70% cross-page nauwkeurigheid versus 24,87% voor M3DocRAG op MMLongBench-Doc).
Granulariteit: Het systeem toonde aan dat het combineren van pagina-niveau ankers met element-niveau lokale bewijslast leidt tot een stabielere prestatie over heterogene bewijslast-typen (tekst, tabellen, grafieken) dan single-granularity benaderingen.
Trace-analyse: Gedetailleerde trace-analyse onthulde dat correcte samples niet noodzakelijkerwijs langere traces of meer iteraties vereisen dan incorrecte samples; ze profiteren eerder van effectievere bewijsselectie (het openen van relevante nodes en het snoeien van irrelevante nodes).

Betekenis en Claims

Het artikel claimt dat query-tijd bewijs-subgraafconstructie effectief de balans kan vinden tussen verspreide bewijslastdekking en de controle van contextruis. Door retrieval niet te behandelen als een eenmalige beslissing maar als een iteratief, stateful proces, past het framework zich aan de specifieke bewijsvereisten van elke vraag aan.

De auteurs merken bescheiden op dat de bovengrens van het framework afhangt van de kwaliteit van de offline bewijsgraaf en dat de controller extra computationele kosten met zich meebrengt (evaluator-aanroepen). Ze suggereren dat de aanpak bijzonder geschikt is voor long-document scenario's met verspreide bewijslast, cross-page afhankelijkheden of complexe visuele lay-outs, terwijl ze erkennen dat het mogelijk niet kosteneffectief is voor alle korte documenten of single-hop gevallen. Het werk biedt een traceerbaar, controleerbaar mechanisme voor het diagnosticeren van fouten in multimodale documentbegrip, waarbij verder wordt gegaan dan eenvoudige nauwkeurigheidsmetrieken door ook het proces van bewijsconstructie zelf te analyseren.