💬 NLP

MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA

MARDoc is een Memory-Aware Refinement Agent-framework dat multimodale lange-document QA verbetert door het proces te ontkoppelen in gespecialiseerde Explorer-, Refiner- en Reflector-agents die een dynamisch bijgewerkte gestructureerde geheugen gebruiken om contextruis te verminderen en multi-hop redeneren te verbeteren.

Oorspronkelijke auteurs: Kaifeng Chen, Hongtao Liu, Qiyao Peng, Jian Yang, Yongqiang Liu, Xiaochen Zhang, Qing Yang

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaifeng Chen, Hongtao Liu, Qiyao Peng, Jian Yang, Yongqiang Liu, Xiaochen Zhang, Qing Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, 100 pagina tellende mysterie-roman op te lossen waarbij de aanwijzingen verspreid zijn over tekst, grafieken, foto's en tabellen. Je hebt een team van detectives (een AI) die probeert het antwoord op een specifieke vraag te vinden.

De Oude Manier: De "Monolithische" Detective
In de meeste huidige systemen werkt de detective als een persoon die nooit iets weggooit. Elke keer als ze een pagina bekijken, schrijven ze het paginanummer, wat ze zagen en hun gedachten op in één enkel, gigantisch notitieboek.

Het Probleem: Na 20 beurten van zoeken is dit notitieboek enorm. Het is gevuld met de werkelijke aanwijzingen, maar ook met doodlopende wegen, irrelevante zinnen en "ruis". De detective raakt overweldigd. De belangrijke aanwijzingen raken begraven onder pagina's met rommel, waardoor het moeilijk wordt om de verbanden te leggen. Dit wordt het "contextdilutie"-probleem genoemd.

De Nieuwe Manier: MARDoc (Het "Geheugenbewuste" Team)
Het paper introduceert MARDoc, een slimmer systeem dat niet alleen een gigantisch notitieboek bijhoudt. In plaats daarvan gebruikt het een team van drie gespecialiseerde detectives die samenwerken via een dynamisch, georganiseerd archiefsysteem (Gestructureerd Geheugen) in plaats van een slordig notitieboek.

Zo werkt het team, gebruikmakend van een creatieve analogie:

1. De Verkenner (De Scout)

Rol: Deze detective rent door het document om aanwijzingen te zoeken. Ze lezen niet alleen; ze gebruiken speciale tools om naar specifieke pagina's te springen, in te zoomen op grafieken of te zoeken naar trefwoorden.
Actie: Ze verzamelen ruwe informatie en brengen deze terug naar het team.
Analogie: Denk aan hen als een scout die door een bos rent en bladeren, stenen en takken opraapt en ze op een hoop gooit.

2. De Verfijner (De Bibliothecaris)

Rol: Dit is het belangrijkste nieuwe onderdeel. Terwijl de Scout een slordige stapel "ruwe" bewijzen terugbrengt, sorteert de Bibliothecaris deze onmiddellijk.
Actie: Ze gooien de ruis (irrelevante bladeren) weg en organiseren de goede zaken in twee nette categorieën:
1. Bewijsgeheugen: De harde feiten (bijv. "De grafiek op pagina 27 zegt 26%").
2. Redeneergeheugen: De logische stappen die de feiten verbinden (bijv. "Omdat de grafiek X zegt, en de tekst Y zegt, kunnen we Z berekenen").
Analogie: In plaats van de hele stapel bosafval te bewaren, maakt de Bibliothecaris een schoon, beknopt samenvattingskaartje. Ze gooien de oude stapel weg en vervangen deze door dit nieuwe, perfecte kaartje. Dit houdt het "brein" van het team klein en gefocust, waardoor ze niet verdwaald raken in het verleden.

3. De Reflector (De Supervisor)

Rol: Deze detective kijkt naar het samenvattingskaartje van de Bibliothecaris en vraagt: "Hebben we genoeg om het mysterie op te lossen?"
Actie:
- Als Ja: Ze schrijven het definitieve antwoord.
- Als Nee: Ze zeggen niet alleen "probeer het opnieuw", maar geven specifieke instructies aan de Scout, zoals: "Je bent het totaal aantal mensen in de enquête vergeten; ga die specifieke tabel opzoeken."
Analogie: De Supervisor controleert de kaart. Als de kaart een belangrijk herkenningspunt mist, vertelt hij de Scout precies waar hij de volgende keer heen moet gaan, in plaats van de Scout doelloos te laten ronddwalen.

Waarom Dit Ertoe Doet

Het paper testte dit systeem op twee moeilijke benchmarks (MMLongBench-Doc en DocBench) die betrekking hebben op lange, complexe documenten met afbeeldingen en tekst.

Het Resultaat: MARDoc presteerde aanzienlijk beter dan eerdere methoden. Zelfs wanneer een kleiner, minder krachtig AI-model werd gebruikt, versloeg het systemen die veel grotere modellen gebruikten.
De Reden: Door voortdurend het "geheugen" op te schonen en alleen de essentiële feiten en logica te bewaren, voorkomt het systeem dat het in de war raakt door zijn eigen geschiedenis. Het blijft scherp en gefocust, net als een detective die een schoon dossier bijhoudt in plaats van een slordige stapel papier.

Kortom: MARDoc lost het probleem van "vergeten wat belangrijk is omdat er te veel rommel is" op door een toegewijd teamlid te hebben wiens enige taak het is om het bewijs na elke stap op te schonen, te organiseren en samen te vatten, zodat het team nooit zijn weg kwijtraakt in een lang document.

Technische Samenvatting: MARDoc

Probleemstelling

Multimodale vraag- en antwoordsystemen (QA) voor lange documenten zijn cruciaal voor toepassingen zoals financiële analyse en wetenschappelijke literatuuronderzoek, maar blijven uitdagend door twee primaire factoren: de gezamenlijke expressie van informatie over tekst, lay-out, tabellen en figuren, en de verspreide distributie van bewijslast over vele pagina's.

Bestaande iteratieve retrieval-reasoning agents kampen met aanzienlijke beperkingen:

Monolithische Contextstroom: De meeste systemen onderhouden een enkele, steeds groeiende context die retrieval-traces, observaties en tussenliggende redeneringen mengt. Naarmate interacties zich opstapelen, raakt cruciaal bewijs verspreid en verdund door irrelevante historie, wat de effectieve redeneerruimte van het model comprimeert en ruis introduceert.
Gebrek aan Geheugen-gebaseerde Kwaliteitscontrole: Huidige agentische methoden slagen er vaak niet in om onderscheid te maken tussen ontbrekend bewijs, misinterpretatie van visuele inhoud en gebrekkige cross-pagina redenering. Fouten die in vroege beurten worden geïntroduceerd, blijven voortbestaan en stapelen zich op over iteraties heen, wat leidt tot hallucinaties in multi-hop redeneerketens.

Methodologie: MARDoc Framework

De auteurs stellen MARDoc (Memory-Aware Refinement Agent) voor, een framework dat de monolithische contextstroom vervangt door een dynamisch bijgewerkte gestructureerde geheugen die wordt aangestuurd door een "Explore–Refine–Reflect" loop. Het framework ontkoppelt het QA-proces in drie gespecialiseerde agents:

1. Documentverwerking & Outline Constructie

Voordat de agent-interactie begint, gebruikt het systeem MinerU2.5 voor nauwkeurige documentparsing om fijnmazige semantische nodes te genereren die de lay-outstructuur behouden. Qwen3-VL wordt gebruikt om beknopte beschrijvingen voor visuele elementen (afbeeldingen, tabellen) te genereren, waardoor een verenigde gestructureerde outline ontstaat die dient als index voor downstream retrieval-tools.

2. De Explorer Agent

De Explorer haalt iteratief bewijs met meerdere granulariteiten op uit de gestructureerde outline met behulp van een aangepaste toolset (tekstuele, visuele en metadata zoekopdrachten). Het werkt volgens een ReAct-framework, waarbij redeneergedachten en tool-acties worden gegenereerd om voorlopige informatie te verzamelen. In tegenstelling tot traditionele agents die de volledige historie aan een contextvenster toevoegen, ontvangt de Explorer alleen de huidige query, de document outline, het vorige gestructureerde geheugen en feedback van de Reflector.

3. De Refiner Agent

De Refiner simuleert menselijke expert-redenering door interactie-traces te distilleren tot een compact, gestructureerd geheugen, waarmee de traditionele accumulatie van ruwe context wordt vervangen. Het verwerkt de gebruikersquery, het vorige geheugen en de huidige redeneerketen van de Explorer om twee afzonderlijke componenten te generen:

Evidence Memory ( $M_E$ ): Een hoogwaardig logboek van centrale, query-relevante feitelijke informatie (bijv. belangrijke verklaringen, bronnen, gecondenseerde multimodale data) waarbij redundante informatie is verwijderd.
Reasoning Memory ( $M_R$ ): Een helder redenepad dat evidence nodes integreert, geannoteerd met afhankelijkheden. Dit ontkoppelt bewijs van redenering, waardoor het systeem kan traceren of fouten voortkomen uit onjuiste feiten of gebrekkige logica.

De Refiner overschrijft het oude geheugen met de bijgewerkte versie bij elke iteratie, waardoor context-explosie wordt voorkomen.

4. De Reflector Agent

De Reflector onderzoekt het gecomprimeerde gestructureerde geheugen om te bepalen of het bewijs voldoende is om de vraag te beantwoorden.

Indien Voldoende: Het geeft het definitieve antwoord uit.
Indien Onvoldoende: Het genereert gerichte feedback (bijv. "het totaal aantal van X ontbreekt") om de Explorer te sturen naar specifieke ontbrekende informatie, om herhaling van eerdere fouten te voorkomen.

Belangrijkste Bijdragen

Ontkoppelde Retrieval en Verfijning: MARDoc vervangt de monolithische contextstroom door een dynamisch bijgewerkt gestructureerd geheugen. Door informatie-retrieval te ontkoppelen van de verwerking van bewijslast, houdt het de redeneercontext compact, wat de context-verdunding fundamenteel verlicht.
Dual-Mechanism Geheugen: Het framework introduceert een distillatieproces dat traces comprimeert tot Evidence Memory (feitelijke gronding) en Reasoning Memory (logische coherentie), naast een iteratieve reflectieve beoordeling die de voldoendeheid verifieert en heuristische feedback geeft.
Training-vrije Prestaties: Het systeem behaalt sterke resultaten zonder taakspecifieke fine-tuning, vertrouwend op louter prompt engineering en het gestructureerde geheugenmechanisme.

Experimentele Resultaten

De auteurs hebben MARDoc geëvalueerd op twee uitdagende benchmarks: MMLongBench-Doc en DocBench.

Prestaties: Met gebruik van Qwen3-VL-30B als backbone bereikte MARDoc een nauwkeurigheid van 57,1% op MMLongBench-Doc. Dit presteert beter dan baselines met dezelfde backbone (bijv. DocAgent met Qwen3-30B op 48,3%) en evenaart de prestaties van DocAgent met de veel grotere Claude 3.5 Sonnet (57,3%).
Robuustheid: MARDoc vertoonde een kleinere prestatiedaling naarmate het aantal bewijspagina's toenam in vergelijking met andere agent-gebaseerde methoden, wat wijst op een superieur vermogen om verspreide informatie te integreren.
Ablatie-studies:
- Het verwijderen van de Refiner veroorzaakte drastische prestatieverslechtering, wat bevestigt dat de Reflector niet effectief fouten kan identificeren in ruizige, lineair geaccumuleerde contexten zonder gestructureerd geheugen.
- Het verwijderen van Reasoning Memory ( $M_R$ ) schaadde voornamelijk de prestaties bij multi-hop vragen, terwijl het verwijderen van Evidence Memory ( $M_E$ ) de prestaties bij onbeantwoordbare vragen schaadde, wat hun complementaire rollen benadrukt.
- Het vervangen van gestructureerd geheugen door platte tekstcompressie resulteerde in de slechtste prestaties, wat de noodzaak van een gestructureerde representatie valideert.
Efficiëntie: Hoewel MARDoc een bescheiden toename van het tokengebruik (~~22,5k extra tokens) en latentie (~~16s) met zich meebrengt vergeleken met single-pass methoden, levert deze trade-off een aanzienlijke winst in nauwkeurigheid op (7,8 procentpunt).

Betekenis en Claims

Het artikel claimt dat MARDoc de effectiviteit van gestructureerd geheugen voor agentic document QA valideert. Door te voorkomen dat de volledige interactiehistorie herhaaldelijk wordt gepropageerd, behoudt het framework een compacte redeneerstatus terwijl het antwoord-kritische feiten en hun logische afhankelijkheden bewaart.

De auteurs positioneren MARDoc als een oplossing voor het "context-explosie" probleem in iteratieve retrieval-reasoning, waarbij zij aantonen dat een geheugen-gemedieerde interface de multi-hop redeneercapaciteiten in multimodale lange-document taken aanzienlijk kan verbeteren zonder dat dure model fine-tuning vereist is. Het werk suggereert dat de kwaliteit van de geheugenrepresentatie (gestructureerd vs. monolithisch) een belangrijkere factor is voor long-context redeneren dan simpelweg het vergroten van de contextwindow of het aantal parameters van het model.