Technische Samenvatting: DocMemo

Probleemstelling

Visual Question Answering voor lange documenten (DocVQA) vereist dat modellen verspreide en heterogene bewijslast (tekst, tabellen, figuren, lay-outs) lokaliseren over documenten die honderden pagina's beslaan. De kernuitdaging is niet enkel het verwerken van lange inputs, maar het dynamisch lokaliseren, bijwerken en integreren van relevante pagina's onder een beperkt bewijslastbudget.

Bestaande systemen kampen met twee primaire beperkingen:

1. Statische Retrieval: Single-turn methoden fixeren een set kandidaatpagina's voordat de redenering begint. Als cruciale bewijslast aanvankelijk wordt gemist, kan het systeem niet herstellen, wat leidt tot rigide, one-shot pipelines.
2. Fragiele Iteratieve Retrieval: Hoewel recente iteratieve methoden meerrondelijke acquisitie mogelijk maken, ontbreekt het hen aan een mechanisme voor het propageren van cross-round staten. Informatie wordt doorgaans onderhouden via contextreconstructie, waarbij elke ronde effectief als een onafhankelijke retrieval-gebeurtenis wordt behandeld in plaats van als een gestructureerde exploratie met geheugen. Dit resulteert in een onvermogen om dynamische veranderingen in de relevantie van pagina's bij te houden of zoektrajecten te verfijnen op basis van intermediaire redeneersignalen.

Methodologie: DocMemo Framework

DocMemo stelt een geheugen-gestuurd framework voor dat redeneren over lange documenten formuleert als dynamische bewijsexploratie. Het ontkoppelt geheugen van retrieval om continue staatverfijning mogelijk te maken.

1. Tri-Level Documentgeheugen

Het systeem onderhoudt een gestructureerde geheugenstaat $\mathcal{M}^{(t)} = (\mathcal{M}_{schema}, \mathcal{M}^{(t)}_{belief}, \mathcal{M}^{(t)}_{epi})$ over redeneringsrondes heen:

• Document Schema Geheugen ($\mathcal{M}_{schema}$): Een offline, query-onafhankelijke prior geconstrueerd uit documenttype, onderwerpbeschrijvingen en een structurele index van paginabereiken en onderwerplabels. Het dient als een vaste navigatiegids.
• Pagina Geloof Geheugen ($\mathcal{M}^{(t)}_{belief}$): Een dynamische staat die de relevantie-betrouwbaarheid van elke pagina modelleert met behulp van een Beta-distributie $Beta(\alpha_i, \beta_i)$. $\alpha_i$ en $\beta_i$ accumuleren bewijs voor respectievelijk relevantie en irrelevantie. Dit geheugen evolueert met cross-round feedback.
• Vraag Episodisch Geheugen ($\mathcal{M}^{(t)}_{epi}$): Een query-specifiek verslag van intermediaire bevindingen, onvervulde informatiebehoeften en query-verfijningstrajecten. Het stelt het systeem in staat om de zoekruimte langs een bestaande bewijsketen te verfijnen in plaats van te herstarten vanaf de oorspronkelijke query.

2. Bayesiaanse Pagina Geloof Update & Thompson Sampling

DocMemo behandelt pagina-selectie als een proces van betrouwbaarheidsupdate:

• Bayesiaanse Update: Na elke redeneringsronde identificeert het systeem nuttige ($U_t$) en irrelevante ($V_t$) pagina's. Geloof wordt bijgewerkt via Beta-Bernoulli conjugatie: $\alpha_i \leftarrow \alpha_i + \mathbb{I}[i \in U_t]$ en $\beta_i \leftarrow \beta_i + \mathbb{I}[i \in V_t]$.
• Ruimtelijke Propagatie: Gemotiveerd door de lokaliteit van bewijs in lange documenten, wordt positieve feedback op een pagina $i$ gepropageerd naar naburige pagina's $j$ (binnen straal $r$) met een afstand-decayfactor $\gamma$. Negatieve feedback wordt niet gepropageerd om te voorkomen dat potentieel relevante nabijgelegen pagina's worden onderdrukt.
• Thompson Sampling: Om exploitatie en exploratie in balans te houden, samplet het systeem een relevantieschatting $\theta^{(t)}_i$ uit de posterieure Beta-distributie voor elke pagina.
• Kandidaat Scoring: De uiteindelijke score combineert de huidige visuele gelijkenis $c^{(t)}_i$ met de gesamplede geloofswaarde $\theta^{(t)}_i$: $score^{(t)}_i = (1 - \lambda_t)c^{(t)}_i + \lambda_t\theta^{(t)}_i$. Het gewicht $\lambda_t$ neemt toe over iteraties, waardoor de afhankelijkheid verschuift van ruwe visuele gelijkenis naar geaccumuleerd geheugengeloof.

3. Adaptieve Granulariteit Bewijstoegang

Om om te gaan met informatie-intensieve regio's (bijv. tabellen), supplementeert het systeem de volledige pagina-context met fijnmazige visuele regio's (hoog-resolutie crops) tijdens de redenering, wat zorgt voor een gedetailleerd begrip van de lay-out.

Belangrijkste Bijdragen

1. Geheugen-gestuurd Framework: Introductie van DocMemo, dat documentexploratie organiseert via een tri-level geheugenstructuur die structurele priors, dynamische pagina-geloven en query-lokale ervaringen scheidt.
2. Probabilistische Staatmodellering: Implementatie van Bayesiaanse pagina-geloof updates met Thompson sampling en ruimtelijke continuïteitspropagatie, wat onzekerheidsbewuste en lokaliteitsbewuste dynamische retrieval over rondes mogelijk maakt.
3. Empirische Validatie: Demonstratie van state-of-the-art prestaties op drie long-document DocVQA benchmarks, met ablatie-studies die de noodzaak van gestructureerd geheugen en dynamische geloof-updates bevestigen.

Experimentele Resultaten

DocMemo werd geëvalueerd op MMLongBench-Doc, LongDocURL en PaperTab.

• Algemene Prestaties: DocMemo behaalde een gemiddelde nauwkeurigheid van 77,6% over de drie benchmarks, waarmee het sterke baselines versloeg, inclusclusief propriëtaire modellen (bijv. GPT-4o, Claude-4-Sonnet) en open-source agentic systemen (bijv. SimpleDoc, DocLens).
  • Op MMLongBench-Doc bereikte het een nauwkeurigheid van 71,3% (tegenover 67,4% voor de op één na beste agentic baseline, AgenticOCR).
  • Op LongDocURL behaalde het 81,1% (tegenover 72,3% voor SimpleDoc).
  • Op PaperTab behaalde het 80,4% (tegenover 65,4% voor SimpleDoc).
• Fijnmazige Analyse: Het model vertoonde significante winst in tabel-rijke (TAB) en onbeantwoordbare (UNA) categorieën, wat wijst op verbeterde lokalisatie van bewijs en een betere afhandeling van onbeantwoordbare queries door geaccumuleerde cross-round staten.
• Efficiëntie: DocMemo verminderde het aantal benodigde retrieval-iteraties om een hoge nauwkeurigheid te bereiken vergeleken met baselines (0,41× iteraties voor een 1,18× nauwkeurigheidswinst), wat resulteerde in een 2,40× algemene efficiëntieverbetering.
• Ablatie-studies: Het verwijderen van het tri-level geheugen of de Bayesiaanse updating veroorzaakte significante dalingen in nauwkeurigheid (van 71,3% naar ~68,5%), wat valideert dat dynamische geloof-revisie en gestructureerd geheugen cruciaal zijn voor robuuste redenering.

Betekenis

Het artikel beweert dat de sleutel tot het verbeteren van redeneren over lange documenten ligt in het expliciet modelleren en continu bijwerken van documentexploratiestaten. Door iteratieve retrieval te transformeren van eenvoudige contextaccumulatie naar een gestructureerde bewijsexploratie gedreven door persistente documentkennis, dynamische paginastaten en query-lokale ervaring, adresseert DocMemo de beperkingen van statische en staatloze iteratieve benaderingen. Het framework demonstreert dat het scheiden van stabiele document-priors van snel veranderende relevantie-geloven agents in staat stelt om te herstellen van vroege retrieval-fouten en hun zoektrajecten adaptief te verfijnen.