💻 computer science

DocClaw: A Unified Agentic System for Intelligent Document Processing

DocClaw is een verenigd agentisch systeem dat diverse intelligente documentverwerkings-taken herformuleert als een gedeeld iteratief interactieproces tussen een agent en een document, waarbij gebruik wordt gemaakt van een gestructureerde documenttoestand en herbruikbare tools om competitieve prestaties te behalen over OCR-, DocQA- en KIE-benchmarks.

Oorspronkelijke auteurs: Siqi Xiang, Zhipeng Xu, Yufei Liu, Junhao Ji, Qing Liu, Zulong Chen, Zhibo Yang, Chunyan Miao, Shijian Lu

Gepubliceerd 2026-08-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siqi Xiang, Zhipeng Xu, Yufei Liu, Junhao Ji, Qing Liu, Zulong Chen, Zhibo Yang, Chunyan Miao, Shijian Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke dag worden we omringd door documenten die de kennis van de wereld bevatten: jaarverslagen, medische dossiers, juridische contracten en handgeschreven aantekeningen. Om deze pagina's te begrijpen, moet een computer meer doen dan alleen de woorden lezen; de computer moet zien hoe de tekst is gerangschikt, grafieken en tabellen herkennen en informatie samenvoegen die verspreid is over verschillende secties. Deze uitdaging, bekend als intelligente documentverwerking, wordt al lang behandeld als een verzameling afzonderlijke taken. Eén programma kan ontworpen zijn om een afbeelding van een pagina in tekst om te zetten, terwijl een ander programma nodig is om een specifiek antwoord te vinden binnen die tekst, en weer een ander om kerncijfers zoals datums of prijzen te extraheren. Deze hulpmiddelen werken in isolatie, niet in staat om te delen wat ze leren van de ene taak om de volgende te helpen, wat dwingt tot een rigide, stapsgewijze aanpak die vaak het grotere plaatje mist.

Onderzoekers hebben nu een nieuw systeem geïntroduceerd genaamd DocClaw dat verandert hoe computers met documenten omgaan. In plaats van elke taak als een apart probleem te behandelen, fungeert DocClaw als een enkele, intelligente assistent die kan lezen, zoeken en redeneren door een document in een continue lus. Wanneer het een vraag of een verzoek krijgt, gokt dit systeem niet simpelweg een antwoord; het verkent het document actief, waarbij het een reeks gespecialiseerde hulpmiddelen gebruikt om de juiste informatie te vinden, zijn werk te controleren en zijn begrip te verfijnen totdat het vertrouwen heeft in het resultaat. Door een lopend verslag bij te houden van wat het al heeft ontdekt, kan het systeem die kennis hergebruiken voor toekomstige vragen, waardoor het in de loop van de tijd sneller en nauwkeuriger wordt.

De kern van deze nieuwe aanpak is een verschuiving van statische voorspelling naar actieve interactie. Bij traditionele methoden bekijkt een computer een document één keer en produceert een output, zonder de mogelijkheid om terug te gaan om een fout te corrigeren of dieper te kijken als de eerste poging onduidelijk was. DocClaw behandelt het document echter als een partner in een gesprek. Wanneer een gebruiker een vraag stelt, bepaalt het systeem eerst een strategie op basis van wat er gevraagd wordt. Als het doel is om simpelweg de tekst te lezen, richt het zich op het herkennen van letters en lay-out. Als het doel is om een specifiek feit te vinden, plant het een zoekopdracht. Als het doel is om een waarde zoals een omzetcijfer te extraheren, bereidt het zich voor op het kruisverwijzen van zijn bevindingen. Deze strategie wordt geleid door wat de onderzoekers "documentvaardigheden" noemen, wat in essentie instructies zijn die het systeem vertellen hoe het zich voor verschillende soorten taken moet gedragen.

Zodra de strategie is ingesteld, begint het systeem aan zijn werk door een gestructureerd geheugen van het document op te bouren. Het breekt de pagina af in beheersbare delen en noteert waar tekst, afbeeldingen en tabellen zich bevinden. Terwijl het zijn hulpmiddelen gebruikt om specifieke secties te lezen of een grafiek te analyseren, slaat het die bevindingen op in een persistent geheugenbank. Dit is een cruciaal verschil met oudere systemen: de kennis die is verkregen uit het lezen van een deel van een rapport wordt niet weggegooid nadat de taak is voltooid. In plaats daarvan wordt het opgeslagen, zodat als een latere vraag informatie uit diezelfde sectie vereist, het systeem al weet waar te zoeken en wat het heeft gevonden. Dit stelt het systeem in staat om dubbel werk te voorkomen en een dieper begrip van het document op te bouren terwijl het meer vragen beantwoordt.

Het systeem werkt in een cyclus van plannen, handelen en bijwerken. Het kijkt naar de huidige staat van zijn kennis, besluit welk hulpmiddel het als volgende moet gebruiken — zoals inzoomen op een wazig gedeelte, een tabel bijsnijden voor betere duidelijkheid, of zoeken naar een trefwoord — en voert die actie vervolgens uit. Het resultaat van die actie wordt onmiddellijk toegevoegd aan het geheugen. Als het systeem een getal vindt dat inconsistent lijkt, kan het zijn hulpmiddelen gebruiken om het te verifiëren tegen de originele afbeelding of een tweede controle uit te voeren. Dit proces gaat door totdat het systeem genoeg bewijs heeft verzameld om de vraag met vertrouwen te beantwoorden. Pas dan stopt het en geeft het het definitieve antwoord, waarbij de tijdelijke aantekeningen voor die specifieke vraag worden weggegooid terwijl de permanente kennis van het document behouden blijft voor toekomstig gebruik.

Om deze aanpak te testen, evalueerden de onderzoekers DocClaw op drie zeer verschillende soorten taken: het lezen van tekst uit afbeeldingen, het beantwoorden van vragen over lange documenten en het extraheren van specifieke gegevenspunten zoals financiële cijfers. Ze vergeleken het systeem met zowel algemene AI-modellen als gespecialiseerde hulpmiddelen die voor enkelvoudige taken zijn ontworpen. De resultaten lieten zien dat DocClaw over de hele linie even goed als, of zelfs beter presteerde dan, de gespecialiseerde hulpmiddelen. In tests die de herkenning van complexe tekst, formules en tabellen betroffen, behaalde het systeem hoge nauwkeurigheidsscores en presteerde het vaak beter dan dedicated software. Wanneer het de opdracht kreeg om vragen te beantwoorden op basis van lange rapporten, was het in staat de juiste informatie te lokaliseren en meer betrouwbaar onderbouwde antwoorden te geven dan standaardmodellen. Op dezelfde manier, wanneer het de taak kreeg om kerninformatie te extraheren, slaagde het erin visueel lezen te combineren met tekstherkenning om fouten te verminderen.

Een nadere blik op hoe het systeem werkt, onthulde waarom het zo effectief was. De onderzoekers ontdekten dat het vermogen om het eigen werk te verfijnen een belangrijke factor was. Wanneer het systeem moeilijk leesbare tekst tegenkwam, gebruikte het regelmatig een "zoom"-hulpmiddel om een beter beeld te krijgen, wat de capaciteit om kleine symbolen en cijfers te herkennen aanzienlijk verbeterde. In taken die de extractie van specifieke gegevens vereisten, corrigeerde de gewoonte van het systeem om zijn bevindingen te dubbelchecken tegen de originele afbeelding een groot deel van de fouten die andere modellen maakten. Bovendien bleek het geheugen van het systeem essentieel voor de efficiëntie. Wanneer er een reeks vragen over hetzelfde document werd gesteld, nam de tijd die nodig was om elke opeenvolgende vraag te beantwoorden merkbaar af. Dit kwam omdat het systeem niet voor elke nieuwe query het hele document opnieuw hoefde te scannen; het kon simpelweg herinneren wat het al had geleerd en zich concentreren op de nieuwe informatie die nodig was.

De studie toont aan dat het behandelen van documentverwerking als een verenigd, interactief proces een krachtige manier is om de complexiteit van real-world documenten aan te pakken. Door een enkel systeem de mogelijkheid te geven om te schakelen tussen lezen, zoeken en verifiëren op basis van de behoeften van het moment, overwint DocClaw de beperkingen van rigide, enkeldo else doeleinden tools. Het laat zien dat wanneer een computer de mogelijkheid krijgt om te onthouden wat het heeft gezien en om zijn volgende zet zorgvuldig te plannen, het documenten kan begrijpen met een niveau van flexibiliteit en nauwkeurigheid dat voorheen moeilijk te bereiken was. Deze aanpak automatiseert niet alleen een taak; het creëert een intelligentere manier voor machines om zich bezig te houden met de enorme hoeveelheid geschreven informatie die onze wereld vormgeeft.

Technische Samenvatting: DocClaw

Probleemstelling

Intelligente Documentverwerking (IDP) omvat diverse taken zoals Optical Character Recognition (OCR), Document Question Answering (DocQA) en Key Information Extraction (KIE). Hoewel deze taken een fundamentele behoefte delen aan het waarnemen van documentinhoud en het verwerven van relevante informatie, behandelen bestaande benaderingen hen doorgaans als geïsoleerde voorspellingsproblemen. Huidige methoden volgen over het algemeen twee paradigma's:

Single-Pass Voorspelling: Modellen produceren direct taakspecifieke resultaten zonder tussenstappen (bijv. standaard OCR of end-to-end VLMs). Deze vertrouwen op rigide, taakspecifieke mapping en missen flexibiliteit.
Multi-Step Taakspecifieke Pipelines: Deze breken verwerking af in vooraf gedefinieerde sequenties van gespecialiseerde operaties (bijv. lay-outanalyse gevolgd door regio-herkenning). Hoewel effectief voor specifieke taken, worden deze pipelines beperkt door hun vooraf gedefinieerde structuren en kunnen ze niet gemakkelijk adapteren aan heterogene doelstellingen.

De primaire beperkingen van deze bestaande paradigma's zijn het gebrek aan een verenigd framework voor het afhandelen van diverse taken binnen een enkele workflow en het onvermogen om documentkennis over verschillende queries heen te accumuleren, te hergebruiken of te verfijnen. Gevolgelijk kunnen tussenresultaten van één operatie niet dienen als herbruikbare kennis voor daaropvolgende taken, wat leidt tot redundante verwerking en geïsoleerde kennissilo's.

Methodologie: DocClaw

Om deze beperkingen aan te pakken, introduceren de auteurs DocClaw, een verenigd agentisch systeem dat IDP herformuleert als een iteratieve interactie tussen een agent en een document. Het systeem werkt via drie kerncomponenten:

1. Agentic Interaction Loop

DocClaw behandelt documentverwerking als een sequentie van interacties in plaats van een enkele forward pass. Gegeven een document $D$ en een query $q$ :

Skill Selection: De agent selecteert eerst een Document Skill ( $k$ ) uit een vooraf gedefinieerde set op basis van het query-doel. Deze skill definieert de interactiestrategie en tool-gebruikspatronen.
State Initialization: Een gestructureerde Document State ( $s_0$ ) wordt geïnitialiseerd, bestaande uit Document Memory (persistente kennis) en Task Memory (query-specifieke context).
Iterative Planning and Execution: Gebruikmakend van een ReAct-stijl loop, leest de agent een gecondenseerde representatie van de huidige staat, de query en de geselecteerde skill om de volgende actie ( $a_t$ ) te bepalen. Deze actie houdt het selecteren van een documentverwerkingstool ( $\tau_t$ ) en de bijbehorende argumenten ( $c_t$ ) in.
State Update: De uitvoering van de tool produceert een resultaat ( $r_t$ ), dat wordt geïntegreerd in de documentstaat. De state update functie scheidt herbruikbare documentkennis (geaccumuleerd in Document Memory) van de taakspecifieke context (bijgehouden in Task Memory).
Termination: De loop gaat door totdat de agent bepaalt dat er voldoende informatie is verzameld om de uiteindelijke output te genereren. Bij voltooiing wordt de Task Memory weggegooid, terwijl de Document Memory behouden blijft voor toekomstige queries op hetzelfde document.

2. Structured Document State

Het systeem onderhoudt een hiërarchische staat $s_t = (m_t, e_t)$ om informatie te organiseren:

Document Memory ( $m_t$ ): Een persistente, hiërarchische structuur (document $\to$ pagina $\to$ regio) die ruwe afbeeldingen, herkende tekst, lay-outstructuren en door tools geproduceerde attributen opslaat. Dit maakt het mogelijk dat kennis verworven door één tool (bijv. lay-outanalyse) wordt verfijnd en hergebruikt door anderen (bijv. tekstherkenning) over verschillende queries heen.
Task Memory ( $e_t$ ): Een context op query-niveau die de geselecteerde skill, interactiegeschiedenis, geïnspecteerde regio's en tussenbewijs bijhoudt. Dit zorgt ervoor dat de agent over de noodzakelijke context beschikt voor planning, maar voorkomt dat irrelevante taakspecifieke ruis toekomstige queries beïnvloedt.

3. Document Skills

Om de strategie van de agent over verschillende doelstellingen te sturen, gebruikt DocClaw taakgeoriënteerde Document Skills:

OCR-Georiënteerde Skill: Richt zich op accurate transcriptie. Het stuurt de lay-outanalyse aan om regio's naar specifieke parsers te routeren (tekst, formule, tabel) en stimuleert visuele verbetering (zoom, crop, rotate) voor kwalitatief zwakke regio's vóór hernieuwde herkenning.
DocQA-Georiënteerde Skills: Verdeeld in Inspection (coarse-to-fine zoektocht naar gelokaliseerd bewijs) en Enumeration (brede dekking voor documentbrede redenering) om variërende vraagtypen aan te pakken.
KIE-Georiënteerde Skill: Richt zich op veldextractie door visuele extractie, OCR-gebaseerde extractie en beeld-gegronde verificatie te combineren om conflicten op te lossen en nauwkeurigheid te verbeteren.

Belangrijkste Bijdragen

Het artikel claimt drie hoofd bijdragen:

Verenigd Agentic Framework: DocClaw formuleert heterogene IDP-taken als iteratieve agent-document interacties, waardoor diverse query-doelstellingen kunnen worden geadresseerd binnen een gedeelde interactieloop en tool-ruimte.
Gestructureerde Document State: De voorstel van een duaal geheugensysteem (Document Memory en Task Memory) dat de progressieve accumulatie, het hergebruik en de verfijning van documentkennis over interacties heen ondersteunt, terwijl de taakspecifieke context wordt geïsoleerd.
Document Skills: De introductie van een set taakgeoriënteerde instructies die de verwerkingsstrategieën en tool-gebruikspatronen van de agent sturen, wat specifieke verfijningsoperaties mogelijk maakt die zijn afgestemd op specifieke query-doelstellingen.

Experimentele Resultaten

De auteurs hebben DocClaw geëvalueerd op drie benchmarks: OmniDocBench v1.6 (OCR), MMLongBench-Doc (DocQA) en OCRBench/OCRBench v2 (KIE). Het systeem werd getest met drie backbone modellen: GPT-5.2, Gemini-2.5-Flash en Gemini-2.5-Pro.

OCR: DocClaw behaalde een beste algemene score van 96.45 (met Gemini-2.5-Pro) op OmniDocBench v1.6, waarmee het de gespecialiseerde PaddleOCR-VL-1.6 (96.34) en algemene VLMs versloeg. Opvallende verbeteringen werden gezien in de Formula CDM en Table TEDS metrieken, toegeschreven aan visuele verfijningsoperaties.
DocQA: Op MMLongBench-Doc bereikte DocClaw een beste score van 61.5, waarmee het de Gemini-2.5-Pro baseline met 3.4 punten versloeg en gespecialiseerde pipelines zoals SimpleDoc en DocDancer overtrof.
KIE: DocClaw behaalde een algemene 'ALL' gemiddelde score van 86.9 op de gecombineerde OCRBench en OCRBench v2 subsets. Specifiek op de OCRBench v2 (EN) subset behaalde het een score van 87.5, waarmee het gespecialiseerde methoden zoals Qianfan-OCR overtrof.

Ablatie-studies:

State en Skills: Het combineren van zowel Document State als Skills leverde de hoogste prestaties op. De Document State verminderde de latentie aanzienlijk (van ~95s naar ~60s) bij opeenvolgende queries door kennishergebruik mogelijk te maken, terwijl Skills de nauwkeurigheid verbeterden door taakgeoriënteerde sturing te bieden.
Refinement: Visuele verfijningsoperaties (zoom, crop, rotate) werden getriggerd op 433 pagina's, waarbij "zoom" het meest bijdroeg aan de prestatiewinst, met name voor formuleherkenning.
Verification: In KIE-taken corrigeerde het opnemen van OCR en verificatie-operaties 35.3% en 47.7% van de extractiefouten gemaakt door vanilla VLMs op respectievelijk Engelse en Chinese subsets.

Betekenis en Claims

Het artikel stelt dat DocClaw de effectiviteit demonstreert van een verenigd agentisch framework voor het afhandelen van heterogene documentverwerkingstaken. Door de interactieloop en de tool-ruimte los te koppelen van specifieke taakdefinities, maakt DocClaw flexibele adaptatie mogelijk over OCR, DocQA en KIE. De auteurs claimen dat de gestructureerde documentstaat cruciaal is voor het overwinnen van het "kennis-silo" probleem van bestaande methoden, waardoor het systeem informatie progressief kan accumuleren en verfijnen. Verder biedt het gebruik van document skills een mechanisme om de agent naar passende strategieën te sturen zonder dat hiervoor aparte modeltraining per taak nodig is. De resultaten suggereren dat deze aanpak concurrerende, en vaak superieure, prestaties kan leveren vergeleken met zowel algemene VLMs als gespecialiseerde, taakspecifieke pipelines.