DocSage: An Information Structuring Agent for Multi-Doc Multi-Entity Question Answering

DocSage is een end-to-end agentiek framework dat dynamische schema-ontdekking, gestructureerde informatieverwerking en schema-bewuste redenering integreert om de beperkingen van bestaande RAG-systemen bij meerdocumenten-veelentiteiten-vraagbeantwoording te overwinnen en zo aanzienlijk betere nauwkeurigheid te bereiken.

De kern

Stel je voor dat je een detective bent die een complex misdrijf moet oplossen. Je hebt niet één getuige, maar honderden verspreide notities, krantenknipsels en dagboeken van verschillende mensen. De vragen zijn lastig: "Wie werkte samen met wie, en wat was hun motief, gebaseerd op al deze losse stukjes papier?"

Dit is precies het probleem dat DocSage oplost. Het is een slimme digitale assistent (een "agent") die is ontworpen om vragen te beantwoorden door informatie uit veel verschillende documenten en over veel verschillende personen of entiteiten samen te brengen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De "Verdwaalde" Informatie

Huidige slimme computers (zoals grote AI-modellen) hebben vaak moeite met deze taak.

• Ze lezen te veel tekst tegelijk en raken de draad kwijt (net als iemand die een heel boek in één keer probeert te lezen en halverwege de namen van de personages vergeet).
• Ze zoeken vaak alleen naar woorden die op elkaar lijken, maar missen de echte connecties (bijvoorbeeld: ze vinden het woord "auto", maar zien niet dat "de wagen" in een ander document hetzelfde voertuig is).
• Ze hebben geen goed overzicht; het is alsof ze proberen een puzzel te leggen zonder de randstukken of de foto op de doos.

De Oplossing: DocSage als de "Super-Detective"

DocSage doet iets heel anders. In plaats van alles blind te lezen, bouwt het eerst een slim kadersysteem (een schema) op maat van de vraag. Het werkt in drie stappen, die we kunnen vergelijken met het opzetten van een goed georganiseerd archief:

1. De Vragensteller (Schema Discovery)

Stel je voor dat je een detective bent die net binnenkomt in een rommelige kamer. In plaats van direct te beginnen met zoeken, vraagt DocSage eerst: "Wat zoek ik precies?"

• Het systeem stelt slimme vragen aan zichzelf en de documenten om te bepalen welke stukjes informatie echt belangrijk zijn.
• Analogie: Het is alsof je een detective is die eerst een lijstje maakt van de exacte bewijsstukken die hij nodig heeft (bijv. "Ik moet de namen van de verdachten en hun tijdstippen weten"), voordat hij de hele kamer doorzoekt. Zo vermijdt hij rommel en concentreert hij zich op wat telt.

2. De Ordenaar (Structured Extraction)

Nu het weet wat het zoekt, begint het met het opruimen. Het neemt de chaotische, ongestructureerde tekst en zet het om in nette tabellen, alsof het een Excel-spreadsheet maakt.

• Het controleert of de informatie klopt. Als er een foutje zit (bijvoorbeeld: iemand is 180 jaar oud), corrigeert het dit automatisch.
• Analogie: Stel je voor dat je honderden losse post-it notes hebt met aantekeningen. DocSage plakt deze niet zomaar op een muur, maar zet ze in een strak georganiseerd dossier met rijen en kolommen. Als er een foutje staat, zegt het: "Wacht even, dit klopt niet," en zoekt het het juiste antwoord.

3. De Redeneraar (Relational Reasoning)

Met deze nette tabellen kan het nu de vraag beantwoorden. Omdat alle informatie nu in een logisch systeem zit, kan het makkelijk verbindingen leggen tussen verschillende documenten.

• Het kan zeggen: "In document A staat dat Jan een auto heeft, en in document B staat dat die auto ook bij Piet hoort. Dus Jan en Piet hebben contact."
• Analogie: Het is alsof je nu niet meer hoeft te bladeren door stapels papier, maar gewoon een database kunt doorzoeken. Je kunt makkelijk zien wie met wie verbonden is, zelfs als die informatie in honderd verschillende documenten verstopt zat.

Waarom is dit zo goed?

De tests in het artikel tonen aan dat DocSage veel beter presteert dan de huidige beste systemen (zoals standaard AI of systemen die alleen zoeken op trefwoorden).

• Precisie: Het mist geen cruciale feiten.
• Schaalbaarheid: Het werkt net zo goed met 10 documenten als met 1000 documenten. Terwijl andere systemen de draad kwijtraken als de tekst te lang wordt, blijft DocSage rustig en overzichtelijk.
• Betrouwbaarheid: Omdat het zijn antwoorden baseert op de strakke tabellen, kun je precies zien waar het antwoord vandaan komt (het kan de "bewijslast" tonen).

Conclusie

DocSage is als het verschil tussen iemand die een rommelige zolder doorzoekt en iemand die eerst een inventarislijst maakt, alles in geordende dozen stopt en vervolgens met een logische lijst de juiste spullen vindt. Het maakt het mogelijk om complexe vragen te beantwoorden over grote hoeveelheden informatie, zonder de draad kwijt te raken.

Technische samenvatting

Probleemstelling

Multi-document Multi-entiteit Vraag-Antwoord (MDMEQA) is een complexe taak waarbij antwoorden afhankelijk zijn van het verbinden van impliciete logica tussen verschillende entiteiten die verspreid liggen over meerdere ongestructureerde documenten. Bestaande oplossingen kampen met fundamentele beperkingen:

• Standaard RAG (Retrieval-Augmented Generation): Gebaseerd op vector-similariteit, wat leidt tot grove selectie die cruciale feiten kan missen en geen rekening houdt met schema's.
• Grafische RAG: Kan complexe, gefragmenteerde relatienetwerken niet efficiënt integreren; de constructie van grafieken wordt computatierijk onhaalbaar naarmate het aantal documenten groeit.
• Lang-context LLM's: Lijden aan "contextuele verdunning" (attention diffusion), waarbij modellen kritieke details in lange teksten over het hoofd zien en moeite hebben om alle entiteitsrelaties over losse tekstsegmenten heen te volgen.
• Gebrek aan Schema-bewustzijn: Geen van deze methoden heeft een expliciete, op de query afgestemde gestructureerde weergave, wat leidt tot gebrekkige bewijsketens en onnauwkeurige deductie.

Methodologie: Het DocSage Framework

DocSage is een end-to-end agentisch framework dat ongestructureerde documenten omzet in een dynamische, query-specifieke relationele structuur. Het werkt via drie onderling afhankelijke modules:

1. Interactieve Schema-ontdekking (Interactive Schema Discovery)

• Doel: Het dynamisch afleiden van een minimaal, joinbaar relationeel schema ($S_q$) dat specifiek is voor de vraag, zonder vooraf gedefinieerde schema's.
• Mechanisme (ASK-algoritme): In plaats van passief te scannen, initieert het systeem een interactieve dialoog met het documentenbestand.
  • Het genereert een eerste hypothese voor het schema.
  • Het analyseert onzekerheden (zoals conflicterende entiteitseigenschappen, logische tegenstrijdigheden of ontbrekende relaties).
  • Het genereert verhelderende vragen om deze onzekerheden op te lossen en het schema iteratief te verfijnen tot convergentie.

2. Logica-bewuste Gestruktureerde Extractie (Logic-Aware Structured Extraction)

• Doel: Het vullen van het schema met tuples uit de documenten met hoge fideliteit.
• Mechanisme (CLEAR-correctie):
  • Niveau A (Confidentie): Gebruikt een LoRA-geoptimaliseerd model om een gekalibreerde confidentiescore te berekenen voor elke extractie.
  • Niveau B (Logische consistentie): Controleert cross-record logica (bijv. functionele afhankelijkheden, temporele constraints, referentiële integriteit).
  • Correctie: Bij lage confidentie of logische schendingen wordt een correctieworkflow geactiveerd die gebruikmaakt van een comité van krachtigere LLM's of gerichte terugzoekacties om fouten te corrigeren.

3. Schema-geleide Relationele Redenering (Schema-Guided Relational Reasoning)

• Doel: Het uitvoeren van multi-hop redenering over de gestructureerde data.
• Mechanisme:
  • De natuurlijke taalvraag wordt gecompileerd naar een geoptimaliseerde SQL-query door een reasoning-LLM, gebruikmakend van de expliciete join-sleutels van het schema.
  • De SQL-query wordt uitgevoerd op de gegenereerde relationele database.
  • Het systeem traceert het bewijs terug naar de oorspronkelijke documenten en genereert een final antwoord met volledige herleidbaarheid (provenance).

Belangrijkste Bijdragen

1. Agente Architectuur: DocSage introduceert een agentisch paradigma dat schema-ontdekking, extractie en redenering integreert met foutcontrole, in plaats van deze als losse stappen te behandelen.
2. Dynamische Schema-ontdekking: Het ASK-algoritme lost het probleem van "schema-schaarste" op door actief schema's af te leiden die specifiek zijn voor de query, zelfs als deze niet expliciet in de tekst staan.
3. Foutbewuste Extractie: De CLEAR-mechanisme vermindert extractiefouten aanzienlijk door logische consistentie te forceren en onzekere extraties te corrigeren.
4. SQL-gedreven Indexering: Door ongestructureerde tekst om te zetten in relationele tabellen, wordt precisie in feitelokalisatie bereikt en wordt de "attention diffusion" van LLM's geminimaliseerd.

Resultaten

DocSage werd geëvalueerd op twee uitdagende benchmarks: MEBench (multi-entiteit redenering) en Loong (lang-context redenering).

• MEBench: DocSage behaalde een totale nauwkeurigheid van 89,2%, wat een verbetering is van 27,2% ten opzichte van de beste concurrent (GPT-4o + RAG, 62,0%). Het presteerde consistent hoog in vergelijkings-, statistiek- en relatie-taken, zelfs bij een hoge dichtheid aan entiteiten (>100 entiteiten), waarbij andere modellen sterk degradeerden.
• Loong: DocSage behaalde de hoogste "Perfect Rate" (0,53), meer dan het dubbele van de tweede beste methode (0,26). Het bleek bijzonder robuust bij toenemende documentlengten (tot 250k tokens), waarbij het zijn prestaties behield terwijl andere modellen faalden door contextuele overbelasting.

Betekenis en Conclusie

Het paper valideert dat de integratie van schema-bewuste structurering met een agentisch workflow een krachtige oplossing is voor de fragmentatie en complexiteit van multi-document vraag-antwoordtaken.

• Technische Impact: Het bewijst dat het omzetten van ongestructureerde data in dynamische relationele tabellen, gevolgd door SQL-gedreven redenering, superieur is aan pure vectorzoekopdrachten of grafische benaderingen voor complexe multi-hop redenering.
• Praktische Toepassing: DocSage biedt een betrouwbare aanpak voor hoog-risico domeinen zoals juridische analyse, klinisch onderzoek en financiële rapportage, waar nauwkeurige cross-document bewijsketens essentieel zijn.
• Toekomstperspectief: Hoewel het framework computatiekosten met zich meebrengt en afhankelijk is van de kwaliteit van de onderliggende LLM's, opent het een nieuwe richting voor het overwinnen van de beperkingen van huidige RAG-systemen en lang-context modellen.