Technische Samenvatting: MemoryDocDataSet

Probleemstelling

Huidige AI-benchmarks evalueren conversatiegeheugen en redeneren over lange documenten in isolatie, waardoor ze er niet in slagen de eisen van real-world AI-assistenten te vatten die simultaan op beide domeinen moeten opereren. Bestaande geheugenbenchmarks (bijv. LoCoMo, LongMemEval) maken gebruik van multi-sessie dialogen, maar missen lange documenten, waardoor systemen kunnen slagen door perfecte conversatie-memorisatie zonder leesvaardigheid. Omgekeerd bieden benchmarks voor lange documenten (bijv. L-Eval, ZeroSCROLLS) boeklengte teksten, maar missen zij een conversationele structuur, waardoor systemen kunnen slagen via grote contextvensters zonder geheugennavigatie.

Er is een kritische kloof in het evalueren van de gezamenlijke capaciteit die vereist is om:

1. Multi-sessie conversatiegeschiedenis te navigeren om context te identificeren.
2. Te bepalen welk specifiek lang document relevant is op basis van die context.
3. Diepgaand tekstbegrip uit te voeren binnen dat geïdentificeerde document om een antwoord te extraheren.

Deze "joint-retrieval gap" wordt geïllustreerd door scenario's zoals een juridische assistent die zich een contract herinnert waar een cliënt in een eerdere sessie over sprak, en vervolgens door dat contract van 40.000 tokens navigeert om een specifieke clausule te vinden.

Methodologie

De MemoryDocDataSet Benchmark

De auteurs introduceren MemoryDocDataSet, een synthetische benchmark bestaande uit 50 micro-werelden en 1.000 vraag-antwoord (QA) paren. Elke micro-wereld is een zelfvoorzienend scenario gedefinieerd door de tupel $M = (P, G, D, C, Q)$:

• Personages ($P$): 3–5 entiteiten met gedefinieerde rollen, expertise en relaties.
• Event Graph ($G$): Een temporele Directed Acyclic Graph (DAG) van 5–10 tijdgestempelde gebeurtenissen die ten minste zes maanden beslaan, waarbij causale afhankelijkheden zijn gecodeerd.
• Documenten ($D$): 3–5 echte lange documenten (20.000–50.000 tokens per stuk) afkomstig van de Caselaw Access Project (Amerikaanse rechtelijke uitspraken).
• Conversaties ($C$): 5 multi-sessie dialoogsessies verankerd aan specifieke gebeurtenissen, waarbij ten minste 40% van de sessies expliciet naar documenten verwijst.
• QA Paren ($Q$): 20 paren per micro-wereld over vijf redeneercategorieën (Single-hop, Multi-hop, Temporal, Knowledge Update, Adversarial).

De Bron-dimensie:
De definiërende innovatie is de source tag annotatie voor elk QA-paar, die de vereiste informatiebron categoriseert:

• Chat-only: Antwoord uitsluitend afleidbaar uit de conversatiegeschiedenis.
• Doc-only: Antwoord uitsluitend afleidbaar uit lange documenten.
• Hybrid: Vereist een tweestaps-proces: (1) het gebruiken van de conversatiecontext om het relevante document te identificeren, en (2) het lezen van dat document om het antwoord te extraheren.
• Distributie: Hybride vragen vormen 75,1% van de dataset, met een ontwerpgrens van 30% per micro-wereld.

Generatie Pipeline

De dataset wordt gegenereerd via een volledig geautomatiseerde, configuratie-gestuurde zevenfasen-pipeline met behulp van LLM's (Claude Sonnet 4.6):

1. Document Collectie: Het verzamelen en bundelen van echte juridische teksten.
2. Persona & Event Graph Generatie: Het creëren van synthetische rollen en temporele gebeurtenissen.
3. Conversatie Generatie: Het genereren van dialogen die gegrond zijn op de event graph.
4. QA Generatie: Het creëren van vragen met bewijsreferenties.
5. Kwaliteitsverificatie: Een LLM-as-judge protocol met strikte en milde prompts om prompt-gevoelige zelfconsistentie te meten (mediaan Cohen's $\kappa = 0,634$).
6. Dataset Packaging: Splitsen in train/val/test (70/14/16) met document-isolatie.
7. Baseline Evaluatie.

Baseline Experimenten

Zes baseline-configuraties werden geëvalueerd op de test-split (160 QA-paren, 8 micro-werelden) met behulp van Token-level F1 en Exact Match (EM):

1. Base LLM: Afgekorte context (4.096 tokens).
2. Long-Context LLM: Volledige context (60.000 tokens).
3. RAG-Conv: Retrieval over conversie-chunks alleen.
4. RAG-Doc: Retrieval over document-chunks alleen.
5. RAG-Both: Gezamenlijke retrieval over beide modaliteiten.
6. Memory System: Grafiek-gebaseerde feitsextractie uit conversaties.

Belangrijkste Resultaten

Prestaties op Hybride Vragen

De resultaten onthullen een significante "joint-retrieval gap":

• RAG-Doc behaalde een sterke 0,453 F1 op Doc-only vragen, maar stortte in naar 0,267 F1 op Hybride vragen. Dit demonstreert dat document-retrieval zonder conversatie-navigatie onvoldoende is voor gezamenlijk redeneren.
• RAG-Both behaalde de hoogste algehele prestatie (0,358 F1) en verbeterde de Hybride prestatie naar 0,342 F1, wat bevestigt dat het integreren van conversatie-retrieval een groot deel van de kloof herstelt.
• Long-Context LLM (0,323 totaal) presteerde slechts marginaal beter dan de Base LLM (0,317) ondanks een 15x grotere context. Het vertoonde de laagste abstention accuracy (0,844), wat suggereert dat het uitbreiden van contextvensters zonder gestructureerde retrieval leidt tot een toename van hallucinaties bij onbeantwoordbare vragen ("lost in the middle" effect).

Specialisatie-asymmetrie

Er werd een duidelijke specialisatie-asymmetrie waargenomen: systemen die sterk zijn op één bron-tag (bijv. RAG-Doc op Doc-only) waren zwak op de complementaire tag (Hybrid). Zelfs de beste baseline (RAG-Both) presteerde aanzienlijk onder de menselijke verwachtingen, wat aangeeft dat huidige architecturen niet van nature de tweestaps-navigatiestrategie ondersteunen die vereist is voor Hybride taken.

Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

1. Eerste Gezamenlijke Benchmark: MemoryDocDataSet is de eerste benchmark die simultaan multi-sessie conversatiegeschiedenis en long-document redeneren evalueert, geformaliseerd via de Hybrid source tag.
2. Meetbare Kloof: De benchmark kwantificeert een specifieke architecturale kloof: het onvermogen van huidige systemen om eerst de conversatie te navigeren om een document te identificeren, en vervolgens te extraheren uit dat specifieke document.
3. Implicaties voor Systeemontwerp: De resultaten suggereren dat het simpelweg vergroten van de contextvenstergrootte of het gebruik van standaard RAG onvoldoende is. De volgende generatie AI-assistenten vereist architecturen die conversatiegeheugen verenigen met long-document navigatie, specifiek door een tweestaps-retrievalstrategie te implementeren (conversatie $\to$ document identificatie $\to$ document retrieval).
4. Resource Release: De auteurs stellen de dataset, de generatie-pipeline en alle baseline-implementaties beschikbaar om onderzoek naar deze gezamenlijke capaciteit te faciliteren.

Het artikel behoudt een bescheiden toon met betrekking tot menselijke prestaties, waarbij wordt opgemerkt dat een formele menselijke bovengrens niet is gemeten en dat de huidige LLM-as-judge verificatie dient als een proxy voor consistentie in plaats van absolute correctheid. De erkende beperkingen omvatten de domeinspecifiteit (Amerikaanse juridische teksten), het synthetische karakter van de conversaties en de Engelstalige scope.