Technische Samenvatting: RECON – Benchmarking van Agentgeheugen voor Compositioneel Redeneren over Lange Contexten

Probleemstelling

Op basis van Large Language Models (LLM) gebaseerde agents worden steeds vaker ingezet in kritieke workflows (codering, klinisch, juridisch, financieel) waar zij informatie moeten vasthouden, ontsluiten en redeneren over informatie die is geaccumuleerd over lange contexten en meerdere interacties. Huidige geheugenarchitecturen (bijv. Mem0, Zep, MemGPT) en retrieval-augmented generation (RAG) systemen modelleren geheugen primair als een toestandsmachine (state machine), die de huidige waarden van feiten bijhoudt. Echter, in de echte wereld accumuleren feiten niet simpelweg; ze interageren, spreken elkaar tegen en maken elkaar ongeldig via expliciete afhankelijkheidsstructuren.

Bestaande benchmarks (bijv. RULER, LongBench, LoCoMo) evalueren of agents verspreide feiten kunnen ophalen of kunnen detecteren of een feit is veranderd. Ze falen echter in het evalueren van de gevolgen van dergelijke veranderingen: of een agent kan traceren welke downstream conclusies worden beïnvloed door een ongeldigmaking, welke conclusies overleven via onafhankelijke ondersteuning, en hoe alternatieve tijdlijnen zich zouden ontvouwen. Er is een kritieke kloof in het evalueren van compositioneel redeneren over evoluerende, lange-context narratieven waarbij de geldigheid van een conclusie afhangt van een complexe herkomstgrafiek (provenance graph) in plaats van een statische lijst met feiten.

Methodologie: De RECON Benchmark

De auteurs introduceren RECON (Reasoning over Extended Contexts with Obfuscated Narratives), een benchmark ontworpen om agents te evalueren op zes geheugengestuurde taken over lange contexten (50k–100k tokens).

1. Deterministische Generatiepijplijn

Om de betrouwbaarheid van de grondwaarheid te garanderen, maakt RECON gebruik van een volledig deterministische generatiepijplijn waarbij LLM's beperkt zijn tot enkel oppervlakterealisatie (narratie) en nooit de causale structuur, herkomst of antwoordsleutels beïnvloeden.

• Blueprint Synthese: Een seeded productiemotor genereert een casus-blueprint met getypeerde terminalen (actoren, bewijslast) en productieregels, wat ervoor zorgt dat logische vereisten worden voldaan voordat conclusies worden getrokken.
• Skeleton Expansie: De blueprint breidt uit naar een gestructureerd skelet van tijdgestempelde gebeurtenissen, causale afhankelijkheden, ongeldigmakingen, bronconflicten en parallelle temporele stromen (bijv. surveillance, transacties).
• Provenance DAG: Een globale Directed Acyclic Graph (DAG) wordt geïnduceerd uit het generatiecontract. Knopen vertegenwoordigen gebeurtenissen/bewijs, en randen coderen causale, revisie- en ongeldigmakende relaties. Deze DAG dient als de gezaghebbende grondwaarheid.
• Taak Synthese: Vragen worden algoritmisch gegenereerd vanuit de DAG. Bijvoorbeeld, Cascade Propagation vragen worden gecreëerd door een ongeldigmakingsknoop te selecteren en bereikbaarheid te berekenen om te bepalen welke conclusies instorten.
• Narratieve Realisatie: Een LLM zet het gestructureerde skelet om in natuurlijke taal casusbestanden (politierapporten, klinische logs, financiële audits) terwijl het strikt vasthoudt aan de onveranderlijke feiten van het skelet.

2. Taalcategorieën

RECON omvat 24 casusbestanden over drie domeinen (crimineel, medisch, financieel) en 1.604 vragen, gecategoriseerd in zes taken:

1. Chain Reconstruction: Het lokaliseren en causaal ordenen van 5–15 bewijsstappen die verspreid zijn over het document.
2. Cascade Propagation: Bepalen welke conclusies breken en welke overleven via onafhankelijke ondersteuning na een specifieke ongeldigmaking van bewijs.
3. Source Conflict Resolution: Het beoordelen van tegenstrijdige verslagen met behulp van onafhankelijk bevestigend bewijs.
4. Counterfactual Reasoning: Bepalen hoe downstream gebeurtenissen veranderen onder een alternatieve tijdlijn (bijv. als een gebeurtenis eerder plaatsvond).
5. Temporal Constraint Satisfaction: Het kruisverwijzen van parallelle datastromen tegen een speciciet tijdsvenster.
6. Temporal Fact Retrieval: Baseline taken voor temporele ordening en statusvragen.

3. Evaluatieopzet

De benchmark evalueert drie systeemfamilies plus een Oracle plafond:

• Long-Context: Modellen die het volledige 100k-token casusbestand verwerken.
• RAG: Varianten inclusief dense retrieval, hybrid retrieval en reranking.
• Memory Agents: Systemen zoals Mem0, Mem0-Graph, Supermemory en Hindsight.
• Oracle: Ontvangt de gestructureerde grondwaarheid DAG in plaats van de narratieve tekst, wat een retrieval-perfecte bovengrens biedt.

Scorevorming omvat strikte nauwkeurigheidsmetrieken, met boetes voor foutieve keuzes bij meerkeuzevragen en onthoudingsopties. Een contaminatiefilter verwijdert vragen die beantwoord kunnen worden via voorkennis van LLM's.

Belangrijkste Resultaten

De evaluatie onthult substantiële beperkingen voor alle huidige architecturen:

• Algemene Prestaties: Geen enkele niet-Oracle systeem overschrijdt 25% Nauwkeurigheid. Het beste niet-Oracle systeem (Gemini-2.5-Pro) bereikt slechts 22,4% Nauwkeurigheid, terwijl de Oracle (met perfecte retrieval) 54,6% bereikt. Dit geeft aan dat zelfs met perfecte toegang tot de afhankelijkheidsgrafiek, redeneren een significante bottleneck blijft.
• Taakspecifieke Prestaties:
  • Cascade Propagation: Geheugensystemen blinken hierin uit, waarbij Supermemory een score van 0,708 behaalt, bijna het dubbele van het beste long-context model. Dit suggereert dat geheugenarchitecturen effectief zijn in het bijhouden van statusveranderingen wanneer de afhankelijkheidsstructuur eenvoudig is.
  • Counterfactual Reasoning: Dit is de moeilijkste taak. Zelfs de Oracle bereikt slechts 0,483, wat aangeeft dat gekoppelde inferentie de primaire bottleneck is, en niet retrieval.
  • Chain Reconstruction & Source Conflict: Long-context modellen leiden deze taken, maar de prestaties blijven laag. RAG en geheugensystemen worstelen hier aanzienlijk, waarschijnlijk door het verlies van inter-fact randen tijdens compressie of retrieval.
• Retrieval vs. Reasoning:
  • Retrieval is noodzakelijk maar onvoldoende. In "full-coverage" scenario's waar het juiste bewijs wordt opgehaald, geven systemen nog steeds in ongeveer 80% van de gevallen een fout antwoord.
  • De kloof tussen Oracle en LLM prestaties is het grootst voor taken die multi-hop redeneren vereisen (Chain Reconstruction, Source Conflict), wat suggereert dat het onvermogen om opgehaalde feiten te componeren een belangrijke foutmodus is.
• Token Efficiëntie: Retrieval-gebaseerde benaderingen (RAG, Memory) zijn 8–20× efficiënter qua tokens dan long-context modellen, maar leveren vaak een lagere prestatie op bij complexe redeneertaken.

Betekenis en Claims

Het artikel claimt dat RECON een verschuiving vertegenwoordigt in hoe agentgeheugen moet worden geëvalueerd:

1. Van Toestandsmachine naar Provenance Grafiek: De benchmark betoogt dat geheugen gemodelleerd moet worden als een grafiek van afleidingsgeschiedenissen waarbij ongeldigmakingen door afhankelijkheden propageren, in plaats van een eenvoudige toestandsmachine van huidige fact-waarden.
2. Compositioneel Redeneren is de Bottleneck: De resultaten laten zien dat huidige agents niet alleen falen in het vinden van informatie, maar ook in het componeren ervan. De grote kloof tussen de Oracle (perfecte retrieval) en LLM prestaties benadrukt dat het vermogen om causale ketens te traceren en ongeldigmakingen af te handelen een fundamentele beperking is van huidige architecturen.
3. Deterministische Grondwaarheid: Door de generatie van de causale structuur te ontkoppelen van de LLM-narratie, biedt RECON een rigoureuze, reproduceerbare benchmark die vrij is van de hallucinaties die vaak voorkomen in volledig door LLM's gegenereerde synthetische datasets.

De auteurs concluderen dat zowel retrieval als redeneren openstaande uitdagingen blijven. Zelfs met een perfecte context worstelen agents ermee om een coherente, evoluerende begrip te behouden van lange documenten waarin feiten interageren en elkaar tegenspreken. De release van de benchmark, de generator en de evaluatie-harness heeft als doel toekomstig werk te ondersteunen in de ontwikkeling van agents die in staat zijn tot robuust, compositioneel redeneren over lange contexten.