🤖 machine learning

Beyond Memory Leaderboards: Evaluating Scientific Memory as Budgeted Context Restoration

Dit artikel introduceert twee wetenschappelijke geheugenbenchmarks met volledige teksten, PAIM en PTr, om aan te tonen dat geheugensleuflijsten vaak misleidend zijn zonder controle over ophaalbudgetten en protocollen, en betoogt uiteindelijk dat wetenschappelijk geheugen geëvalueerd moet worden als een budgetgestuurde, modaliteitsbewuste contextherstel in plaats van ongecontroleerde architectuurprestaties.

Oorspronkelijke auteurs: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maksim Sheverev, David Finkelstein, Sergey Nikolenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe mysteries probeert op te lossen. Je hebt een super-slimme detective (een AI) die in een fractie van een seconde een hele bibliotheek aan boeken kan lezen. Maar hier komt de crux: zelfs de slimste detective raakt in de war als je een miljoen pagina's tekst tegelijk voor hun neus schuift. Ze kunnen de cruciale aanwijzing die halverwege verborgen ligt missen, of ze raken zo overweldigd dat ze gaan gokken. Dit is het probleem van "long-context" AI. Om dit op te lossen, bouwen wetenschappers "geheugens" voor deze detectives—digitale archiefkasten waarin de AI feiten, verhalen en bewijsmateriaal kan opslaan om er alleen bij te halen wanneer dat nodig is.

Lama een tijdje dachten mensen dat het beste geheugen simpelweg degene was die de meeste pagina's tekst kon pakken. Het was als een spel waarbij de winnaar de detective was die de grootste stapel papier kon lezen. Maar dit artikel stelt een betere vraag: is het beter om een berg papier te lezen, of om net de juiste paar pagina's te lezen die de zaak daadwerkelijk oplossen? De onderzoekers stellen dat voor wetenschappelijk onderzoek geheugen niet alleen gaat over het opslaan van feiten; het gaat over "context way-restauratie" (context restoration). Het is het vermogen om de exacte, onderling verbonden web van bewijsmateriaal te reconstrueren die nodig is om een specifieke vraag te beantwoorden, zonder in de ruis te verdwalen. Ze willen weten: als we elke detective exact dezelfde hoeveelheid papier geven om te lezen, wie lost de mysteries dan het beste op?

De auteurs van dit artikel, Maksim Sheverev, David Finkelstein en Sergey Nikolenko, besloten te stoppen met gokken en te beginnen met meten. Ze bouwden twee enorme, echte testlaboratoria met duizenden werkelijke wetenschappelijke artikelen over Kunstmatige Intelligentie en computerwetenschappen. Ze creëerden een nieuwe manier om het spel te spelen, genaald "budgeted context restoration". Stel je voor dat je elke detective een rugzak geeft die slechts 30.000 tekens aan tekst kan bevatten. Geen matter hoe goed hun geheugensysteem is, ze kunnen niet meer dan dat meedragen. Ze testten vervolgens acht verschillende soorten "geheugensystemen"—sommige die gewoon tekstblokken pakken, sommige die complexe kaarten van feiten bouwerken, en andere die proberen alles samen te vatten in kleine aantekeningen.

Dit is wat ze vonden, en het draait de gebruikelijke ranglijst volledig om.

Ten eerste ontdekten ze dat de "winnaars" in eerdere wedstrijden vaak gewoon vals speelden door enorme rugzakken te dragen. Een systeem genaamd Graphiti won met een overweldigende voorsprong, maar dat kwam omdat het toestond om 2,6 miljoen tekens aan tekst per vraag te dragen—ongeveer de omvang van een kleine roman! Toen de onderzoekers Graphiti dwongen om dezelfde kleine rugzak van 30.000 tekens te gebruiken als iedereen anders, verloor het niet alleen; het zakte naar de bodem van de lijst. De "overwinning" kwam niet doordat het systeem slimmer was; het was simpelweg omdat het meer brandstof had.

Ten tweede ontdekten ze dat het type geheugen er minder toe doet dan de instrumenten die worden gebruikt om de informatie te vinden. Op een van hun testsets (genaamd PTr), die vol zat met specifieers namen zoals "Kimi Linear" of "Ring-flash", was de beste strategie niet een fancy nieuwe architectuur. Het was simpelweg het combineren van twee zoekmethoden: één die zoekt naar betekenis (dense) en één die zoekt naar exacte woorden (sparse/BM25). Wanneer ze dit "woordzoek"-instrument aan de andere systemen toevoegden, schoten de scores omhoog, en de top drie systemen eindigden in een nek-aan-nekrace, gescheiden door minder dan één punt op een schaal van tien. Dit suggereert dat voor wetenschappelijke vragen het hebben van de juiste zoekmachine belangrijker is dan het hebben van een fancy archiefkast.

Ten derde bewezen ze dat hun manier van het beoordelen van de antwoorden eerlijk en betrouwbaar was. Ze gebruikten een super-slimme AI om de antwoorden te beoordelen, maar ze waren bezorgd dat de AI bevooroordeeld zou kunnen zijn. Daarom lieten ze drie verschillende AI's dezelfde antwoorden beoordelen en brachten ze zelfs 112 menselijke vrijwilligers in voor een zij-aan-zij vergelijking. Ze vonden dat de AI-beoordelaars de mensen in 77% van de gevallen volgden, maar alleen wanneer het verschil in scores duidelijk was. Als twee antwoorden heel dicht bij elkaar lagen (binnen één punt), kon zelfs de AI het verschil niet zien. Dit betekent dat we in de toekomst niet te enthousiast moeten worden over minieme verschil in scores; die zijn waarschijnlijk gewoon ruis.

Het artikel introduceert een nieuw systeem genaamd "Theoria", dat probeert wetenschappelijke artikelen te organiseren in lagen van bewijs, gemeenschappen van gerelateerde ideeën en hoog niveau theorieën. Hoewel Theoria erg goed presteerde en concurrerend was met de beste systemen, won het niet magisch de hele wedstrijd. De onderzoekers suggereren dat de echte kracht van Theoria mogelijk voortkomt uit hoe het langetermijnonderzoeksprojecten over een langere periode beheert, en niet alleen het beantwoorden van een enkele vraag in een test.

Uiteindelijk betogen de auteurs dat we moeten stoppen met AI-geheugen te behandelen als een video game-leaderboard waar de hoogste score wint. In plaats daarvan moeten we het behandelen als een wetenschappelijk experiment waarbij we het budget controleren. Ze lieten zien dat als je niet controleert hoeveel tekst de AI mag lezen, je niet intelligentie meet; je meet simpelweg wie de grootste rugzak heeft. Door de regels te standaardiseren, onthulden ze dat eenvoudige methoden vaak net zo goed werken als complexe methoden, mits je ze de juiste instrumenten geeft om de naald in de hooiberg te vinden. Ze hebben al hun gegevens, code en testvragen aan het publiek vrijgegeven, en nodigen iedereen uit om hun resultaten te proberen te verslaan, maar dan met de nieuwe, eerlijke regels in plaats.

Technische Samenvatting: Voorbij de Memory Leaderboards

Probleemstelling

Huidige evaluaties van Langetermijngeheugen (LTM) voor Large Language Model (LLM) agenten zijn grotendeels overgenomen uit conversationele settings, waarbij de focus ligt op multi-sessie dialogen, gebruikersvoorkeuren en factuele updates. Echter, onderzoek-agenten opereren in een ander regime: zij moeten bewijslast herstellen uit volledige wetenschappelijke papers om complexe onderzoeksvragen te beantwoorden. De auteurs stellen dat standaard benchmarks er niet in slagen het onderscheid te vatten tussen recall (het ophalen van een feit) en context-restauratie (het reconstrueren van een onderling verbonden lichaam van literatuur met specifieke granulariteit, condities en bewijslast).

Een kritieke tekortkoming in bestaande leaderboards is het gebrek aan controle over het retrieval-budget (de hoeveelheid tekst die wordt teruggegeven) en de retrieval-modaliteit (dense versus sparse/hybride). Zonder deze controles lijken architecturen die enorme hoeveelheden ruwe tekst teruggeven (bijv. volledige papers) superieur, niet vanwege beter geheugenbeheer, maar simpelweg omdat ze de synthesizer voorzien van meer context. Dit artikel stelt dat wetenschappelijk geheugen geëvalueerd moet worden als gebudgeteerde, modaliteit-bewuste context-restauratie in plaats van een onbeperkte architectuur-leaderboard.

Methodologie

Benchmarks: Paim en PTr

De auteurs introduceren twee full-text wetenschappelijke QA-datasets die ontworpen zijn om context-restauratie onder gecontroleerde condities te testen:

Public AI Memory (Paim): 81 papers over AI-agentgeheugen, RAG en wetenschappelijke agenten (1,1 miljoen woorden). Het bevat 66 geauditeerde vragen verdeeld over drie moeilijkheidsgraden (L1: single-span recall; L2: mechanisme/vergelijking; L3: cross-document synthese).
Public Transformers (PTr): 252 papers over Transformer-architecturen (attention, KV management, etc.). Het bevat 98 geauditeerde vragen. Dit corpus kenmerkt zich door dichtere, lexicaal onderscheidende benoemde entiteiten (modelnamen, kernelnamen) vergeleken met Paim.

Beide datasets ondergaan een rigoureuze rubric-audit om te waarborgen dat feiten verifieerbaar zijn binnen de geciteerde papers, afhankelijkheden van volatiele data worden verwijderd en de labels voor moeilijkheidsgraad accuraat zijn.

Evaluatieprotocol

De auteurs evalueren acht geheugen/retrieval-systemen (inclusclusief hun eigen, Theoria) plus een no-retrieval baseline onder een uniform context-restauratieprotocol:

Ingestie: Systemen verwerken volledige papers (of chunks) in hun respectieve opslagplaatsen (vectoren, grafen, feiten, etc.).
Retrieval: Systemen halen context op onder strikte budgetrestricties ( $B \in \{10K, 30K, 50K\}$ karakters per query) en modaliteitsrestricties (dense embeddings versus sparse-dense hybriden met behulp van BM25).
Synthese: Een externe synthesizer (GPT-4.1-mini) genereert antwoorden op basis van de opgehaalde context.
Beoordeling: Antwoorden worden gescoord tegen gouden rubrics door een LLM-judge (Gemini 3.1 Pro), met cross-validatie tegen andere frontier modellen (Sonnet 4.6, GPT-5.4, DeepSeek V4 Pro) en een geblindeerde menselijke side-by-side (SxS) studie.

Geëvalueerde Systemen

De studie beslaat diverse architecturale families:

Simple RAG: Chunk-gebaseerde baseline (nulhypothese).
Mem0: Extractie-en-update van atomaire feiten.
Hindsight: Narratief/temporeel geheugen met vier epistemische netwerken.
Cognee: Knowledge Graph (KG) completion via een ECL-pipeline.
Graphiti/Zep: Bi-temporele knowledge graph met episode retrieval.
Theoria: Een drielaags systeem (Evidence, Community, Theory) gebruikmakend van RAPTOR-trees, Leiden clustering en theory statements.
Prism: Een ablatiestudie van Theoria die extractie en RAPTOR isoleert zonder community routing.
Direct Read: Een oracle anchor met de volledige corpus-context.

Belangrijkste Resultaten

1. Retrieval-volume domineert natuurlijke leaderboards

In "native" (ongekapte) runs behaalt Graphiti de hoogste scores op Paim (8,04 totaal). Dit is echter volledig toe te schrijven aan het ophalen van ~2,6 miljoen karakters per query (volledige paper-episodes). Wanneer het retrieval-budget wordt beperkt tot ~30K karakters, stort de prestatie van Graphiti in naar de onderkant van de leaderboard (5,27), terwijl Simple RAG (7,25) en Theoria (7,19) de leiders worden. Dit demonstreert dat natuurlijke leaderboards architectuur verwarren met contextvolume.

2. Budgetcontrole onthult architecturale nuance

Onder vaste budgetten (~30K karakters) op Paim is de topcluster (Simple RAG, Theoria, Mem0) statistisch ononderscheidbaar (binnen 0,3 punten). Echter, op PTr, waar benoemde entiteiten lexicaal onderscheidend zijn, trekken gestructureerde geheugens (Theoria, Mem0) iets voor op Simple RAG onder dense retrieval.

3. Het BM25 Hybride Effect

De meest significante interventie die werd gemeten, was het toevoegen van lexicale BM25 retrieval aan dense embeddings (sparse-dense hybride).

Op PTr zorgde deze hybride aanpak voor een significante boost in scores voor alle systemen.
De drie hybride varianten (Simple RAG+BM25, Mem0+BM25, Theoria+BM25) gingen gelijk als leider binnen 0,03 punten bij een budget van 50K, ondanks dat hun ingestie-kosten vier ordes van grootte uiteenliepen.
Op Paim was de hybride verbetering minder consistent, wat suggereert dat de corpusstructuur (lexicale onderscheidbaarheid) de effectiviteit van hybride retrieval dicteert.

4. Judge Kalibratie en Resolutie

De studie valideert de betrouwbaarheid van LLM-as-a-judge:

Rangschikkingen zijn zeer consistent over verschillende frontier judges ( $\rho \in [0,90, 0,97]$ ).
Menselijke SxS-evaluatie laat zien dat LLM-judges voor 77% overeenstemming vertonen met menselijke beoordelaars wanneer een tie-tolerance van $\tau=1$ wordt toegepast.
De effectieve resolutie van het protocol is ongeveer één punt op een schaal van 0–10; verschillen kleiner dan dit zijn niet te onderscheiden van ruis.

Betekenis en Bijdragen

Het artikel betoogt dat het veld zich moet bewegen van ongecontroleerde leaderboards naar gebudgeteerde, modaliteit-bewuste context-restauratie. De primaire bijdragen zijn:

Twee Nieuwe Benchmarks: Paim en PTr, met volledige tekst wetenschappelijke corpora, geauditeerde rubrics en op moeilijkheidsgraad gestaffelde vragen die context-restauratie testen in plaats van eenvoudige fact-recall.
Uniform Evaluatiekader: Een framework dat de effecten van retrieval-budget, modaliteit en architectuur isoleert, wat aantoont dat "winnende" architecturen vaak vertrouwen op ongecontroleerd contextvolume.
Theoria Systeem: Een drielaags wetenschappelijk geheugensysteem (Evidence + Community + Theory) dat concurrerende prestaties levert onder gelijke budgetten, hoewel het de hybride leaderboard niet strikt domineert.
Methodologische Rigor: Een protocol voor het kalibreren van LLM-judges tegen menselijke evaluatie en cross-judge consensus, waarmee wordt vastgesteld dat kleine scoreverschillen (<1 punt) niet statistisch betekenisvol zijn.

De auteurs concluderen dat hoewel gestructureerd geheugen (Theoria, Mem0) voordelen biedt in specifieke domeinen (zoals PTr), retrieval-modaliteit (met name hybride sparse-dense retrieval) momenteel de krachtigste hefboom is voor het verbeteren van wetenschappelijke QA. Zij roepen op tot toekomstige benchmarks die expliciet retrieval-budgetten, modaliteiten en granulariteit-contracten rapporteren om eerlijke en interpreteerbare vergelijkingen te waarborgen.