Technisch Overzicht: Eywa – Herkomst-gebaseerd Langetermijngeheugen voor AI-agenten

1. Probleemdefinitie

AI-agenten die over meerdere sessies opereren, hebben geheugensystemen nodig die informatie kunnen ophalen, auditeren, bijwerken en wissen. Huidige geheugenarchitecturen reduceren bronbewijs, geëxtraheerde feiten, opgehaalde context en antwoordbeleid vaak tot één enkele, opaak pad in de prompt. Deze "black box"-benadering maakt diagnose van fouten moeilijk: een fout antwoord kan voortkomen uit ontbrekend bewijs, niet-ondersteunde extractie, verouderde status, verlies bij het ophalen of het gedrag van het antwoordmodel, terwijl end-to-end benchmarks doorgaans slechts één geaggregeerde score rapporteren.

Bovendien is het simpelweg uitbreiden van het contextvenster van Large Language Models (LLMs) onvoldoende. Modellen met een lange context lijden onder hoge computationele kosten op schaal en falen vaak in het betrouwbaar ophalen van bewijs dat zich in het midden van prompts bevindt of wanneer taken de effectieve contextgrootte overschrijden. Bestaande systemen worstelen ook met het onderscheid tussen onveranderlijke brongegevens en afgeleide overtuigingen, wat het moeilijk maakt om claims te verifiëren, gebruikerswissing uit te voeren of specifieke geheugenfouten te herstellen zonder de volledige geschiedenis opnieuw te verwerken.

2. Methodologie: De Eywa-architectuur

Eywa introduceert een herkomst-gebaseerde geheugenarchitectuur gebouwd op het principe van "bewijs vóór overtuiging". Het scheidt de levenscyclus van het geheugen in afzonderlijke, auditeerbare stadia: onveranderlijke vastlegging van bewijs, gevalideerde extractie van overtuigingen, deterministische retrieval en beleid-gescheiden antwoord-synthese.

2.1. Kernobjecten en Invarianten

Eywa definieert drie verschillende geheugenobjecten en handhaaft de invariant dat bewijs voorafgaat aan overtuiging:

1. Bewijs (Evidence): Onveranderlijk bronmateriaal (ruwe gebruikersbeurten, tijdstempels, rollen, metadata). Dit is de gezaghebbende substantie.
2. Signalen (Signals): Getypeerde detecties over bewijs (data, entiteiten, beslissingen, correcties) geëxtraheerd via deterministische detectoren zonder LLM-aanroepen.
3. Overtuigingen (Beliefs): Door LLM afgeleide canonieke feiten of observaties. Deze zijn alleen geldig voor zover ze worden ondersteund door bronbewijs en blijven via herkomstmetadata aan dit bewijs gekoppeld.

2.2. Het Schrijfpad: Bewijs vóór Overtuiging

Het schrijfproces werkt in twee niveaus om gegronde extractie te waarborgen:

• Niveau 0 (Onveranderlijke Vastlegging): Elke gebruikersbeurt wordt opgeslagen als een onveranderlijke bewijsregel. Een deterministische signaaldetector extraheert getypeerde ankers (bijv. data, URL's, monetaire waarden) om te dienen als validatiesubstraat.
• Niveau 1 (Gevalideerde Extractie): Een LLM stelt kandidaat-feiten voor. Een validatiefunctie controleert deze kandidaten tegen de Niveau 0-bewijzen en signalen. Het verifieert:
  • Ondersteuning: Lexicale en fuzzy overlap met de brontekst.
  • Hard Ankers: Exacte overeenstemming van deterministische waarden (data, ID's, bedragen).
  • Onderwerp & Handeling: Verificatie dat het geclaimde onderwerp bestaat en dat ontkenning/onzekerheid behouden blijft.
  • Resultaat: Alleen gevalideerde feiten worden geschreven als canonieke overtuigingen, waarbij een link naar hun bronbewijs behouden blijft. Mislukte kandidaten worden afgewezen of gemarkeerd voor reparatie.

2.3. Het Leespad: Deterministische Multi-Route Retrieval

Het leespad van Eywa is LLM-vrij (er vinden geen LLM-aanroepen plaats tussen de ontvangst van de query en de contextteruggave). Het gebruikt een deterministische queryplanner om de vorm van de vraag te analyseren (bijv. inferentie, lijst, temporeel) en wijst gewichten toe aan meerdere retrieval-routes:

• Vector Search: Embedding cosine similarity.
• Keyword Search: SQLite FTS5 BM25 matching.
• Temporele Search: Filteren op de geldigheidvensters van feiten.
• Entiteit/Graaf Search: Traverseren van kennisgrafen op basis van geëxtraheerde entiteiten.
• Support Channels: Raw-episode rescue voor exacte vragen en inferentie-ondersteuning voor redeneertaken.

Kandidaten uit deze routes worden samengevoegd met behulp van Weighted Reciprocal Rank Fusion (RRF). Post-fusie filters passen persoon-demotie toe (het straffen van feiten over de verkeerde entiteit) en een preservatievloer (het beschermen van hoog-gerangschikte kandidaten tegen te worden begraven door ruis). De definitieve gerangschikte lijst wordt verpakt in een begrensde contextstring onder een tokenbudget.

2.4. Scheiding van Antwoordbeleid

Het systeem retourneert twee afzonderlijke velden naar het antwoordmodel:

1. Context: Het opgehaalde geheugenbewijs.
2. Antwoordinstructies: Expliciete beleidstekst (bijv. strict, balanced, advanced) die dicteert hoe het model het bewijs moet gebruiken.
   Deze scheiding maakt het mogelijk om hetzelfde geheugensubstraat te evalueren over verschillende modelregimes (frontier, budget, lokaal) en beleid zonder de retrieval-architectuur te wijzigen.

3. Belangrijkste Bijdragen

1. Herkomst-gebaseerd Model: Een geheugenarchitectuur die onveranderlijk bronbewijs strikt scheidt van canonieke door LLM afgeleide overtuigingen, wat auditbaarheid en reparatie mogelijk maakt.
2. Twee-Niveaus Schrijfpad: Een mechanisme dat getypeerde signaaldetectie combineert met hard-anchor validatie om niet-ondersteunde geëxtraheerde herinneringen te verminderen.
3. Deterministisch Multi-Route Leespad: Een retrieval-systeem dat zonder LLM-aanroepen werkt, gebruikmakend van meerdere routes (vector, keyword, temporeel, graaf) terwijl de traceerbaarheid naar bronbewijs behouden blijft.
4. Model-gescheiden Interface: Een architectuur waarbij de levering van geheugen ontkoppeld is van de antwoord-synthese, waardoor hetzelfde opgehaalde bewijs verschillende antwoordmodellen en beleid kan dienen.
5. Trace-Level Evaluatieprotocol: Een benchmarking-aanpak die schrijfpad, QA en judge-rollen apart rapporteert, waarbij per vraag artefacten (vragen, gouden antwoorden, opgehaalde context, labels) worden bewaard voor onafhankelijke inspectie.

4. Experimentele Resultaten

Eywa werd geëvalueerd op drie benchmarks: LoCoMo (langdurig conversationeel geheugen), LongMemEval-S (retrieval-voldoenheid) en BEAM (technische geheugenstress).

• LoCoMo (C1–C4 Split): Gebruikmakend van Claude Sonnet 4.6 voor zowel de write- als de QA-rollen met GPT-4o als judge, bereikte Eywa 90,19% judge accuracy.
  • Diagnostische runs toonden aan dat een sterker schrijfpad (Sonnet 4.6) de prestaties van een kleiner antwoordmodel (Qwen3 32B) aanzienlijk verbeterde, waardoor de nauwkeurigheid steeg van 69,09% naar 79,68%.
  • Het systeem demonstreerde robuustheid over verschillende modelfamilies, hoewel open-domein redeneren (C3) de meest model-gevoelige categorie bleef.
• LongMemEval-S: Eywa bereikte 88,2% retrieval-voldoenheid nauwkeurigheid over 500 vragen. De foutanalyse gaf aan dat resterende fouten voornamelijk te wijten waren aan hiaten in de retrieval-dekking en verliezen bij de contextselectie, in plaats van eenvoudige extractiefouten.
• BEAM: Op een technische geheugenstress-test van 700 vragen behaalde Eywa een gemiddelde nugget score van 81,45% en een pass@score≥0.5 van 85,29%. De prestaties waren het sterkst in contradictie-resolutie, onthouding en temporele redenering, terwijl samenvatting en kennisupdates de grootste uitdagingen vormden.

Operationele Metrieken: Het LLM-vrije leespad vertoonde een lage latentie en leverde samengestelde context in ongeveer 150–200 ms op een stress-store met duizenden feiten en links.

5. Betekenis en Claims

Het artikel positioneert Eywa niet als een vervanging voor lang-context modellen, maar als een geheugen-infrastructuurlaag die de gedragingen van agenten inspecteerbaar en controleerbaar maakt.

• Auditbaarheid: Door bewijs te scheiden van overtuiging, stelt Eywa gebruikers en ontwikkelaars in staat om elke claim terug te traceren naar de bronbeurt, wat debugging, reparatie en door de gebruiker gevraagde wissing vergemakkelijkt.
• Diagnostische Helderheid: Het trace-level evaluatieprotocol transformeert benchmark-fouten van opaak scores naar specifieke engineering-diagnoses (bijv. het onderscheid maken tussen een retrieval-hiaat en een synthese-hiaat).
• Kosten- en Privacyflexibiliteit: De architectuur ondersteunt "local-first" implementatie en model-scheiding, waardoor operators kunnen kiezen tussen lokale privacy, goedkope budgetmodellen of frontier-redeneerkracht zonder de geheugensubstantie te herbouwen.
• Weigerings-bewuste Evaluatie: Het artikel benadrukt dat standaard metrieken opgeblazen kunnen worden door model-weigeringen op beantwoordbare vragen. Eywa's evaluatiekader houdt expliciet weigeringspercentages bij om een duidelijker beeld van de systeemcapaciteit te geven.

De auteurs concluderen dat Eywa aantoont dat het scheiden van bewijsregistratie, geheugenlevering en antwoordbeleid een systeem creëert dat zowel accuraat als auditeerbaar is, waarmee het vakgebied beweegt naar geheugensystemen die praktische standaarden zijn voor AI-agenten in plaats van opaak prompt-decoratie. Alle per-vraag artefacten en benchmarks zijn gepubliceerd voor onafhankelijke inspectie.