🤖 AI

ECHO: A Cognitively Inspired, Auditable Memory Plane for Long-Horizon Agents

ECHO is een cognitief geïnspireerde, controleerbare geheugenarchitectuur voor langetermijnagenten die een hoge ophaalprestatie bereikt op benchmarkdatasets, terwijl de nadruk wordt gelegd op controleerbare herkomst en transparante ontwikkelingsmetrieken, ondanks beperkingen in de huidige evaluatieonafhankelijkheid.

Oorspronkelijke auteurs: Yu Qian, Hong Miao, Boyang Guo, Tingyi Jiang, Shan Zhao, Tianxing Le, Lintian Li, Meng Liu

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu Qian, Hong Miao, Boyang Guo, Tingyi Jiang, Shan Zhao, Tianxing Le, Lintian Li, Meng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een digitale assistent voor die alles onthoudt wat je er ooit tegen hebt gezegd. Om deze assistent werkelijk nuttig te maken, kan het niet simpelweg een lijst met feiten opslaan als een statische encyclopedie. Het moet het verhaal achter die feiten begrijpen. Als je vertelt dat je adres het een is, en je vertelt later dat je naar een ander adres bent verhuisd, moet het systeem niet alleen het nieuwe adres weten, maar ook dat het oude adres is vervangen, wanneer de verandering plaatsvond en waarom. Het moet de oorspronkelijke conversatie waarin de correctie plaatsvond kunnen vasthouden, zodat het, als je iets over je verleden vraagt, het bewijs van de wijziging kan tonen in plaats van alleen het huidige antwoord te geven. Dit vermogen om een veilige, controleerbare geschiedenis van ervaringen te behouden, terwijl het precies weet welk stuk informatie op een specifiek moment geldig is, vormt de centrale uitdaging voor de volgende generatie intelligente agenten.

Onderzoekers bij XDream Robotics hebben een nieuw systeem genaamd ECHO gebouwd om dit probleem aan te pakken. Ze hebben het ontworpen door niet te proberen het biologische brein te kopiëren, maar door inspiratie te putten uit hoe het menselijk geheugen in brede lijnen werkt: hoe we een gebeurtenis vastleggen, hoe we die gebeurtenis organiseren tot kennis, en hoe we beslissen wat er op dit moment waar is. Het team creëerde een digitaal "geheugenvlak" dat elk stuk informatie behandelt als een permanent verslag. In plaats van oude gegevens te overschrijven met nieuwe, houdt het systeem het oude verslag en voegt een nieuwe notitie toe die de verandering uitlegt. Dit creëert een tijdlijn waarbij elk feit een duidelijke geschiedenis heeft. Het systeem scheidt ook de handeling van het vinden van een stuk informatie van de handeling van het beslissen of het de juiste informatie is om te gebruiken. Het verzamelt veel mogelijke antwoorden uit zijn geheugen, maar een strikt regelboek bepaalt welk antwoord daadwerkelijk geldig is op basis van wanneer het gebeurde en of het is vervangen door een latere update.

Om te testen of deze aanpak werkt, hebben de onderzoekers het systeem door een reeks rigoureuze onderzoeken gehaald met behulp van duizenden vragen gebaseerd op lange gesprekken. In de eerste reeks tests, bestaande uit 1.536 vragen over diverse onderwerpen, vond het systeem in 96,29% van de gevallen het relevante deel van het gesprek. Wanneer de vragen vereisten dat specifieke details over een lange geschiedenis van 500 verschillende gespreksessies werden gevonden, vond het systeem in 97,60% van de gevallen de juiste informatie. Deze cijfers suggereren dat het systeem erg goed is in het lokaliseren van het ruwe bewijs dat nodig is om een vraag te beantwoorden. De onderzoekers keken echter zorgvuldig verder dan alleen het vinden van de juiste pagina in een boek. Ze controleerden of het systeem alle noodzakelijke stukken bewijs vond. In één specifieke test met betrekking tot een enkel lang gesprek, vond het systeem elke keer het juiste antwoord, maar miste het veel van de ondersteunende details die nodig waren om dat antwoord volledig te verklaren. Dit onthulde een kloof: het systeem kon het kernfeit (de kop) vinden, maar slaagde er soms niet in om het volledige verhaal achter dat feit te verzamelen.

Het team testte het systeem vervolgens op een nieuwe set van vijf verschillende gesprekken die het nog nooit eerder had gezien, om te zien of het zijn vaardigheden kon generaliseren. Deze test was veel moeilijker. Het systeem vond het juiste antwoord in slechts ongeveer 79% van de gevallen en miste een aanzienlijk deel van de ondersteunende details. Dit resultaat was een duidelijk signaal dat het vermogen van het systeem om informatie te vinden niet perfect is en sterk afhangt van het specifieke type gesprek dat het leest. In een directe vergelijking met een ander populair geheugensysteem genaamd Mem0, vroegen de onderzoekers beide systemen om 91 specifieke vragen te beantwoorden. Het andere systeem gaf in 64,84% van de gevallen het juiste antwoord, terwijl ECHO het in 41,76% van de gevallen goed had. Dit verschil was statistisch significant en toonde aan dat hoewel ECHO uitstekend is in het organiseren en ophalen van ruw bewijs, het momenteel minder effectief is in het omzetten van dat bewijs naar een correct eindantwoord dan het andere systeem.

De belangrijkste bevinding van dit werk is niet dat het systeem perfect is, maar dat het transparant is. De onderzoekers hebben ECHO zo ontworpen dat elke stap van zijn denken geaudit kan worden. Als het systeem een fout maakt, of als het besluit dat het niet genoeg informatie heeft om een antwoord te geven, kan het precies laten zien waarom. Het kan wijzen naar de specifieke gespreksbeurten waarnaar het heeft gekeken, de regels die het gebruikte om te bepalen welke informatie actueel is, en het bewijs dat het heeft verzameld. Dit niveau van helderheid is zeldzaam in kunstmatige intelligentie, waar systemen vaak "black boxes" zijn die antwoorden geven zonder hun werk te tonen. De studie bewijst dat het mogelijk is om een geheugensysteem te bouwen dat een gedetailleerd, onveranderlijk verslag van het verleden bijhoudt en de handeling van het zoeken naar informatie duidelijk scheidt van het beslissen wat waar is. Hoewel het systeem nog verbetering nodig heeft om de nauwkeurigheid van andere tools te evenaren bij het geven van definitieve antwoorden, biedt het een nieuwe, betrouwbare manier om te zien hoe een agent zich het verleden herinnert en erover redeneert. De onderzoekers concluderen dat de waarde van dit werk ligt in het zichtbaar en controleerbaar maken van het gehele proces, in plaats van alleen maar het najagen van een hoge score op een test.

Technische Samenvatting: ECHO – Een Cognitief Geïnspireerd, Auditeerbaar Geheugenvlak voor Long-Horizon Agents

1. Probleemformulering

Long-horizon agents vereisen geheugensystemen die verder gaan dan eenvoudige vectorindexering. Een robuust geheugenvlak moet niet alleen relevante ervaringen uit het verleden kunnen ophalen, maar ook temporele revisies moet kunnen oplossen, de herkomst (provenance) van informatie moet waarborgen en onderscheid moet maken tussen een opgeslagen verleden en een geldige huidige staat. Bestaande benchmarks (bijv. LoCoMo, LongMemEval, BEAM) confunderen vaak succesvolle retrieval met de correctheid van het antwoord, waardoor fouten in kandidaat-ontdekking, temporele resolutie, bewijspakketvorming of antwoordrealisatie worden gemaskeerd. Bovendien onthullen standaardmetrieken zoals Hit@k niet of de volledige geannoteerde bewijslast die nodig is voor een beslissing daadwerkelijk is teruggevonden.

De kernuitdaging die wordt aangepakt, is het gebrek aan een auditeerbare geheugeninfrastructuur die expliciet de volgende zaken scheidt:

Duurzame ervaringsoverdracht (immutabele gebeurtenissen).
Staatsevolutie (gestructureerde revisies).
Contextgevoelige ontdekking (retrieval).
Gecontroleerde realisatie (antwoordgeneratie).

2. Methodologie: De ECHO-architectuur

ECHO (Embodied Context & History Orchestration) is een geheugenarchitectuur geïnspireerd door functionele cognitieve principes (episodische codering, consolidatie, reconsolidatie, contextueel geheugen en executieve controle), maar geïmplementeerd als expliciete engineering-verplichtingen in plaats van neurale equivalentie.

A. Kerncomponenten

Immutable Event Stream: Het systeem neemt een append-only stroom van gebeurtenissen ( $E$ ) op zich, waarbij de bronidentiteit, volgorde en tijdstempels worden bewaard.
Bitemporaal Grootboek (Bitemporal Ledger): Een centraal autoriteitscomponent beheert staatrecords ( $s$ $s$ ) met behulp van twee tijdsassen:
- Geldige Tijd ( $\tau_v$ ): Wanneer een propositie waar is in de gemodelleerde wereld.
- Transactietijd ( $\tau_t$ ): Wanneer het systeem de informatie vastlegt.
- Het grootboek ondersteunt revisies (overschrijven, intrekken) zonder historische sporen te overschrijven, waardoor "actualiteit" wordt bepa eigenlijk door temporele logica, niet door semantische gelijkenis.
Projectie & Reconsolidatie: Ruwe gebeurtenissen worden geprojecteerd naar getypeerde proposities. Revisies worden toegevoegd (reconsolidatie) in plaats van overschreven, waardoor een volledig auditspoor behouden blijft.
Kandidaat-ontdekking (Candidate Discovery): Een hybride retrieval-pipeline combineert lexicale matching (BM25), semantische retrieval en getypeerde staat-routing. Cruciaal is dat semantische gelijkenis slechts kandidaten voorstelt; het bepaalt niet de feitelijke autoriteit.
Provenance Closure: Een "packer" construeert atomaire bewijssets die vereist zijn om een resultaat te verifiëren (bijv. beide eindpunten voor temporele aritmetica). Het waarborgt dat conclusies nooit worden gepresenteerd zonder hun ondersteunende afhankelijkheden, onderhevig aan token-budgetten.
Executive Gating: Een strikte grens scheidt interne afleiding van het zichtbare antwoord. Het systeem onthoudt zich van een antwoord (geeft INSUFFICIENT_EVIDENCE terug) als bewijs ontbreekt of conflicten onopgelost zijn, in plaats van te gokken op basis van gelijkenis.

B. Evaluatieprotocol

De studie maakt gebruik van een rigoureus, in fasen gescheiden evaluatieprotocol:

Frozen Descriptive Runs: Retrieval-metrieken op LoCoMo en LongMemEval-S.
Development Pilots: BEAM one-history pilot.
Preregistered Gates: Een vijf-historie BEAM generalisatietest.
Matched QA Comparison: Een side-by-side vergelijking met Mem0 OSS op een vaste steekproef van 91 vragen met identieke antwoorders en judges.
Leakage Audits: Publieke adapters verwijderen gold answers en referentievelden; een post-hoc audit onthulde echter dat query-expansie regels bronspecifieke zinnen bevatten die tijdens de ontwikkeling zichtbaar waren, waardoor die retrieval-scores werden geclassificeerd als diagnostische ontwikkelingsmetingen in plaats van onafhankelijke bevestigingen.

3. Belangrijkste Bijdragen

Systematische Vertaling van Cognitieve Principes: Het artikel vertaalt episodische sporen, semantische consolidatie en executieve controle naar testbare systeemverplichtingen met een strikte disclaimer tegen neurale equivalentie.
Getypeerde Bitemporale Autoriteit: Specificatie van een grootboekcomponent waar geldige tijd, transactietijd en revisiestatus expliciet zijn, wat garandeert dat semantische gelijkenis de feitelijke actualiteit niet kan overrulen.
Auditeerbare Retrieval-pipeline: Implementatie van een worker-georiënteerde pipeline die retrieval, provenance closure en bounded-context gedrag evalueert bij expliciete systeemgrenzen.
Uitgebreide Empirische Rapportage:
- Descriptieve retrieval-artefacten voor LoCoMo en LongMemEval-S.
- Een beperkte BEAM development pilot.
- Een mislukte preregeregistreerde vijf-historie BEAM gate, die negatief bewijs levert.
- Een protocol-gematchte vergelijking met Mem0 OSS, inclusief gepaarde statistieken en observability-contracten.
Observability-standaarden: Een protocol dat het verbiedt om provenance-metrieken toe te wijzen aan baselines die de bron-lineage niet blootstellen.

4. Resultaten

De resultaten worden gepresenteerd met duidelijke grenzen tussen retrieval-capaciteit versus end-to-end antwoordcorrectheid.

Retrieval Prestaties (Frozen Runs)

LoCoMo (Categorieën 1–4): 96,29% Hit@10, 73,64% Turn Recall@5.
LongMemEval-S: 97,60% Hit@10, 88,84% Turn Recall@5, 88,71% Session Recall@5.
Observatie: Hoge Hit@10 scores kunnen samenbestaan met onvolledige bewijslast (bijv. ontbrekende multi-turn ondersteuning), wat het gat benadrukt tussen het vinden van een relevant verloop en het vinden van alle noodzakelijke bewijslast.

Generalisatiefout (BEAM Gate)

Een preregeregistreerde vijf-historie BEAM gate faalde om drempelwaarden te halen (Doel: Hit@10 ≥85%, Turn Recall ≥50%).
Werkelijke Aggregaat: 78,65% Hit@10, 40,80% Turn Recall.
Implicatie: De perfecte Hit@10 die werd waargenomen in een single-history pilot, generaliseerde niet. De fout werd toegeschreven aan problemen met de dekking van kandidaten en ranking, met name voor event-ordening en samenvatting.

Matched QA Vergelijking (ECHO vs. Mem0 OSS)

Op een vaste steekproef van 91 vragen (8 historics), presteerde Mem0 OSS beter dan ECHO in binaire QA-accuratesse (64,84% vs. 41,76%).
Statistische Significantie: Exacte McNemar test $p = .00107$ .
Nuance: Het geschiedenis-cluster sensitiviteitsinterval kruist nul ( $[-25,5, +25,0]$ ), wat betekent dat het resultaat wijst op een nadeel op deze specifieke steekproef, maar geen superieuriteit op populatieniveau vaststelt.
Observability Limiet: Mem0 legt geen volledige bron-turn lineage bloot, waardoor ECHO-stijl provenance-metrieken (Hit@10, Turn Recall) onwaarneembaar zijn voor de Mem0-arm.

Ablatie-studies

Query Expansion: Het verwijderen van query expansion (die bronspecifieke zinnen bevatte) veroorzaakte een significante daling in prestaties (Hit@10 daalde met 16,67 punten), wat wijst op een afhankelijkheid van deze specifieke regels in plaats van een generiek voordeel.
Concurrency: De throughput van de worker piekte bij 4 workers voor stateful componenten (TopicBucket), maar bleef schalen voor pure C++ reranking (ROSE).

5. Betekenis en Claims

Het artikel positioneert ECHO niet als een systeem dat de long-horizon memory heeft opgelost, maar als een architecturale en methodologische bijdrage aan hoe geheugensystemen gebouwd en geëvalueerd moeten worden.

Auditeerbare Infrastructuur: De primaire waarde ligt in de scheiding van ontdekking (retrieval) en autoriteit (ledger resolution). Dit maakt fouten (verouderde antwoorden, onopgeloste conflicten, ontbrekende ondersteuning) observeerbaar als afzonderlijke categorieën in plaats van enkel "lage relevantie".
Bescheiden Claims: De auteurs stellen expliciet dat de gerapporteerde retrieval-scores "descriptieve ontwikkelingsmetingen" zijn vanwege de contaminatie door query-expansie en het falen van de verse-history gate. Ze beweren niet dat ECHO superieur is aan bestaande systemen in algemene zin; sterker nog, de gematchte QA-resultaten laten zien dat Mem0 OSS momenteel nauwkeuriger is op de geteste steekproef.
Methodologische Rigor: Het artikel pleit voor het rapporteren van micro-niveau bewijsdekking (Turn/Session Recall) naast Hit@k, het scheiden van frozen development van verse generalisatie, en het behandelen van ontbrekende observability in baselines als een protocolbeperking in plaats van een score van nul.

Samenvattend toont ECHO aan dat een cognitief geïnspireerd, bitemporaal geheugenvlak een hoge bewijsdekking en strikte provenance kan bieden, maar het benadrukt ook dat een dergelijke architectuur niet automatisch superieure antwoordaccuratesse garandeert zonder robuuste retrieval-generalisatie en integratie van de antwoordgever. De bijdrage ligt in het maakbaar en testbaar maken van de "geheugenvlak" en het onderscheid maken van de "lezer" die het consumeert.