🤖 AI

MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

Het artikel introduceert MEMAUDIT, een exact pakket-oracel-evaluatieprotocol dat de kwaliteit van het schrijven van lange-termijn LLM-geheugen onder opslagbudgetten isoleert en certificeert door geheugenselectie om te zetten in een eindig, controleerbaar optimalisatieprobleem met exacte oplossers, waardoor representatiekwaliteit wordt ontkoppeld van downstream-herstel- en redeneereffecten.

Oorspronkelijke auteurs: Nishant Bhargava, Rodrigo Sobral Barrento

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nishant Bhargava, Rodrigo Sobral Barrento

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een mysterie op te lossen dat zich over maanden uitstrekt. Je hebt een notitieboekje, maar het is klein. Je kunt niet alles wat je ziet, hoort of doet opschrijven. Je moet beslissen: Wat schrijf ik op, en hoe schrijf ik het? Kopieer ik het hele gesprek? Schrijf ik gewoon "Klant houdt van pizza"? Of schrijf ik "Klant is van mening veranderd naar sushi"?

Als je het verkeerde opschrijft, of het op een manier opschrijft die te veel ruimte inneemt, kun je later de zaak verliezen. Maar als je de zaak verliest, hoe weet je dan waarom? Heb je de aanwijzing vergeten? Heb je de aanwijzing opgeschreven, maar in een code die niemand kon lezen? Of heb je de juiste aanwijzing opgeschreven, maar begreep de detective die het notitieboekje later leest het gewoon niet?

Dit artikel introduceert een nieuwe manier om geheugensystemen te testen, genaamd MEMAUDIT. Het is als een strenge, eerlijke scheidsrechter die alleen kijkt naar het deel waar je de notities schrijft, en alles wat later gebeurt negeert.

Het probleem: de "Black Box" van het geheugen

Meestal, wanneer we het geheugen van AI testen, stellen we de AI aan het einde een vraag en kijken we of het het juiste antwoord geeft. Het probleem is dat dit een "black box" is. Als de AI het antwoord verkeerd heeft, weten we niet of het komt door:

Het heeft het juiste geheugen niet opgeslagen.
Het heeft het geheugen opgeslagen, maar in een formaat dat te groot of te rommelig was.
Het heeft het geheugen opgeslagen, maar de "zoekmachine" kon het niet vinden.
Het heeft het geheugen gevonden, maar het "denkende brein" negeerde het.

Het artikel betoogt dat we moeten stoppen met gokken en moeten beginnen met het meten van de schrijffase specifiek.

De oplossing: het "MEMAUDIT-pakket"

De auteurs hebben een gecontroleerd experiment gecreëerd, een MEMAUDIT-pakket. Denk hierbij aan een simulatiespel met vaste regels:

Het verhaal (Ervaringsstroom): Je krijgt een specifiek, bevroren verhaal van gebeurtenissen (bijvoorbeeld: "Gebruiker zei dat hij vegetarisch voedsel lekker vindt, en zei later dat hij nu pescatarisch is").
De opties (Kandidaat-herinneringen): Voor elke gebeurtenis krijg je een lijst met mogelijke manieren om het op te schrijven:
- Raw Span: Kopieer de hele zin (Duur, neemt veel ruimte in).
- Feit: Gewoon "Houdt van vegetarisch" (Goedkoop, maar kan verouderd zijn).
- Update: "Veranderd naar pescatarisch" (Gemiddelde kosten, zeer nuttig).
- Tombstone: "Oud vegetarisch feit is nu ongeldig" (Cruciaal om fouten te voorkomen).
Het budget: Je hebt een strikte limiet op hoeveel ruimte je kunt gebruiken (zoals een kleine rugzak).
Het doel: Je moet de beste combinatie van notities kiezen die in de rugzak past, zodat als iemand later een vraag stelt, het antwoord wordt ondersteund door wat je hebt opgeschreven.

De "Orakel" en de score

Het artikel gebruikt een superintelligente computer (een "Orakel") om deze puzzel perfect op te lossen. Het berekent de absolute beste mogelijke score die je zou kunnen behalen met dat specifieke rugzakje en die specifieke verhaalgebeurtenissen.

Vervolgens test het verschillende AI-geheugensystemen om te zien hoe dicht ze bij die perfecte score komen.

De score: Als de perfecte score 100 is en een AI haalt 80, weten we precies hoeveel "semantische waarde" (bruikbare waarheid) het heeft behouden.
De magie: Omdat de regels bevroren zijn, weten we als een AI een lage score haalt, met zekerheid dat het gefaald heeft bij het schrijven, niet bij het zoeken of denken.

Belangrijkste bevindingen (De "Aha!"-momenten)

Het artikel testte dit op verschillende soorten geheugensystemen en vond enkele interessante dingen:

De "dichtheidsval": Sommige systemen proberen efficiënt te zijn door het "goedkoopste" notitie per woord te kiezen. Het artikel toont aan dat dit een valstrik is. Een systeem kan een goedkoop notitie kiezen dat het belangrijkste detail mist (zoals het feit dat een gebruiker van mening is veranderd), wat leidt tot een lage score.
Het belang van de "Tombstone": In verhalen waar feiten veranderen (zoals het voorbeeld van vegetarisch naar pescatarisch), zijn de beste geheugensystemen diegene die schrijven "Dit oude feit is dood" (een tombstone). Systemen die alleen "feiten" opschrijven en vergeten oude als ongeldig te markeren, zakken door de test.
Real-world systemen: Ze testten echte geheugentools (zoals Mem0, Letta en A-Mem).
- Sommige systemen waren geweldig in het vinden van goede informatie om op te schrijven (hoge "extractie"-score), maar slecht in het kiezen wat bewaard moest worden als de rugzak vol raakte (lage "selectie"-score).
- Anderen schreven notities die te lang en rommelig waren, zodat ze de belangrijkste feiten niet in het kleine budget pasten.

Waarom dit belangrijk is

Denk aan MEMAUDIT als een kwaliteitscontrole-inspecteur voor een fabriek.

Vroeger keken we alleen of de eindauto (het antwoord) goed reed.
Nu opent MEMAUDIT de motorkap en controleert de motorassemblagelijn (het geheugenschrijven).

Het vertelt ingenieurs: "Jouw motor is prima, maar je werknemers leggen de verkeerde onderdelen in de doos," of "Jouw werknemers kiezen geweldige onderdelen, maar ze verpakken ze te los."

Door het "schrijf"-probleem te scheiden van de "zoek-" en "denk"-problemen, helpt dit protocol ontwikkelaars het exacte deel van hun AI dat kapot is te repareren, in plaats van alleen maar te gokken. Het verandert een vaag "de AI is slecht in geheugen" in een specifiek "de AI is slecht in het beslissen welke herinneringen bewaard moeten worden binnen een budget".

Technische Samenvatting van MEMAUDIT

Probleemstelling
Lange-termijn LLM-agenten staan voor de uitdaging om stromen van eerdere interacties te comprimeren tot persistente geheugens voordat toekomstige queries bekend zijn. Bestaande evaluatieprotocollen meten doorgaans de nauwkeurigheid van het beantwoorden van vragen (QA) op het eind. De auteurs betogen dat deze aanpak gebrekkig is omdat hij drie verschillende faalmodi verstrengelt: het schrijven van geheugen (selectie en representatie), ophalen, en redeneren door de lezer. Een systeem kan falen omdat het het verkeerde geheugen heeft opgeslagen, omdat de ophaalmodule een goed geheugen heeft gemist, of omdat de lezer het bewijs heeft genegeerd; alleen de uiteindelijke QA-nauwkeurigheid kan niet isoleren welke laag faalde. Bovendien slaan ingevoerde systemen items vaak op in vormen die te duur zijn voor het doelbudget, of slagen ze er niet in om de optimale representatie (bijvoorbeeld ruwe span versus geëxtraheerd feit versus 'tombstone') te selecteren uit een reeks kandidaten.

Methodologie: Het MEMAUDIT-protocol
Het artikel introduceert MEMAUDIT, een exact pakket-orakel-evaluatieprotocol dat is ontworpen om de laag voor het schrijven van geheugen geïsoleerd te evalueren. De kern-eenheid van evaluatie is het MEMAUDIT-pakket, dat het probleem van geheugenselectie omzet in een eindig, controleerbaar optimalisatieprobleem met een gecertificeerde noemer.

Definitie van Pakket: Een pakket $P$ wordt gedefinieerd door een vaste stroom van ervaringen, een set kandidaat-geheugenrepresentaties (bijvoorbeeld ruwe tekst, feiten, samenvattingen, 'tombstones'), opslagkosten, semantische bewiseenheden, eisen voor toekomstige queries, en een opslagbudget $B$ .
Haalbaarheidsbeperkingen: De haalbare geheugenset $X$ $X$ moet voldoen aan twee beperkingen:
1. Rugzakbeperking: De totale kosten $\sum c_u \le B$ .
2. Partitie-Matroïde-beperking: Er wordt maximaal één representatie gekozen per ervaring ( $|X \cap G_i| \le 1$ ), wat een keuze van representatie afdwingt in plaats van het behouden van alle varianten.
Doelfunctie: De bruikbaarheid van een opslag wordt gedefinieerd door een concave-over-modulaire semantische dekking-doelfunctie:
$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$
Waarbij $R$ bewiseenheden zijn, $w_r$ belangrijkheidsweights zijn, $a_{ur}$ de dekking van eenheid $r$ door geheugen $u$ is, en $h_r$ een concave, niet-dalende functie is (standaard $\min(1, z)$ ). Deze structuur zorgt voor afnemende meeropbrengst voor dubbele dekking van dezelfde bewiseenheid.
Exacte Optimalisatie: Het protocol berekent de exacte pakketoptimum ( $OPT_P(B)$ ) met behulp van branch-and-bound-oplossers en certificeert resultaten met Mixed-Integer Linear Programming (MILP). Dit biedt een grond-waarheid noemer waartegen elke schrijver kan worden gescoord.
Unie-noemer voor Externe Systemen: Om real-world systemen (zoals Mem0, Letta, A-Mem) te evalueren die mogelijk geheugens genereren buiten de vooraf gedefinieerde kandidaatset, maakt het protocol gebruik van een unie-pakket. Geëxporteerde geheugens worden toegevoegd als eersteklas kandidaten met beoordeelde dekkingrijen. De score is de verhouding van de door het systeem behaalde bruikbaarheid tot de optimale bruikbaarheid die haalbaar is door elke deelset van de unie (originele kandidaten + systeemexporten). Dit onderscheidt tussen extractiekwaliteit (hoeveel bruikbare inhoud werd gevonden) en selectiekwaliteit (hoe goed het werd gekozen binnen het budget).

Belangrijkste Bijdragen

Definitie van een Eindig Pakket-orakel: Het artikel definieert een rigoureus kader voor budgettair geheugenschrijven met een reproduceerbare, gecertificeerde noemer, waardoor de kwaliteit op het moment van schrijven wordt gescheiden van downstream ophalen en redeneren.
Semantische Dekkingsstructuur: Het instantieert een bekende concave-over-modulaire submodulaire dekkingstructuur om semantische geheugenbehoud te modelleren, en behandelt expliciet validiteitsstatussen (bijvoorbeeld 'tombstones' voor het ongeldig maken van oude feiten) als positieve bewiseenheden in plaats van negatieve straffen.
Exacte Oplossers en Baselines: De auteurs leveren exacte pakketoptima via branch-and-bound en MILP-certificering. Ze introduceren een Group Value-Threshold (GVT) referentiebaseline die exacte marginaalwaarden gebruikt om het systeem te kalibreren, en tonen aan dat heuristieken die alleen op dichtheid zijn gebaseerd willekeurig slecht kunnen zijn.
De MEMAUDIT-suite: Een release van datasets en tools, waaronder:
- Gereguleerde Exacte Pakketten: Synthetische omgevingen (MEMAUDIT-Small) met verborgen gebeurtenisgrafieken om keuzes van representatie te testen.
- Validiteits-zware Stress-tests: Scenario's die specifiek zijn ontworpen om het behoud van huidige waarheid versus verouderde feiten te testen (bijvoorbeeld updateketens, temporele intervallen).
- Natuurlijke en Geëxporteerde Pakketten: Een door mensen geauditeerde "Natural-87" subset, afgeleid van realistische conversatiefragmenten, en geëxporteerde geheugensets van Mem0, A-Mem en Letta die onder hetzelfde protocol zijn geëvalueerd.

Resultaten

Scheiding van Lagen: In gecontroleerde experimenten isoleert MEMAUDIT succesvol de representatiekwaliteit. Een "dichtheid-only" heuristiek (het kiezen van het item met de hoogste waarde-per-kost) faalt bijvoorbeeld systematisch om eenheden met validiteitsstatus ('tombstones') te behouden, en bereikt slechts 26–36% van de exacte OPT op strakke budgetten, terwijl de GVT-baseline dicht bij de optimum blijft.
Belang van Validiteitskandidaten: Het verwijderen van 'tombstone'/composiet-update-kandidaten uit de kandidaatset vermindert de maximaal haalbare bruikbaarheid (OPT) met aanzienlijke marges (bijvoorbeeld dalend tot ~52–81% van de volledige OPT, afhankelijk van het budget), wat bewijst dat bottlenecks in kandidaatgeneratie verschillend zijn van bottlenecks in selectie.
Diagnostiek voor Externe Systemen: Bij toepassing op geëxporteerde opslag:
- Mem0: Toont een hoge "upper-pruned" bovengrens (wat wijst op goede extractie van bruikbaar bewijs) maar een lagere geselecteerde-opslagratio, waardoor budgetbewuste selectie wordt geïdentificeerd als de primaire bottleneck.
- Letta: Bereikt sterke salientie-gepruneerde unieratio's, wat wijst op effectieve selectie van relevante inhoud.
- A-Mem: Behoudt bewijs in rijke notities, maar de gesequencialiseerde grootte overschrijdt vaak strikte budgetten, wat resulteert in een nulscore voor volledige-opslagweergaven tenzij gecomprimeerd.
Stabiliteit: Het protocol is robuust tegen variaties in kostenmodellen (bijvoorbeeld woordtelling versus byte-overhead) en annotatieruis, waarbij door mensen gevalideerde labels de rangschikkingen behouden ten opzichte van door modellen beoordeelde labels.

Betekenis en Claims
Het artikel claimt dat MEMAUDIT een noodzakelijk diagnostisch hulpmiddel biedt voor de laag voor het schrijven van geheugen die end-to-end QA niet kan bieden. Door de kandidaatset, kosten en bewiseenheden te bevriezen, beantwoordt het de specifieke vraag: "Gegeven dit pakket, hoeveel van de pakket-haalbare semantische waarde heeft de schrijver behouden?"

De auteurs benadrukken dat dit een diagnose op het moment van schrijven is, geen vervanging voor end-to-end assistentevaluatie. De betekenis ervan ligt in:

Lokalisatie: Het pinpoint of falen voortkomt uit kandidaatgeneratie, keuze van representatie, of budgetbewuste selectie, in plaats van ze te verwarren met ophaal- of lezerfouten.
Reproduceerbaarheid: Het biedt een deterministische, controleerbare noemer (de exacte OPT) in plaats van te vertrouwen op stochastische downstream QA.
Vergelijkbaarheid: Het stelt heterogene systemen (met verschillende interne representaties) in staat om te worden gescoord op een gedeelde semantische grond-waarheid via de unie-noemer.

Het artikel blijft bescheiden, en merkt op dat Natural-87 een "eerst geauditeerd natuurlijk pakket" is en is opgesneden uit ondersteuning, bedoeld voor diagnostiek en niet als een definitieve full-haystack-benchmark. Het claimt niet het hele probleem van lange-termijn geheugen op te lossen, maar biedt de "exacte pakket-orakel" die nodig is om de componenten voor compressie en selectie rigoureus te evalueren.