When to Forget: A Memory Governance Primitive

Dit artikel introduceert 'Memory Worth', een lichtgewicht, op twee tellers gebaseerde schatter die de kans op succes koppelt aan het ophalen van een herinnering en zo een principieel mechanisme biedt voor het dynamisch beheren, onderdrukken of verwijderen van minder waardevolle agent-herinneringen.

De kern

Stel je voor dat je een agent (een slimme computerprogramma) hebt die een enorme digitale notitieboekje bijhoudt. Elke dag leert hij nieuwe dingen, schrijft hij op wat hij heeft gedaan en wat er gebeurde. Maar er is een groot probleem: hoe weet hij welke notities nog nuttig zijn en welke verouderd of zelfs schadelijk zijn?

Tot nu toe deden agenten dit op twee manieren:

1. Ze keken alleen naar hoe "belangrijk" een notitie leek op het moment dat hij werd geschreven (zoals een sterretje zetten bij een idee).
2. Ze deden het helemaal niet en hielden alles voor altijd vast, zelfs als het fout bleek te zijn.

Dit nieuwe papier, getiteld "When to Forget" (Wanneer te Vergeten), introduceert een slimme nieuwe manier om dit te regelen. Ze noemen het Memory Worth (of "Herinneringswaarde").

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verouderde Reisgids"

Stel je voor dat je een oude reisgids hebt. In 1990 stond erin dat een bepaald restaurant de beste pizza van de stad was. Je hebt die gids altijd bij je.

• Huidige systemen: Ze zeggen: "Deze gids is belangrijk, want hij is oud en we hebben er veel naar gekeken." Ze vergeten niet te kijken of de pizza er nu nog goed is.
• Het nieuwe idee: We moeten kijken naar de uitkomst. Als je naar dat restaurant gaat en de pizza is altijd slecht, dan moet die notitie in de gids worden verwijderd of gemarkeerd als "niet te vertrouwen".

2. De Oplossing: Twee Teltabelletjes (Memory Worth)

De auteurs bedenken een heel simpel systeem. Voor elke notitie in het geheugen houden ze twee simpele getallen bij:

1. Hoe vaak leidde deze notitie tot succes? (Bijvoorbeeld: "Ik gebruikte deze tip en het werk lukte.")
2. Hoe vaak leidde deze notitie tot mislukking? (Bijvoorbeeld: "Ik gebruikte deze tip en het ging fout.")

De Memory Worth is simpelweg het percentage:

(Aantal successen) / (Aantal successen + Aantal mislukkingen)

• Hoog percentage (bijv. 0.9): Deze notitie is een goudmijn! Gebruik hem vaak.
• Laag percentage (bijv. 0.1): Deze notitie is een last. Verwijder hem of gebruik hem niet meer.
• Midden (bijv. 0.5): We weten het nog niet genoeg. Wacht tot we meer ervaring hebben.

3. De Grootte van de Teltabelletjes (Waarom twee getallen nodig zijn)

Het is niet genoeg om alleen naar het percentage te kijken. Stel je voor:

• Notitie A: 80 keer succes, 20 keer mislukking (Totaal 100 keer). -> Betrouwbaar.
• Notitie B: 8 keer succes, 2 keer mislukking (Totaal 10 keer). -> Nog onzeker.

Beide hebben een percentage van 80%. Maar Notitie A is veel betrouwbaarder omdat er meer ervaring achter zit. Het systeem houdt dus ook bij hoe vaak de notitie überhaupt is gebruikt, zodat het geen onzere dingen doet op basis van weinig data.

4. De Valkuilen (Waarom het niet altijd perfect werkt)

De auteurs zijn eerlijk: dit systeem is slim, maar niet magisch. Ze noemen drie situaties waarin het kan misleiden:

• De "Slechte Buurman" (Co-retrieval):
  Stel, je leest altijd twee notities tegelijk: "Hoe maak je een goede taart" (goed) en "Hoe gebruik je een hamer" (niet nodig voor taart). Als je taart lukt, denkt het systeem dat beide notities goed waren. De hamer-notitie "rijdt mee" op de succes van de taartnotitie.

  • Oplossing: Het systeem moet soms ook notities alleen testen, zonder hun "vriendjes", om te zien wie echt goed is.

• De "Moeilijke Taak" (Task Difficulty):
  Stel, je hebt een notitie die alleen gebruikt wordt bij super moeilijke puzzels. Omdat die puzzels bijna nooit lukken, denkt het systeem: "Deze notitie is slecht!" Terwijl de notitie misschien juist heel slim was, maar de taak gewoon te zwaar was.

  • Oplossing: Het systeem moet leren om te kijken in welke situatie de notitie werd gebruikt.

• De "Vaste Route" (Feedback Loop):
  Als het systeem alleen nog maar naar de "beste" notities kijkt, krijgt het nooit nieuwe ervaringen met de andere notities. Het kan vastlopen in een bubbel.

  • Oplossing: Het systeem moet soms bewust ook "slechte" notities proberen, gewoon om te leren of ze misschien toch nog nuttig zijn.

5. Het Experiment: De "Oude Tsjechoslowakije" Test

In het papier hebben ze dit getest met een computerprogramma dat tekstjes onthoudt.

• De situatie: Er was een notitie over "Tsjechoslowakije" (een land dat in 1993 opging in twee nieuwe landen).
• De test: Eerst was de notitie correct. Later veranderde de wereld, en werd de notitie fout.
• Het resultaat: Het systeem zag dat elke keer als die notitie werd gebruikt, het antwoord fout was. De "Memory Worth" van die notitie zakte snel van 0.9 naar 0.1. Het systeem besloot: "Deze notitie is verouderd, weggooien!"
• De "Hitchhiker": Er was ook een notitie die niets deed, maar altijd samen met een goede notitie werd opgehaald. Die kreeg ook een hoge score, wat laat zien dat het systeem soms nog even moet leren om onderscheid te maken tussen "vriendjes" en "echte helden".

Conclusie: Waarom is dit belangrijk?

Dit papier biedt een fundamentele bouwsteen voor slimme AI's. Het geeft hen een manier om niet alleen te leren, maar ook te vergeten op een slimme manier.

In plaats van dat we als mensen moeten zeggen: "Hey, vergeet die oude regel," kan de AI zelf zeggen: "Ik heb deze regel 100 keer gebruikt en 90 keer faalde het. Ik ga hem vergeten."

Het is als een kwaliteitscontroleur in je hoofd die constant kijkt: "Werkt dit idee nog steeds? Of is het tijd om een nieuwe te proberen?" Dit helpt AI-systemen om slimmer, sneller en betrouwbaarder te worden naarmate ze meer ervaring opdoen.

Technische samenvatting

Titel: When to Forget: A Memory Governance Primitive

Auteur: Baris Simsek
Datum: April 2026

---

1. Het Probleem

Agenten met geheugensystemen accumuleren ervaring, maar missen momenteel een principiële operationele metric voor het beheer van de kwaliteit van dit geheugen. Bestaande systemen vertrouwen vaak op:

• Staticiteit: Belangrijke scores worden bij het schrijven van de herinnering (write-time) toegewezen en worden nooit bijgewerkt op basis van latere uitkomsten.
• Gebrek aan feedback: Resultaten van taken (succes of falen) worden niet gebruikt om de betrouwbaarheid van individuele herinneringen te evalueren. Een herinnering die consistent samenvalt met mislukkingen wordt nog steeds als betrouwbaar behandeld, terwijl een succesvolle herinnering geen extra krediet krijgt.
• Geen causaliteit: Er is geen methode om te bepalen welke herinneringen verouderd (stale) zijn, welke onderdrukt moeten worden, of welke gepromoveerd moeten worden naarmate de taakverdeling van de agent verschuift.

Het paper stelt dat er een "governance primitive" nodig is: een online signaal per herinnering dat bewijs verzamelt over de associatie tussen het ophalen van een herinnering en het succes van de taak.

2. Methodologie: Memory Worth (MW)

De auteur introduceert Memory Worth (MW), een lichtgewicht statistiek die per herinnering wordt bijgehouden.

• Definitie: MW is een ratio van twee tellers per herinnering $m$ na $T$ episodes:
  $$MWT(m) = \frac{hits^+_T(m)}{hits^+_T(m) + hits^-_T(m)}$$
  Waarbij:

  • $hits^+$ het gewogen aantal keren is dat de herinnering werd opgehaald en de taak succesvol was ($y_t = +1$).
  • $hits^-$ het gewogen aantal keren is dat de herinnering werd opgehaald en de taak faalde ($y_t = -1$).
  • $w_t(m)$ is een ophaalgewicht (kan uniform, score-gebaseerd of oracle zijn).

• Dual-Count Representatie: In plaats van alleen de ratio te gebruiken, behoudt het systeem de twee afzonderlijke tellers. Dit maakt onderscheid mogelijk tussen:

  • Onzeker: Weinig bewijs (lage totale teller), maar een hoge ratio.
  • Gemengde uitkomsten: Veel bewijs, maar een ratio rond 0.5.
  • Laag/Niet-waarde: Veel bewijs en een lage ratio.
  • Hoog-waarde: Veel bewijs en een hoge ratio.

• Theoretische Grondslag:

  • Het paper bewijst dat MW bijna zeker convergeert (almost surely) naar de conditionele succeskans $p^+(m) = Pr[y_t = +1 | m \in M_t]$ onder specifieke aannames (stationariteit, exploratie, en conditionele onafhankelijkheid van ophalen en uitkomst).
  • Belangrijke nuance: MW meet associatie, niet causaliteit. Het meet hoe vaak een herinnering samenvalt met succes, niet noodzakelijk of de herinnering de oorzaak van het succes was.

3. Belangrijkste Bijdragen

1. Governance Primitive: Definieert MW als een operationeel signaal dat staleness-detectie, onderdrukking van ophalen en depreciatie mogelijk maakt zonder architecturale wijzigingen of causale attributie.
2. Theoretisch Bewijs: Bewijst de convergentie van MW naar de conditionele succeskans via een martingale-argument.
3. Analyse van Falingsmodi: Kwantificeert drie specifieke scenario's waarin MW faalt of vertekend is door aannames te schenden:
   • Verwarring door taakmoeilijkheid (task-difficulty confounding).
   • Feedback-loops in ophaalbeleid.
   • Verwarring door gezamenlijk ophalen (co-retrieval confounding).
4. Empirische Validatie: Test MW in synthetische omgevingen en een realistische micro-experiment met neurale embedding-retrieval (all-MiniLM-L6-v2).

4. Resultaten

Experiment 1: Convergentie in een gecontroleerde omgeving

• In een synthetische omgeving met bekende grond-waarheid (ground-truth) utility, convergeert MW sterk.
• Na 10.000 episodes bereikt de Spearman-rangcorrelatie ($\rho$) tussen MW en de ware utility 0.89 ± 0.02.
• Systemen die geen updates gebruiken (geen MW) blijven steken bij $\rho = 0.00$.
• Verschillende wegingstrategieën (uniform, score-proportioneel, oracle) convergeren naar dezelfde waarde in de stationaire limiet.

Experiment 2: Verwarring door taakmoeilijkheid (A3 schending)

• Als specialistische herinneringen alleen worden opgehaald bij moeilijke taken (die vaak falen), wordt hun MW onterecht laag.
• Globale MW toont een negatieve correlatie ($\rho \approx -0.33$) met ware utility.
• Oplossing: Conditionering op het type taak (alleen kijken naar moeilijke taken) herstelt de correlatie gedeeltelijk ($\rho \approx +0.14$), maar volledige herstel vereist verdere normalisatie.

Experiment 3: Feedback-loop in ophaalbeleid

• Als het ophaalbeleid gebaseerd is op de huidige MW-scores (softmax), ontstaat er een feedback-loop.
• Resultaat: Het systeem spiraalt niet naar een degeneratie. Het is zelfcorrigerend; herinneringen die vaak worden opgehaald maar falen, krijgen een lagere score en worden minder vaak opgehaald.

Experiment 4: Verwarring door gezamenlijk ophalen (Co-retrieval)

• Een "hitchhiker" (onbruikbare herinnering) die altijd samen wordt opgehaald met een "anchor" (zeer bruikbare herinnering), accumuleert onterecht hoge scores.
• Zonder onafhankelijke ophaalgebeurtenissen zijn ze niet te onderscheiden.
• Resultaat: Er is ongeveer 30% diversiteit nodig (episodes waarbij alleen de anchor wordt opgehaald) om de twee herinneringen te kunnen scheiden.

Experiment 5: Realistische Tekst-gebaseerde Agent

• Gebruik van echte tekst en embedding-retrieval (all-MiniLM-L6-v2) over 3.000 episodes.
• Verouderde herinnering (Stale): Begint hoog (0.97), daalt scherp na een taakverschuiving, en eindigt bij 0.17 (onder de drempel voor depreciatie).
• Specialist: Stabiliseert bij 0.77.
• Hitchhiker: Wordt ook hoog beoordeeld (0.77) door semantische verwarring met de specialist, wat de theorie uit Experiment 4 bevestigt.

5. Betekenis en Conclusie

Dit paper introduceert een fundamentele bouwsteen voor het beheer van agent-geheugens.

• Praktische toepasbaarheid: MW vereist slechts twee scalair tellers per herinnering en kan worden toegevoegd aan systemen die al logs bijhouden van ophalingen en uitkomsten.
• Beperkingen: MW is een associatieve metric, geen causale. Het kan niet onderscheiden of een herinnering de oorzaak is van succes of slechts een "meevaller" is.
• Toekomstige richtingen: De auteurs pleiten voor systemen die rekening houden met context (taak-conditionering), diversiteit in ophalen (om co-retrieval confounding te voorkomen), en onzekerheidsbewustzijn (bijv. via Bayesiaanse benaderingen) bij weinig data.

Kortom, Memory Worth biedt een wiskundig onderbouwde, operationele methode om te bepalen "wanneer te vergeten", waardoor agenten hun geheugen dynamisch kunnen optimaliseren op basis van daadwerkelijke prestatie-uitkomsten in plaats van statische heuristieken.