Technische Samenvatting: TEPA - Het intrekken van verouderde herinneringen voor conflictbestendige taalagenten

1. Probleemformulering: Geheugenvervuiling (Memory Pollution)

Het artikel identificeert een kritieke foutmodus in langetermijn-taalagenten, getypeerd als geheugenvervuiling. Hoewel persistent geheugen agenten in staat stelt feiten, voorkeuren en taakervaringen te hergebruiken, introduceert het een falsifieerbaarheidsprobleem: wanneer de omgeving of gebruikersvoorkeuren veranderen, kunnen verouderde herinneringen aanwezig blijven en de prompt domineren, wat leidt tot onjuiste acties.

In tegen tegenstelling tot algemene conceptdrift, is dit probleem specifiek voor taalagenten waarbij "verouderde objecten" tekstueel bewijs zijn dat direct in de prompt wordt ingevoegd. De auteurs definiëren stale-conflict consolidatie als het scenario waarin latere observaties eerdere waarden onder dezelfde sleutel vervangen (bijv. een gebruiker die een voorkeur wijzigt of een tool-regime dat verschuift). De kernuitdaging is bepalen of persistent geheugen nuttig blijft wanneer het eigen bewijs moet worden gefalsifieerd.

Het artikel kwantificeert deze fout met behulp van een Memory Pollution Index (MPI). Als de succesrate ($S_{m,\phi}$) van een methode tijdens een omkeerfase onder de succesrate van een agent zonder geheugen ($S_{NoMem,\phi}$) valt, wordt het geheugen als vervuilend beschouwd ($MPI > 0$). De auteurs hypothetiseren dat een append-only geheugen, dat alle bewijslast actief houdt, slechter kan zijn dan helemaal geen geheugen wanneer verouderd bewijs samen met huidige feiten wordt opgehaald.

2. Methodologie: TEPA (Revocable Evidence-Memory)

De auteurs stellen TEPA voor, een mechanisme dat de geldigheid van geheugen behandelt als een expliciete staat in plaats van een statische opslagplaats.

Kernmechanisme

TEPA representeert observaties als keyed precedents ($p = (k, v, s, f, \sigma, \tau)$), waarbij:

• $k$: Conflict sleutel (bijv. een voorkeursslot of tool-regime).
• $v$: Geëxternaliseerde waarde.
• $s, f$: Support en conflict tellingen.
• $\sigma$: Levenscyclus staat (Hypothesis, Active, of Revoked).
• $\tau$: Creatietijd.

Levenscyclus Transities

1. Conflict Detectie: Wanneer nieuw bewijs $(k_t, v_t)$ arriveert, controleert TEPA op actieve precedents die dezelfde sleutel $k_t$ delen.
2. State Updates:
   • Als de waarde overeenkomt, neemt de support telling ($s$) toe.
   • Als de waarde conflicteert, neemt de conflict telling ($f$) toe.
3. Revocation (Intrekking): Een precedent wordt verplaatst van de Active set naar de Revoked archief als:
   • De posterieure gemiddelde geldigheid (geschat via een Beta-Bernoulli model) onder een drempelwaarde $\theta_{rev}$ valt na een minimaal aantal observaties ($n_{min}$).
   • OF, de recente succesrate onder $\theta_{rec}$ valt, gegeven voldoende recente uitkomsten.
4. Promotion (Promotie): Nieuwe kandidaten treden binnen in een Hypothesis staat. Ze worden pas gepromoveerd naar Active als hun posterieure geldigheid $\theta_{pro}$ overstijgt of als ze een trial-validatie doorstaan.

TEPA Varianten

• TEPA-Rev (Default): Gebruikt de levenscyclus staat transities zoals beschreven hierboven.
• TEPA-Full: Voegt een trial-by-execution stap toe vóór promotie. Een kandidaat-precedent wordt getest op support-, contrafeitelijke- en contaminatietaken. Het wordt alleen gepromoveerd als het een meerderheid van de trials doorstaat (bijv. $\ge 60\%$ positief) en slaagt in ten minste één support-trial. Deze variant wordt specifief gebruikt voor voorkeurs-update stromen.

Retrieval (Ophalen)

De retriever heeft alleen toegang tot de Active set ($A_t$). Verouderde precedents ($R_t$) worden uitgesloten van de prompt maar bewaard in een archief voor audit en potentiële her-promotie.

3. Experimentele Opzet

De evaluatie beslaat vier verschillende instellingen om robuustheid tegen verborgen regime-drift en voorkeursveranderingen te testen:

1. Gecontroleerde Verborgen-Regime Drift: Simuleert tool-regime omkeer waarbij de juiste actie verandert.
2. Echte File-Backed Executable Drift: Test het mechanisme met werkelijke file I/O en tool executie.
3. Preference-Update Stream: Simuleert correcties aan langetermijn gebruikersprofielen op basis van verse sessie feedback.
4. MemoryAgentBench: Gebruikt de SH-6k benchmark voor single-hop fact consolidatie, met MH-6k en long-context varianten voor grensafbakening.

Baselines bevatten:

• No Memory: De agent heeft geen toegang tot eerder bewijs.
• Append-Only: Al het bewijs blijft actief.
• Last-Write-Wins (LWW): Alleen de meest recente succesvolle ervaring met dezelfde sleutel wordt behouden.
• Temporal/Reactive Forgetting: Diverse sliding window en failure-gebaseerde clearing mechanismen.
• Oracle Reset: Een diagnostische bovengrens die de fasegrenzen kent.

4. Belangrijkste Resultaten

Geheugenvervuiling in Reversal Phases

In zowel de Controlled als de Executable drift benchmarks, stort append-only en Last-Write-Wins (LWW) geheugensystemen in tijdens volledige reversal fases:

• Append-Only/LWW Success: $\approx 0.210$ (Controlled) en $\approx 0.203$ (Executable).
• No Memory Success: $\approx 0.309$ (Controlled) en $\approx 0.298$ (Executable).
• Resultaat: Append-only geheugen presteerde slechter dan het hebben van geen geheugen, wat de aanwezigheid van geheugenvervuiling bevestigt (MPI $\approx 0.31$).

TEPA Prestaties

TEPA voorkwam deze instorting succesvol door verouderde precedents in te trekken:

• TEPA Success: 0.950 in zowel de Controlled als de Executable reversal fases.
• Vergelijking: TEPA presteerde significant beter dan append-only geheugen (verschil $\approx 0.74$, $p < 0.001$) en kwam qua adaptatiesnelheid na de initiële transitiekosten in de buurt van de performance van een Oracle Reset.

Preference Updates

In preference-update stromen, waar semantische gelijkenis verouderde profielen actief kan houden:

• Append-Only: Stortte in naar een succesrate van $0.138$.
• TEPA-Full: Bereikte een algehele succesrate van 0.910, statistisch niet te onderscheiden van de "No Memory" baseline ($0.837$) in afwezigheid van vervuiling, maar significant beter dan baselines die faalden in het intrekken.
• Inzicht: Validatie (TEPA-Full) en lifecycle revocation spelen complementaire rollen; validatie filtert kandidaten, terwijl revocation actieve maar overtroffen voorkeuren opruimt.

MemoryAgentBench (Single-Hop)

Op de SH-6k benchmark (schone single-hop fact consolidatie):

• TEPA-Rev: 0.890 (substring exact match).
• Last-Write-Wins: 0.890.
• TEPA-NoRev: 0.630.
• Conclusie: Voor single-hop feiten waarbij het nieuwste feit direct wordt geobserveerd, is current-key vervanging (LWW) doorslaggevend. De lifecycle machinerie van TEPA is het meest kritiek in drift en preference settings waar updates geïnformeerd moeten worden uit interactie uitkomsten.

Randvoorwaarden (Boundary Conditions)

De effectiviteit van TEPA neemt af in complexe retrieval scenario's:

• SH-32k: 0.680 succes.
• MH-6k (Multi-hop): 0.040 succes.
• SH-262k (Long Context): 0.000 succes.
• Implicatie: Fact-level revocation lost single-hop conflicten op, maar multi-hop ketenconstructie en long-context selectie blijven onopgeloste architecturale uitdagingen.

5. Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Probleemdefinitie: Het karakteriseert formeel geheugenvervuiling als een validiteit-staat falen waarbij persistent geheugen de prestaties van de agent degradeert tot onder de "no memory" baseline.
2. Mechanisme Voorstel: Het introduceert TEPA, een revocable evidence-memory mechanisme dat expliciet de levenscyclus staat (Hypothesis, Active, Revoked) van precedents bijhoudt, waardoor het mogelijk is om tegenstrijdig bewijs te verwijderen terwijl het bewaard blijft voor audit.
3. Empirische Validatie: Het demonstreert dat revocation (intrekking) een noodzakelijke operatie is voor agenten die opereren in dynamische omgevingen. De resultaten tonen aan dat agenten zonder expliciete revocation actief geschaad kunnen worden door hun eigen geheugen.

Claims van de auteurs over de betekenis

De auteurs concluderen dat persistent geheugen geldigheid naast relevantie moet bijhouden. Een geheugenelement kan relevant en recent zijn, maar nog steeds fout als de waarde is overtroffen. TEPA vestigt lifecycle revocation als een kerngeheugenoperatie, waardoor agenten in staat zijn om evoluerende kennis te falsifiëren, te auditeren en opnieuw te promoveren. Het werk suggereert dat hoewel single-hop fact consolidatie wordt opgelost door key replacement, toekomstig werk zich moet richten op retrieval-keten constructie en context selectie voor multi-hop en long-context scenario's.