Technische Samenvatting: STALE – Kunnen LLM-agenten weten wanneer hun herinneringen niet langer geldig zijn?

Probleemstelling

Van Large Language Model (LLM)-agenten wordt in toenemende mate verwacht dat ze coherent, langetermijn gepersonaliseerd geheugen onderhouden. Echter, huidige benchmarks evalueren voornamelijk statische feitenretrieval en negeren de kritieke capaciteit om opgeslagen overtuigingen te herzien wanneer nieuwe bewijzen ontstaan zonder expliciete ontkenning. De auteurs identificeren een specifieke, onderbelichte faalmodus genaamd Impliciet Conflict: een scenario waarin een latere observatie een eerdere herinnering ongeldig maakt, niet door directe contradictie, maar door contextuele inferentie en gezond verstand.

Impliciete conflicten manifesteren zich in twee vormen:

1. Type I (Co-referentieel): Twee observaties updaten hetzelfde onderliggende attribuut met incompatibele waarden, toch ontkent de nieuwe observatie de oude niet expliciet (bijvoorbeeld: het vermelden van een nieuwe huur in Portland maakt impliciet een eerdere overtuiging dat men in Seattle woont, ongeldig).
2. Type II (Gepropageerd): Een nieuwe observatie update een ander attribuut, en de gevolgen van deze verandering cascadeeren door logische afhankelijkheden om een oudere overtuiging over een verschillend attribuut ongeldig te maken (bijvoorbeeld: een beenblessure maakt impliciet een eerdere herinnering aan een dagelijkse fietscommute ongeldig).

Bestaande Retrieval-Augmented Generation (RAG)-paradigma's falen hier vaak omdat ze semantische gelijkenis prioriteren boven temporele statenoplossing, waardoor verouderde herinneringen worden opgehaald zelfs wanneer latere bewijzen ze ongepast maken.

Methodologie

De STALE-benchmark

Om deze capaciteit rigoureus te evalueren, introduceren de auteurs STALE (State Tracking And Latent Evaluation), een benchmark bestaande uit 400 door experts gevalideerde conflictsituaties.

• Schaal en Omvang: De dataset beslaat meer dan 100 alledaagse onderwerpen met contexten tot 150K tokens, opgebouwd door doelconflictparen in te bedden in lange "hooibergen" van afleidende sessies.
• Generatiepijplijn: Een geautomatiseerde pijplijn genereert basisstaten ($m_o$) en adversarische conflictobservaties ($m_n$) die voldoen aan formele axioma's van overtuigingsincompatibiliteit en niet-expliciete ongeldigmaking. Menselijke experts valideren de plausibiliteit en het impliciete karakter van de conflicten.
• Driedimensionaal Onderzoekskader: Evaluatie vindt plaats over drie complementaire dimensies om specifieke faalmodi te isoleren:
  1. Statenoplossing (SR): Expliciete probing om te testen of het model herkent dat een eerdere overtuiging verouderd is.
  2. Premisseweerstand (PR): Adversarische probing waarbij de query ten onrechte de verouderde staat als vooronderstelling stelt; het model moet de valse premissen verwerpen.
  3. Impliciete Beleidsaanpassing (IPA): Impliciete probing waarbij het model proactief de bijgewerkte staat moet toepassen in downstream-gedrag zonder een expliciete conflictcue.

Experimentele Opstelling

De auteurs evalueerden een diverse set systemen, waaronder geavanceerde gesloten-bron LLM's (bijvoorbeeld GPT-5.4, Gemini-3.1-pro), open-source modellen (bijvoorbeeld Llama-3.3, Qwen3.5) en gespecialiseerde geheugenframeworks (bijvoorbeeld Mem0, Zep, LightMem). Daarnaast stelden ze CUPMEM voor, een prototype ontworpen om de geïdentificeerde gaten aan te vullen.

CUPMEM-prototype

CUPMEM (Current-state Updating and Propagation-aware Memory) herformuleert geheugenbeheer als expliciete statenopvolging met adjudicatie aan de schrijfkant.

• Adjudicatie van overtuigingen aan de schrijfkant: In plaats van nieuwe bewijzen slechts toe te voegen, evalueert een op LLM gebaseerde adjudicator kandidaten om te beslissen of oudere herinneringen bewaard moeten blijven, gearchiveerd als STALE, vervangen of gemarkeerd als onopgelost.
• Topologie-gedreven propagatie: Om Type II-conflicten aan te pakken, breidt het systeem de zoekopdracht uit tot direct aangeraakte slots naar structureel beïnvloede statenregio's met behulp van een getypeerd temporeel schema.
• Beperkte Uitvoer: Tijdens de querytijd baseert het systeem antwoorden uitsluitend op herinneringen die na adjudicatie zijn geautoriseerd, en blokkeert het premissen die vertrouwen op ongeldig verklaarde staten.

Belangrijkste Resultaten

Systematische evaluatie onthult een alomvattende kloof tussen het ophalen van bijgewerkte bewijzen en het handelen op basis daarvan:

• Algemene Prestatie: Zelfs het best presterende model, Gemini-3.1-pro, behaalde slechts 55,2% algehele nauwkeurigheid. De meeste geheugenframeworks bleven onder de 10%.
• Herkenning versus Toepassing: Er is een significante disconnectie tussen Statenoplossing (herkennen dat een herinnering verouderd is) en Impliciete Beleidsaanpassing (de update toepassen). Bijvoorbeeld, Qwen3.5-27B behaalde 76,0% op Type I-SR maar slechts 39,0% op Type I-IPA.
• Premissebias: Modellen zijn zeer vatbaar voor queries die verouderde informatie als vooronderstelling stellen. Zelfs sterke modellen zoals Gemini-3.1-pro daalden van 92,0% nauwkeurigheid op SR naar 30,0% op PR voor Type I-conflicten.
• Propagatieschwierigheid: Type II (gepropageerde) conflicten zijn aanzienlijk moeilijker dan Type I. De prestaties dalen significant over alle dimensies bij de overstap van co-referentiële naar gepropageerde conflicten.
• Beperkingen van Geheugenframeworks: Het toevoegen van externe geheugenmodules loste impliciete conflicten niet automatisch op. Analyse van LightMem toonde aan dat hoewel bijgewerkte bewijzen vaak werden opgehaald (77,5% zichtbaarheid), ze niet leidden tot downstream-antwoorden, wat wijst op een "kloof in de adjudicatie van de huidige staat".

Prestaties van CUPMEM: Door adjudicatie van staten aan de schrijfkant te implementeren, verbeterde CUPMEM de algehele nauwkeurigheid van 8,7% (de baseline GPT-4o-mini) naar 68,0%, met name sterke winsten in Premisseweerstand (78,0% op Type I).

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Formalisatie van Impliciet Conflict: Het positioneert langetermijn-assistentgeheugen als latente gebruikersstatenopvolging en identificeert impliciet conflict als een kernfaalmodus, met onderscheid tussen co-referentiële en gepropageerde ongeldigmaking.
2. De STALE-benchmark: Het biedt de eerste systematische evaluatie van impliciete conflictoplossing, met een multidimensionaal onderzoekskader dat falen in herkenning, premisseweerstand en beleidsaanpassing isoleert.
3. Ontwerprichting voor Robuust Geheugen: Via het CUPMEM-prototype tonen de auteurs aan dat expliciete statenadjudicatie op het moment van schrijven een veelbelovende richting is voor robuust agentisch geheugen. De resultaten suggereren dat het falen van huidige systemen niet louter een herinneringsprobleem is, maar een falen om opgehaalde bewijzen om te zetten in een stabiele, huidige-staatbeoordeling die downstream-antwoorden leidt.

De auteurs concluderen dat hoewel huidige LLM's moeite hebben om te herkennen wanneer een verandering in één aspect van de staat van een gebruiker gerelateerde herinneringen ongeldig maakt, de overstap van eenvoudige retrieval naar gestructureerde statenopvolging en adjudicatie essentieel is voor coherent en verantwoord langetermijn-assistentie.