Technische Samenvatting: Leren wat niet vergeten mag worden (LRE)

Probleemstelling

Langlopende Large Language Model (LLM) agenten en conversationele assistenten accumuleren interactiegeschiedenissen die uiteindelijk de contextwindow van het model overschrijden. Om binnen vaste tokenbudgetten te kunnen functioneren, moeten systemen oudere geschiedenis evicteren (verwijderen). De kernuitdaging is dat evictie een proactieve, query-blinde beslissing is: het systeem moet beslissen wat het behoudt voordat de toekomstige query of actie die die informatie vereist, plaatsvindt.

Standaardbenaderingen falen in deze setting:

• Reactieve Heuristieken (Recency/FIFO): Verwijderen oudere informatie op basis van tijd alleen, waardoor vaak "dragende" details (bijv. toegangstokens, identificatoren) worden verwijderd die nodig zijn voor toekomstige stappen, wat ertoe leidt dat agenten in lussen terechtkomen of falen.
• LLM-gebaseerde Compressie: Het samenvatten van de geschiedenis via LLM-aanroepen introduceert niet-deterministisch gedrag, parafraseringsfouten (verlies van exacte identificatoren) en aanzienlijke latentie/kosten.
• Neurale Retrieval/Scoring: Methoden die gebruikmaken van dense embeddings of attention-gebaseerde scoring vereisen vaak een neurale forward pass voor elke eenheid of zijn gekoppeld aan specifieke modellagen, wat inferentiekosten met zich meebrengt die slecht schalen.

Het artikel betoogt dat geheugen-evictie fundamenteel een fidelity-probleem is: het systeem moet de exacte, letterlijke staat behouden (niet alleen gesomatiseerde concepten) om toekomstige acties te laten slagen, maar moet dit doen met een beleid dat goedkoop, proactief en onafhankelijk van het host-LLM is.

Methodologie: LRE (Learned Relevance Eviction)

De auteurs stellen LRE voor, een lichtgewicht, CPU-only, taalmodel-vrije scorer die ontworpen is om te leren welke eenheden van de geschiedenis "dragend" zijn.

Kernmechanisme

1. Eenheidsdefinitie: De geschiedenis wordt gesegmenteerd in discrete eenheden (bijv. dialoogbeurten of agent actie-observatie paren).
2. Causale Feature Extractie: Voor elke eenheid $u_i$ berekent LRE een featurevector $\phi(u_i, u_{\le i})$ gebaseerd alleen op de prefix-geschiedenis. Features omvatten:
   • Structureel: Positie in het traject, recentheid, lengte.
   • Lexicaal: TF-IDF, cijferaantallen, hoofdletterwoorden, aanwezigheid van URL's/ID's.
   • Domeinspecifiek: Foutindicatoren, aanwezigheid van code-tokens (voor agenten), vraagtekens (voor conversatie).
3. Scoring: Een klein, L2-geregulariseerd logistisch regressiemodel ($f_\theta$) wijst een relevantiekans $p_i$ toe aan elke eenheid.
   • Kosten: Het model is minuscuul (bijv. 1,7 KB voor agenten) en draait op de CPU zonder neurale forward passes tijdens inferentie.
4. Selectie (Knapsack Problem): Gegeven een tokenbudget $B$, selecteert LRE de subset van oudere eenheden $S^*$ die de som van scores $\sum p_i$ maximaliseert, onder de tokenkostenbeperking $\sum c_i \le B$.
   • De selectie is extractief: eenheden worden letterlijk behouden. Er vindt geen samenvatting of herschrijving plaats, waardoor exacte identificatoren en waarden behouden blijven.
   • Een recent venster $R_k$ (bijv. de laatste 5 stappen) wordt altijd onbeperkt behouden.

Zelf-gesuperviseerde Training

Om dure menselijke annotatie te vermijden, afleidt LRE labels uit het eigen gedrag van het systeem (hindsight):

• Agent Domein (AppWorld): Een stap wordt gelabeld als positief ($y=1$) als een identificator die deze introduceert (bijv. een ID, token) wordt hergebruikt door $\ge 3$ daaropvolgende stappen. Dit identificeert "dragende staat".
• Conversatie Domein (LoCoMo/LongMemEvalS): Een beurt wordt gelabeld als positief als de inhoudelijke tokens een overlap van $\ge 40\%$ hebben met het uiteindelijke antwoord op een vraag die later in de sessie wordt gesteld.
• Resultaat: Deze aanpak herstelt 95% van de prestaties van een volledig gesuperviseerd model (getraind op menselijke gouden labels) op LongMemEvalS en 82% op LoCoMo.

Belangrijkste Bijdragen

1. Een Query-Blinde, Proactieve Policy: LRE is de eerste geleerde evictie-policy die opereert zonder toegang tot de toekomstige query, wat het geschikt maakt voor real-time agent-loops waar de volgende stap onbekend is.
2. Verbatim Fidelity: In tegenstelling tot compressiemethoden die parafraseren, extraheert LRE eenheden exact zoals ze verschenen. Dit is cruciaal voor het behoud van opaak credentials (tokens, ID's) die samenvatting vernietigt.
3. Extreme Efficiëntie:
   • Nul Neurale Kosten: De scorer draait op de CPU zonder LLM-aanroepen of GPU forward passes.
   • Snelheid: Het scoreert 1.181 eenheden/seconde, aanzienlijk sneller dan dense encoders (103 eenheden/s) of token-pruning LLM's (~36 eenheden/s).
   • Modelgrootte: De scorer is slechts enkele kilobytes groot.
4. Annotatie-vrije Supervisie: Demonstreert dat "relevantie" kan worden geleerd van de eigen operationele logs (hergebruikpatronen) zonder menselijke labeling.

Experimentele Resultaten

Agent Prestaties (AppWorld)

• Taaksucces: Bij een 2048-token budget bereikt LRE 41,1% taaksucces, wat overeenkomt met de 44,0% succesrate van het behouden van de volledige geschiedenis (onbegrensd).
• Vergelijking:
  • FIFO (Recency): Daalt naar 34,5% succes; agenten komen in lussen door verloren credentials.
  • ACON (LLM Compressie): Daalt naar 26,2% succes; samenvatting verliest exacte tokens, wat zorgt voor re-authenticatie lussen.
  • LRE: Lost 14 taken op die geen enkele andere policy (inclusie volledige geschiedenis in sommige edge cases van loop-falen) kon voltooien.
• Efficiëntie: LRE voltooit taken in gemiddeld 19 stappen, vergeleken met 30,6 voor FIFO en 33,5 voor ACON. Het vereist nul compressor-aanroepen, terwijl ACON ~5,45 aanroepen per taak vereist.
• Context Reductie: Vermindert de piek contextgrootte met tot wel 52% vergeleken met de slechtste geval onbegrensde baseline, terwijl de hoge nauwkeurigheid behouden blijft.

Conversationele Geheugen (LoCoMo & LongMemEvalS)

• Relevantie Ranking: LRE bereikt een Macro-AUC van 0,829 op LoCoMo en 0,708 op LongMemEvalS.
• Baseline Vergelijking: Het presteert beter dan dense embedding encoders (0,643) en token-pruning methoden (0,402), ondanks dat die methoden neurale forward passes gebruiken. Recency en decay modellen presteren nabij willekeur (0,478).
• Downstream QA: Wanneer gebruikt als retentiebeleid voor een QA-model, biedt LRE de beste antwoordkwaliteit onder een vast budget, waarbij het baselines voor recency en content salience overtreft.

Betekenis en Claims

Het artikel betoogt dat goedkope geleerde relevantie voldoende is voor proactieve geheugenretentie in LLM agenten.

• Fidelity boven Compressie: De primaire faalmodus van bestaande systemen is niet alleen "vergeten", maar ook "vervormen" (via samenvatting) of "verliezen" (via recency) van de exacte staat. LRE lost dit op door prioriteit te geven aan verbatim extractie.
• Inzetbaarheid: Omdat LRE query-blind, CPU-only en annotatie-vrij is, is het een praktische policy voor productiesystemen waar latentie en kosten beperkingen zijn.
• Zelfvoorzienendheid: Systemen kunnen leren wat ze moeten bewaren uit hun eigen operationele logs, wat de noodzaak voor externe supervisie elimineert.

De auteurs concluderen dat hoewel proactieve evictie niet perfect alle toekomstige behoeften kan voorspellen (een fundamentele beperking), een geleerde, extractieve policy zoals LRE een Pareto-optimaal evenwicht biedt tussen nauwkeurigheid, kosten en fidelity dat de huidige baselines niet kunnen evenaren.