Technische Samenvatting: OSL-MR – Observability-Safe Memory Retention

1. Probleemdefinitie

Langdurige taalagenten (long-horizon language agents) staan voor een fundamentele uitdaging op het gebied van resource-allocatie: ze accumuleren observaties, redeneersporen en opgehaalde feiten die de eindige contextvensters overschrijden. Bestaande geheugensystemen vertrouwen doorgaans op heuristische scoring (bijv. recentheid, relevantie), optimalisatie van retrieval of geleerde compressie. Deze benaderingen behandelen geheugenretentie echter grotendeels als een lokaal beslissingsprobleem, waarbij ze er niet expliciet rekening mee houden met langetermijngevolgen zoals het missen van toekomstige bewijslast, heracquisitiekosten en het risico op verouderde informatie onder realistische partiële observeerbaarheid.

Een kritische barrière bij het oplossen hiervan is observeerbaarheid. Signalen die nodig zijn om de kwaliteit van een retentiebeslissing te evalueren (bijv. gouden bewijs, antwoordcorrectheid, semantische versheid) zijn vaak pas beschikbaar nadat de beslissing is genomen. Het gebruik van deze signalen tijdens de inzet creëert een onrealistisch informatievoordeel (oracle access). Voorgaand werk heeft retentie niet expliciet geformuleerd als een geconstrueerd stochastisch optimalisatieprobleem dat de scheiding tussen online-observeerbare kenmerken en offline-beschikbare supervisie (OAS) respecteert.

2. Methodologie: OSL-MR

De auteurs stellen OSL-MR (Observability-Safe Learning for Memory Retention) voor, een framework dat geheugenretentie formuleert als een geconstrueerd sequentieel optimalisatieprobleem en dit oplost via een datagestuurde aanpak die zich strikt houdt aan de observeerbaarheidscriteria.

2.1 Geconstrueerde Optimalisatieformulering

Het probleem wordt gedefinieerd als het maximaliseren van de verwachte cumulatieve beloning over een horizon $T$, onderworpen aan een strikt opslagbudget $B_t$. De beloningsfunctie $r_t$ modelleert expliciet:

• Evidence Utility (Bruikbaarheid van bewijs): Beloningen voor het raken ($T^{hit}$) en het bereiken van volledige dekking ($F_t$) van vereiste bewijslast.
• Kosten: Boetes voor opslag ($\alpha_{store}$), ontbrekend bewijs ($\alpha_{miss}$), vertraging in heracquisitie ($\alpha_{reacq}$) en het gebruik van verouderde informatie ($\alpha_{stale}$).

Deze formulering benadrukt dat retentie een multi-step, delayed-feedback probleem is. Een myope, single-step optimizer kan niet rekening houden met hoe huidige retentiekeuzes de toekomstige beschikbaarheid van bewijs beïnvloeden of vertraagde boetes veroorzaken.

2.2 Observability Separation (OAS)

Het framework handhaaft een strikte scheiding tussen:

• Online-observeerbare inputs: Query-context, geheugenmetadata, interactiegeschiedenis en recentheid. Deze zijn beschikbaar op het moment van besluitvorming.
• Offline-beschikbare supervisie (OAS): Gouden bewijssets, antwoordtekst en grondwaarheid-versheid. Deze worden alleen gebruikt voor training en evaluatie, nooit voor inferentie.

Dit zorgt ervoor dat elk geleerd beleid inzetbaar is in real-world systemen zonder dat er toegang tot oracle-informatie vereist is.

2.3 Twee-componenten Architectuur

Om de onhandelbaarheid van exacte optimalisatie onder partiële observeerbaarheid aan te pakken, maakt OSL-MR gebruik van twee complementaire componenten:

1. Mixed-Score Heuristiek (Cold-Start & Prior):

   • Een lichtgewicht, volledig inzetbare heuristiek die een utility score berekent op basis van temporele, relevantie, context en risico-kenmerken, minus een grootte-penalty.
   • Rol 1: Dient als een sterke baseline en zorgt voor systeemfunctionaliteit tijdens de "cold-start" fase voordat interactiedata beschikbaar is.
   • Rol 2: Fungeert als een gestructureerde inductieve prior. De score wordt geconcateneerd met online kenmerken als input voor het leermodel, waardoor de leerder wordt gestuurd zonder nieuwe supervisiesignalen te introduceren.

2. Evidence Learner:

   • Getraind offline op interactielogs verzameld door de Mixed-Score heuristiek.
   • Supervisie: Gebruikt gouden bewijs lidmaatschapslabels ($y^{evid}_{t,i} = 1[m_{t,i} \in E_t]$) afgeleid van gerealiseerde uitkomsten.
   • Training: Optimaliseert een gewogen binary cross-entropy loss om te voorspellen of een geheugen deel uitmaakt van de vereiste bewijsset voor een gegeven query.
   • Deployment: Het getrainde model wordt bevroren en ingezet, waarbij het uitsluitend vertrouwt op online kenmerken (geconcateneerd met de Mixed-Score prior) voor inferentie.

2.4 Gefaseerde Implementatie

Het systeem werkt op een praktische, gefaseerde wijze:

1. Fase 1: Mixed-Score draait alleen en logt alle interacties.
2. Fase 2: Zodra er voldoende data is verzameld, wordt de Evidence Learner offline getraind met gouden labels.
3. Fase 3: De bevroren learner vervangt de heuristiek, waarbij strikte observability-beperkingen worden gehandhaafd.

3. Belangrijkste Bijdragen

1. Formalisering: Het eerste werk dat geheugenretentie formaliseert als een geconstrueerd stochastisch optimalisatieprobleem voor langdurige agenten, waarbij bruikbaarheid van bewijs, vertraagde kosten (miss, reacquisition, staleness) en partiële observeerbaarheid expliciet worden gemodelleerd.
2. OSL-MR Framework: Een nieuw leerframework dat een strikte online/OAS-scheiding afdwingt, wat inzetbaarheid garandeert. Het integreert een Mixed-Score heuristiek (als baseline en prior) met een evidence learner die getraind is op directe bewijssupervisie.
3. Empirische Validatie: Gedemonstreerd op de LoCoMo en LongMemEval benchmarks, waarbij consequent superieure prestaties werden getoond ten opzien van recentiteitsgebaseerde methoden, Generative Agents-stijl scoring en behavior-cloning baselines, met name onder strikte geheugenbudgetten.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op twee publieke long-horizon benchmarks met variërende geheugenbudgetten (van krap tot ruim).

• Prestaties: OSL-MR behaalde consistent hogere Evidence F1 en Reward dan alle baselines (Recency, Generative Agents, Mixed-Score en Behavior Cloning).
  • Voorbeeld (LoCoMo, Budget 128): OSL-MR behaalde een F1 van 0.302 en een Reward van 305.16, wat significant beter is dan Mixed-Score (F1 0.069, Reward 132.48) en Generative Agents varianten (F1 < 0.01).
• Budget Efficiëntie: In tegen tegenstelling tot heuristische baselines die het budget verzadigen met items met een lage utility (hoge bezettingsgraad), behoudt OSL-MR een lagere bezetting terwijl het een hogere precisie bereikt. Het verwijdt selectief marginale geheugens en geeft prioriteit aan de kwaliteit van het bewijs boven de kwantiteit.
• Supervisie Kwaliteit: Directe bewijssupervisie (OSL-MR) presteerde aanzienlijk beter dan Behavior Cloning (BC-learner), die een niet-inzetbare "teacher" policy imiteerde. Dit bevestigt dat leren direct van gouden bewijslabels effectiever is dan het imiteren van verbeterde heuristieken die afhankelijk zijn van oracle-informatie.
• Ablatie (Mixed-Score Prior): Het verwijderen van de Mixed-Score prior uit de inputkenmerken resulteerde in een daling in Precisie (bijv. -20% op LongMemEval bij budget 256) terwijl de Recall stabiel bleef. Dit demonstreert de rol van de prior bij het verbeteren van de selectie-efficiëntie zonder de dekking op te offeren.
• Robuustheid: Gevoeligheidsanalyse over verschillende kostenconfiguraties (variërende miss, reacquisition en staleness penalties) toonde aan dat OSL-MR de best presterende non-oracle methode blijft, wat duidt op robuustheid tegen verschillende kosten-trade-offs.

5. Betekenis en Claims

Het artikel claimt dat OSL-MR een verenigend perspectief biedt dat heuristische scoring, optimalisatie en leren verbindt onder een consistente observeerbaarheidsbeperking.

• Theoretische Betekenis: Het adresseert de kloof in eerder werk waar retentie werd behandeld als een lokale beslissing of een single-step optimalisatie. Door het te formuleren als een multi-step sequentieel beslissingsprobleem, vangt OSL-MR de essentiële langdurige aard van geheugenretentie op.
• Praktische Betekenis: De strikte observability-scheiding garandeert dat de geleerde beleidsregels inzetbaar zijn in real-world interactieve agenten zonder dat toekomstige informatie vereist is.
• Beperkingen & Toekomstig Werk: De auteurs merken op dat de Mixed-Score prior momenteel handmatig is ontworpen en dat de versheidsschatting (freshness estimation) rust op type-gebaseerde decay. Toekomstig werk beoogt het automatiseren van het leren van prior-gewichten en het ontwikkelen van meer principiële versheidsschattingen.

Samenvattend demonstreert OSL-MR dat door geheugenretentie te formuleren als een geconstrueerd optimalisatieprobleem en door online inferentie strikt te scheiden van offline supervisie, agenten kunnen leren om de "juiste" herinneringen te bewaren voor langdurige taken, waarbij ze zowel statische heuristieken als oracle-afhankelijke leermethoden overtreffen.