Technische Samenvatting: Onthoud het wanneer het ertoe doet: Proactieve Memory Agent voor Long-Horizon Agents

Probleem: Gedragsmatige Toestandsverval (Behavioral State Decay)

Taken met een lange horizon, zoals autonome opdrachtregel-executie en meerstaps gereedschapsgebruik, vereisen dat agents beslissingsrelevante toestanden behouden over uitgebreide trajecten. De auteurs identificeren een kritieke foutmodus die zij gedragsmatige toestandsverval noemen. In deze modus wordt informatie die essentieel is voor toekomstige beslissingen—zoals initiële taakeisen, omgevingsfeiten, eerdere mislukte pogingen, foutdiagnoses en openstaande subdoelen—inactief in het besluitvormingsproces van de agent.

Dit verval vindt plaats, zelfs wanneer de informatie binnen het contextvenster of het transcript van het model blijft. Het probleem is niet louter het onvermogen om gegevens op te slaan of op te halen, maar het falen om te bepalen wanneer onthouden informatie de volgende actie actief moet beïnvloeden. Bestaande geheugensystemen richten zich vaak op passieve retrieval of samenvatting, wat kan leiden tot agents die fouten herhalen, eerdere ontdekkingen negeren of afdwalen van beperkingen. Het artikel betoogt dat effectief geheugen voor long-horizon agents een actief interventiemechanisme moet zijn dat niet alleen bepaalt wat er onthouden moet worden, maar ook of en wanneer er moet worden ingegrepen.

Methodologie: Proactieve Geheugeninterventie

Het artikel stelt een twee-fasen geheugeninterventie-architectuur voor die het onderhoud van het geheugen ontkoppelt van de actieselectie. Het systeem bestaat uit een ongewijzigde action agent en een aparte memory agent die er zij aan zij mee draait.

Architectuurcomponenten

1. Gestructureerde Geheugenbank ($B_t$): Een compacte, gestructureerde representatie van de executietoestand die drie componenten bevat:

   • Status ($s_t$): Een privèveld dat voortgang, openstaande kwesties en risico's bijhoudt, zichtbaar voor alleen de memory agent.
   • Kennis ($K_t$): Stabiele feiten (bijv. taakeisen, eigenschappen van de omgeving, bestandspaden).
   • Procedureel ($P_t$): Dynamische verslagen van pogingen, resultaten, mislukte commando's, succesvolle oplossingen en diagnostische signalen.

2. Workflow van de Twee-Fasen Memory Agent:

   • Fase 1 (Geheugenbeheer): De memory agent observeert een sliding window van het recente traject en de huidige bank. Het voert tool calls uit om de bank bij te werken (bijv. memory_save_knowledge, memory_save_procedural, memory_update_status, memory_delete). Deze fase externaliseert de executietoestand in een gestructureerd formaat zonder het traject te herschrijven.
   • Fase 2 (Interventieselectie): Op basis van de bijgewerkte bank en het recente traject beslist de agent of er een beknopte, op het geheugen gebaseerde herinnering moet worden geïnjecteerd in de volgende aanroep van de action agent, of dat hij stil blijft (<no_intervention/>).
     • Interventie: Een gerichte herinnering (bijv. een vergeten vereiste, een relevant omgevingsfeit of een diagnose) geïnjecteerd als tijdelijke context.
     • Stilte: Een expliciete beslissing om het geheugen achterwege te laten als de huidige staat voldoende is, om zo token-overhead en afleiding te voorkomen.

3. Triggering: De memory agent wordt aangeroepen op vaste intervallen (bijv. elke $N$ stappen) om de bank bij te werken en te beslissen over interventie, hoewel de auteurs opmerken dat selectievere triggers (bijv. bij fouten) mogelijk zijn.

Het Leren van het Beleid

Hoewel de architectuur kan worden geïmplementeerd met een geprompte frontier model, verkent de auteurs het trainen van een open-weight model om het interventiebeleid te leren:

• Supervised Fine-Tuning (SFT): Distilleert trajecten van een geprompte memory agent om de interface en basisdiscipline van geheugenbeheer te leren.
• Reinforcement Learning (GRPO): Optimaliseert het interventiebeleid om de downstream taaksucces te maximaliseren, specifiek door te kalibreren wanneer te interveniëren versus wanneer men stil moet blijven.

Belangrijkste Bijdragen

1. Identificatie van Gedragsmatige Toestandsverval: Het artikel formaliseert de foutmodus waarbij beslissingsrelevante toestand na verloop van tijd zijn invloed verliest, wat verschilt van eenvoudige beperkingen van het contextvenster.
2. Proactieve Interventie-architectuur: Een nieuw twee-fasen systeem dat geheugen behandelt als een selectief interventiebeleid. Het ontkoppelt toestandsonderhoud van actieselectie, waardoor een aparte agent kan beslissen of en hoe de executietoestand geactiveerd moet worden.
3. Empirische Validatie: Demonstreert dat selectieve interventie beter presteert dan passieve blootstelling aan geheugen, altijd-aan injectie en algemene adviseur-begeleiding.
4. Leerbaarheid van Interventiebeleid: Levert voorlopig bewijs dat het interventiebeleid kan worden gedistilleerd naar een open-weight model (Qwen3.5-27B) met behulp van SFT en GRPO, waarbij een gedeeltelijke transfer naar held-out benchmarks wordt bereikt.

Experimentele Resultaten

Het systeem werd geëvalueerd op Terminal-Bench 2.0 (autonome opdrachtregel-executie) en $\tau^2$-Bench (interactief gereedschapsgebruik in luchtvaart-, retail- en telecomdomeinen).

• Prestatiewinsten:

  • Terminal-Bench 2.0: Gebruikmakend van Claude Opus 4.6 als memory agent, verbeterde het systeem de pass@1 voor de zwakkere Claude Sonnet 4.5 van 37,6% naar 45,9% (+8,3 pp) en voor de sterkere Opus 4.6 van 43,5% naar 45,9% (+2,4 pp).
  • $\tau^2$-Bench: Voor Sonnet 4.5 verbeterde het taakgewogen gemiddelde van 55,0% naar 61,8% (+6,8 pp). Voor Opus 4.6 verbeterde het van 66,2% naar 68,7% (+2,5 pp).
  • De winsten waren consistent over verschillende domeinen, met de grootste verbeteringen in luchtvaart- en retailtaken waar naleving van beleid cruciaal is.

• Ablatiestudies:

  • Volledig Systeem vs. Passieve Blootstelling: Het simpelweg blootstellen van de volledige geheugenbank aan de action agent (zonder selectieve interventie) leverde lagere winsten op, wat bevestigt dat selectie cruciaal is.
  • Always-Inject vs. Selectieve Stilte: Het forceren van een herinnering bij elke stap was competitief maar minder gebalanceerd dan de selectieve aanpak, vooral in domeinen die stilte vereisen om afleiding te voorkomen.
  • Advisor-Only vs. Geheugen-Gegrond: Een advisor-model zonder een persistente geheugenbank was minder stabiel en slaagde er niet in om begeleiding te funderen in de langetermijn-executietoestand.
  • Vergelijking met Mem0: Een algemene persistente geheugenlaag (Mem0) verbeterde de gemiddelde scores, maar slaagde er niet in de prestaties van het volledige systeem te evenaren, wat het onderscheid benadrukt tussen het ophalen van records en het beslissen wanneer te interveniëren.

• Open-Weight Training: Het trainen van een Qwen3.5-27B memory agent op de SETA benchmark verbeterde de validieremperaturen. Bij transfer naar Terminal-Bench 2.0 verbeterde de getrainde agent de pass@1 van de bevroren action agent van 37,6% naar 41,1%, wat aantoont dat het interventiebeleid leerbaar is.

Betekenis en Claims

Het artikel positioneert geheugen niet als een passieve opslaglaag, maar als een actief controlemechanisme. De auteurs stellen dat de centrale uitdaging in long-horizon agents niet alleen het behouden van informatie is, maar het kalibreren van de timing en noodzaak van de reactivatie ervan.

• Bescheiden Claims over Training: De auteurs beschrijven de training van de open-weight memory agent als een "vroege stap" en "voorlopig bewijs". Ze erkennen dat de huidige training steunt op het distilleren van een geprompte frontier model en dat de interventie-kalibratie (weten wanneer men stil moet blijven) imperfect is en vaak reinforcement learning vereist om te verfijnen.
• Generaliseerbaarheid: De architectuur wordt gepresenteerd als "plug-and-play" met bestaande agent-harnesses en ongewijzigde action agents.
• Toekomstige Richtingen: Het artikel suggereert toekomstig werk gericht op het gezamenlijk trainen van geheugen- en action agents, het leren van dynamische invocatie-schema's, en het onderscheiden van letterlijke herinneringen versus taakspecifieke abstracties.

Samenvattend betogen de auteurs dat selectieve interventie de sleutel is tot het mitigeren van gedragsmatige toestandsverval, en bieden zij een robuuste, modulaire oplossing die de prestaties van long-horizon taken over diverse benchmarks en agent-capaciteiten verbetert.