🤖 AI

SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent

Het artikel stelt State-Adaptive Memory (SAM) voor, een zelfstandig kader dat lang-horizontaal agentisch redeneren verbetert door interactiegeschiedenissen te consolideren tot compacte, intentie-gedreven geheugensignalen die agenten in staat stellen om op afstand gelegen informatie dynamisch te reconstrueren zonder het onderliggende model opnieuw te trainen, waardoor superieure prestaties worden bereikt op diverse benchmarks.

Oorspronkelijke auteurs: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Te Lang om Te Lezen" Notitieboek

Stel je voor dat je een detective bent die probeert een zeer complex mysterie op te lossen dat dagen kost om te kraken. Elke keer als je een aanwijzing vindt, met een getuige praat of een document controleert, schrijf je het op in een gigantisch notitieboek.

Naarmate de dagen voorbijgaan, wordt je notitieboek enorm – honderden pagina's lang. Wanneer je vandaag een beslissing moet nemen, moet je door al die pagina's bladeren om die ene kleine aanwijzing te vinden die je drie dagen geleden vond.

Het huidige probleem: De meeste AI-agenten (computerprogramma's die als mensen handelen) proberen dit op te lossen door ofwel:

Oude pagina's weg te gooien: Ze wissen het begin van het notitieboek om ruimte te maken voor nieuwe pagina's. Maar soms zat het antwoord juist in het deel dat ze weggooiden!
Een samenvatting te schrijven: Ze proberen de hele geschiedenis te verdichten tot een korte paragraaf. Maar samenvattingen missen vaak de kleine, specifieke details die later nodig zijn om de puzzel op te lossen.

De Oplossing: SAM (State-Adaptive Memory)

De auteurs stellen een nieuw systeem voor dat SAM heet. Denk aan SAM niet als een notitieboek, maar als een slim archiefkastje met een magisch systeem van indexkaarten.

Hier is hoe het werkt, opgesplitst in drie eenvoudige stappen:

1. Het "Archiveren" (Consolidatie)

In plaats van de ruwe, rommelige pagina's van je gesprek in je directe werkruimte te bewaren, neemt SAM een blok van je recente geschiedenis (zeg maar de laatste 50 pagina's) en legt het weg in een opslagkast.

De Ruwe Pagina's: De feitelijke details worden veilig bewaard in de kast, onaangeroerd.
De Indexkaart: SAM schrijft een kleine, hoogwaardige "indexkaart" (een memory cue genoemd) die samenvat wat er in die 50 pagina's is gebeurd. Het belicht de belangrijke dingen: "We hebben een verdachte gevonden," "We hebben de butler uitgesloten," of "We zitten vast op deze aanwijzing."
Het Resultaat: Je directe werkruimte blijft schoon en licht, maar je hebt nog steeds een lijst met indexkaarten die je vertellen wat er in de kast zit.

2. Het "Zoeken" (Intent-gedreven Oproep)

Dit is het magische deel. In oude systemen zou je, als je informatie nodig had, misschien gewoon de meest recente pagina's pakken of de hele samenvatting lezen.
Met SAM vraagt de agent zichzelf: "Wat heb ik nu nodig om dit specifieke probleem op te lossen?"

Als de agent vastzit aan een aanwijzing over een "rode auto", kijkt hij naar zijn indexkaarten.
Hij pikt de specifieke kaart eruit die de rode auto noemt.
Hij vraagt het archiefkastje: "Breng me de exacte pagina's die met die rode auto te maken hebben."
Het systeem haalt alleen die specifieke pagina's op, leest ze opnieuw en geeft de agent een frisse, gefocuste samenvatting van alleen die informatie.

De Analogie: Stel je voor dat je een complex maaltje bereidt. In plaats van elke keer dat je moet weten hoe je een ui moet snijden, het hele 500-pagina kookboek te lezen, heb je een set indexkaarten. Als je een ui moet snijden, haal je de "Ui"-kaart erbij, die je precies vertelt welke pagina's je in het grote boek moet omdraaien om het recept te vinden. Je leest niet het hele boek; je leest alleen wat je nodig hebt.

3. Het "Trainen" (Leren om een Beter Bibliothecaris te zijn)

Het paper legt ook uit hoe ze dit systeem slim hebben gemaakt. Ze hebben de AI niet zomaar verteld om te "samenvatten". Ze hebben het op twee manieren getraind:

De Expertleraar: Ze hebben super-slimme AI-modellen gebruikt om het systeem te laten zien hoe je de best mogelijke indexkaarten schrijft en hoe je de juiste pagina's vindt.
Het "Probeer en Leer"-Spel: Ze lieten het systeem duizenden keren het detective-spel spelen. Als het systeem de verkeerde kaart pakte of een aanwijzing miste, kreeg het een "slechte score". Als het de juiste kaart pakte en het mysterie oploste, kreeg het een "goede score". Na verloop van tijd leerde het precies hoe het zijn geheugen moest beheren om het spel te winnen.

Waarom Dit Belangrijk Is (De Resultaten)

De auteurs hebben SAM getest op vier moeilijke "long-horizon" taken (zoals zoeken op het web naar complexe feiten of wetenschappelijke puzzels oplossen).

Het Resultaat: SAM sloeg consequent andere methoden.
De Reden: Het gooide oude informatie niet zomaar weg, en het vatte het ook niet zomaar samen. Het hield de ruwe data veilig en creëerde een slimme manier om precies wat nodig was op te halen op basis van de huidige situatie.
De Analogie: Het is als het verschil tussen een student die een schoolboek uit het hoofd leert (en details vergeet) en een student die een perfect librariesysteem heeft waar ze direct de exacte alinea kunnen vinden die ze nodig hebben om een specifieke vraag te beantwoorden.

Samenvatting

SAM is een nieuwe manier voor AI om lange gesprekken te verwerken. In plaats van te proberen alles tegelijk te onthouden of het verleden te vergeten, organiseert het geschiedenis in een archiefsysteem. Het houdt de ruwe details veilig en gebruikt slimme indexkaarten om alleen de specifieke informatie op te halen die nodig is voor de huidige beslissing. Hierdoor kan de AI veel moeilijkere, langere problemen oplossen zonder in de war te raken of de aanwijzingen uit het oog te verliezen.

Technische Samenvatting: State-Adaptive Memory (SAM) voor Redenerende Agenten met Lange Horizont

Probleemstelling

Redeneren door agenten met een lange horizont vereist dat Large Language Models (LLM's) opereren over uitgebreide interactiegeschiedenissen die doorelkaar liggende gedachten, tool-aanroepen, observaties en gedeeltelijke conclusies bevatten. De primaire uitdaging is niet enkel de toenemende lengte van deze geschiedenissen, maar het feit dat informatie die kritiek is voor een huidige beslissing, verspreid kan liggen over verre stappen en pas later in het traject relevant wordt.

Bestaande strategieën voor contextbeheer—zoals het afkappen van de geschiedenis, het comprimeren tot samenvattingen, of het ophalen van geselecteerde delen—falen vaak in deze scenario's. Deze methoden vertrouwen doorgaans op recentheid of vaste venstergroottes, wat ontoereikend is wanneer nuttige informatie over niet-aangrenzende stappen is verdeeld en het belang daarvan pas duidelijk wordt naarmate de taak zich ontvouwt. Het artikel stelt dat de kernmoeilijkheid ligt in het organiseren van eerdere trajecten zodat de juiste informatie toegankelijk blijft voor de huidige beslissingsstaat van de agent, in plaats van simpelweg het verleden volledig in beeld te houden of te verwerpen op basis van een statisch budget.

Methodologie: State-Adaptive Memory (SAM)

De auteurs stellen State-Adaptive Memory (SAM) voor, een zelfstandig framework dat is ontworpen om redeneren met een lange horizont te behandelen als een probleem van state-adapterende geheugen. SAM ontkoppelt de redeneringsruggengraat van de agent van het geheugenbeheer, waardoor de geheugenmodule onafhankelijk kan worden geoptimaliseerd zonder de onderliggende agent opnieuw te trainen.

Kernarchitectuur

SAM onderhoudt twee gekoppelde weergaven van de interactiegeschiedenis:

Compacte Geheugensignalen: Lichtgewicht samenvattingen die zichtbaar blijven in de actieve context van de agent. Deze fungeren als persistente handvatten of toegangspunten tot eerdere voortgang.
Rauwe Trajectpagina's: Gedetailleerde interactieregistraties die extern worden opgeslagen, waarbij de volledige fideliteit van het oorspronkelijke traject behouden blijft.

Het framework werkt via een Pagina-gebaseerde Episodische Consolidatie en een Intentie-gedreven Episodisch Terugroepen proces:

Consolidatie (Schrijfpad): Wanneer de live context van de agent een vooraf bepaald token-budget bereikt, wordt het recente traject opgedeeld in aaneengesloten "pagina's". Een geheugenmodel genereert een compact signaal ( $m_k$ ) voor elke pagina, dat voortgangsrelevante bijdragen vastlegt (bijvoorbeeld wat is vastgesteld, wat is uitgesloten, wat blijft onopgelost). De rauwe pagina wordt vervolgens uit de actieve context verwijderd en extern opgeslagen, terwijl het signaal in een geheugenbank wordt bewaard.
Terugroepen (Leespas): Wanneer de agent het verleden moet bezoeken, stuurt hij een terugroepverzoek met een specifieke intentie ( $q_t$ ). De agent selecteert een subset van relevante signalen op basis van zijn huidige staat. Het geheugenmodel reconstrueert vervolgens de beslissingsrelevante informatie uit de bijbehorende rauwe pagina's, geconditioneerd op de terugroepintentie. Hierdoor kan de agent op vraag toegang krijgen tot tijdelijk verre informatie zonder de volledige geschiedenis letterlijk opnieuw af te spelen.

Optimalisatiestrategie

SAM wordt geoptimaliseerd als een onafhankelijk vermogen via een tweestapsproces, waarbij de ruggengraat van de agent bevroren blijft:

Expert-Gestuurde Supervised Fine-Tuning (SFT): Het geheugenmodel (geïnitieerd als Qwen3.5-9B) wordt getraind op sporen van toonaangevende LLM's (bijvoorbeeld Claude-4.5-Opus, GPT-5.4) die taken succesvol hebben opgelost. Dit levert gekoppelde doelen op voor zowel consolidatie (het genereren van signalen) als intentie-gedreven terugroepen (het reconstrueren van informatie).
OAT-GRPO (Oracle-Anchored Tree GRPO): Om het geheugenmodel af te stemmen op de nuttigheid op trajectniveau, introduceren de auteurs een gespecialiseerde versterkingsleerdoelstelling.
- Boom-gestructureerde Uitkomstbeloning: In tegenstelling tot standaard GRPO, dat één beloning toekent aan een volledige rollout, structureert OAT-GRPO rollouts als een boom van geheugenaanroepen. Het vertakt bij elke geheugenactie, waardoor toewijzing van krediet kan worden gelokaliseerd tot specifieke geheugenoutput op basis van de uiteindelijke taakuitkomst.
- Oracle-Verankerde Herstelbaarheidsbeloning: Om de schaarsheid van uitkomstsignalen aan te pakken, wordt een "orakel"-beloning berekend met behulp van een comité van frontlijnmodellen. Deze beloning evalueert hoe goed een teruggeroepen samenvatting het doelgebied van nuttige informatie dekt (relevantie, dekking, consistentie) ten opzichte van expertreferenties, waardoor het leersignaal wordt verdicht.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Formulering: Het herformuleert contextbeheer met lange horizont als een state-adapterend geheugen probleem, waarbij vraaggestuurde toegang tot tijdelijk verre informatie prioriteit krijgt boven eenvoudige recentheid-gebaseerde compressie.
Architectuur: Het introduceert een signaal-pagina geheugenarchitectuur die lichtgewicht consolidatie op schrijftijd ontkoppelt van intentie-geconditioneerde reconstructie op leestijd over bewaarde rauwe trajectpagina's.
Optimalisatierecept: Het ontwikkelt een trainingspijplijn voor zelfstandige geheugenmodellen die expert-gestuurde supervisie combineert met OAT-GRPO, een RL-doelstelling op het niveau van geheugenacties die krediet toekent via bomen van geheugenaanroepen en orakel-verankerde herstelbaarheidsbeloningen.

Experimentele Resultaten

SAM werd geëvalueerd op vier benchmarks voor agenten met lange horizont: BrowseComp, BrowseComp-ZH, WideSearch en HLE. De experimenten maakten gebruik van diverse agent-ruggengratten, waaronder propriëtaire (GLM-4.7) en open-source (Qwen3.5-35B-A3B) modellen.

Prestaties: SAM presteerde consequent beter dan sterke baselines, waaronder heuristische contextbeheerstrategieën (het verwerpen van tools, het bijhouden van recente $k$ stappen, rollende samenvattingen) en bestaande open-source agentsystemen (WebThinker, WebSailor, ReSum, enz.).
Generalisatie: Een enkel Qwen3.5-9B geheugenmodel, één keer getraind, behaalde de beste scores over alle combinaties van ruggengraat en benchmark, wat aantoont dat het geheugenmechanisme robuust en generaliseerbaar is in plaats van afhankelijk van specifieke koppelingen tussen ruggengraat en benchmark.
Ablatiestudies:
- Zowel de SFT- als de OAT-GRPO-fasen bleken complementair; het verwijderen van een van beide resulteerde in prestatieverlies.
- De winst werd voornamelijk toegeschreven aan intentie-gedreven terugroepen in plaats van alleen consolidatie. Variantjes die alleen samenvattingen of recentheid-gebaseerd ophalen gebruikten, presteerden aanzienlijk slechter.
- SAM behield zijn voordeel zelfs naarmate het aantal interactierondes toenam (bijvoorbeeld meer dan 80 rondes), waarbij op samenvattingen gebaseerde methoden begonnen nuttige staat te verliezen.

Betekenis en Claims

Het artikel stelt dat expliciete geheugenmodellering een eenvoudige en effectieve basis biedt voor redeneren door agenten met lange horizont. Door geheugen te behandelen als een externe, herbruikbare capaciteit die interactie consolideert tot navigeerbare entries terwijl ruwe data wordt bewaard voor reconstructie, stelt SAM agenten in staat informatie te herstellen uit willekeurige stadia van hun traject zonder de onderliggende ruggengraat opnieuw te trainen.

De auteurs positioneren SAM niet als een vervanging voor het redeneringsbeleid van de agent, maar als een modulair onderdeel dat lange-horizontgeschiedenis transformeert van een passieve last naar een navigeerbare geheugenruimte. De resultaten suggereren dat het vermogen om de juiste verleden informatie voor de huidige beslissingsstaat te benaderen een kritieke, maar vaak over het hoofd geziene factor is bij het schalen van redeneren door agenten. Het werk wordt gepresenteerd als een stap naar modulaire geheugensystemen voor steeds capabelere agenten, waarbij de code beschikbaar wordt gesteld voor verder onderzoek.