💻 computer science

PREPING: Building Agent Memory without Tasks

Dit artikel introduceert Preping, een raamwerk dat agenten in staat stelt om procedureel geheugen op te bouwen voordat ze doeltaakken tegenkomen, door middel van een door een voorsteler geleide lus om hoogwaardige synthetische oefentrajecten te genereren en selectief op te slaan, waardoor de cold-start-kloof wordt overbrugd met aanzienlijk lagere implementatiekosten dan online geheugenopbouw.

Oorspronkelijke auteurs: Yumin Choi, Sangwoo Park, Minki Kang, Jinheon Baek, Sung Ju Hwang

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yumin Choi, Sangwoo Park, Minki Kang, Jinheon Baek, Sung Ju Hwang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe medewerker inhuurt om je digitale leven te beheren. Deze medewerker is ongelooflijk slim (een krachtige AI), maar heeft je specifieke apps, tools of regels nog nooit eerder gezien.

Het Probleem: De "Koude Start"-Kloof
Meestal, wanneer je iemand inhuurt, doe je een van de volgende twee dingen:

Je traint ze van tevoren (Offline): Je geeft ze een dik handboek met eerdere succesvolle taken. Maar als je een gloednieuwe app lanceert, bestaat dat handboek nog niet.
Je traint ze op het werk (Online): Je laat ze direct aan de slag gaan. Maar in het begin zullen ze fouten maken, falen en je ergeren terwijl ze de draai proberen te vinden. Dit is het "koude start"-probleem.

Het artikel vraagt: Kunnen we deze medewerker trainen voordat ze ooit een echte klant zien, uitsluitend met oefensessies die wij zelf creëren?

De Oplossing: PREPING (Pre-Task Reusable Playbook Making)
De auteurs hebben een systeem ontwikkeld genaamd PREPING. Denk hierbij aan een gesimuleerde trainingskamp, waar de AI oefent op taken die ze zelf bedenkt, maar met een zeer strenge coach om ervoor te zorgen dat de oefening daadwerkelijk nuttig is.

Hier is hoe dit "trainingskamp" werkt, met drie personages:

1. De Voorsteller (De Creatieve Coach)

Dit is het deel van de AI dat oefentaken bedenkt.

Zonder coach: Als je een AI gewoon zegt "oefen", zou ze misschien 100 keer hetzelfde doen (zoals een deur openen) of proberen onmogelijke dingen (zoals vliegen). Dit is nutteloos.
Met PREPING: De Voorsteller heeft een herinneringsnotitieboek (Proposer Memory). Dit houdt bij wat ze al heeft geoefend. Als ze net "deuren openen" heeft geoefend, zegt het notitieboek: "Oké, probeer ze nu te sluiten" of "Probeer de lift te gebruiken". Het controleert ook een kaart van de omgeving om ervoor te zorgen dat de taak echt mogelijk is (bijvoorbeeld: "Vraag de AI niet om te vliegen als het gebouw geen dak heeft").
Het Doel: Een diverse set oefeningen creëren die alle tools en regels van de nieuwe omgeving bestrijken zonder zichzelf te herhalen.

2. De Oplosser (De Trainee)

Dit is de AI die daadwerkelijk het werk doet. Ze probeert de taken die door de Voorsteller zijn bedacht, te voltooien. Ze schrijft code, klikt op knoppen en roept API's aan, precies zoals ze dat voor een echte gebruiker zou doen.

3. De Validator (De Strenge Inspecteur)

Dit is het belangrijkste onderdeel. Niet elke oefensessie is goed.

Soms probeert de trainee iets onmogelijks te doen (zoals geld opnemen van een kaart die niet bestaat).
De Validator bekijkt het resultaat en zegt: "Stop. Dit was een nep-taak. Schrijf dit niet op."
Als de taak echt was en de trainee slaagde, zegt de Validator: "Geweldig! Hier is de geleerde les. Schrijf dit op in het playbook."

Het Resultaat: Een "Playbook" Klaar op Dag Eén
Op het moment dat de AI wordt ingezet bij echte gebruikers, heeft ze een Playbook (een geheugen van procedures) vol met:

Hoe je verschillende tools correct combineert.
Wat je moet doen als er iets misgaat.
Welke tools daadwerkelijk beschikbaar zijn.

Waarom is dit beter dan de oude methoden?

Tegenover geen training: De AI begint niet vanaf nul. Ze maakt geen gênante fouten bij je eerste echte taak.
Tegenover leren op het werk: De AI hoeft niet te leren van jouw fouten. Ze kent de touwtjes al.
Kosten: Leren op het werk is duur, omdat de AI moet blijven "nadenken" en "haar geheugen updaten" terwijl je wacht tot ze werkt. PREPING doet al dat zware werk voordat je haar inhuurt, waardoor het daadwerkelijke werk veel goedkoper en sneller wordt.

De Analogie in het Kort
Stel je een piloot voor.

Oude manier: Je laat ze voor het eerst een echt vliegtuig met passagiers vliegen om de bediening te leren. (Gevaarlijk en traag).
PREPING-methode: Je zet ze in een vliegsimulator. Een slimme instructeur (Voorsteller) geeft hen specifieke scenario's (bewolkte dag, motorproblemen, nieuwe luchthaven). Een veiligheidsfunctionaris (Validator) stopt ze als ze proberen in een berg te vliegen. Op het moment dat ze in de echte cockpit stappen, hebben ze een mentale checklist (geheugen) van hoe ze alles moeten afhandelen, en zijn ze direct klaar om te vliegen.

De Bevindingen van het Artikel
De auteurs hebben dit getest op drie verschillende "digitale werelden" (apps beheren, functies aanroepen en servertools gebruiken). Ze ontdekten dat:

PREPING een veel slimmere AI creëerde dan alleen maar een handboek lezen of gissen.
Het bijna even goed presteerde als een AI die was getraind op duizenden echte menselijke taken, zelfs al had ze nul echte menselijke taken gezien.
Het geld en tijd bespaarde omdat de AI niet hoefde te "leren" terwijl ze voor jou werkte.

Kortom, PREPING leert een AI om een pro te zijn voordat ze ooit een klant ontmoet, door haar slim te laten oefenen en slechte oefening eruit te filteren.

Technische Samenvatting: PREPING – Agentgeheugen Opbouwen zonder Taken

1. Probleemstelling

Large Language Model (LLM)-agenten die worden ingezet in uitvoerbare omgevingen (bijvoorbeeld tool-API's, Model Context Protocol-servers) vereisen procedurale geheugen om succesvol te zijn. Dit geheugen vangt omgevingspecifieke workflows, regels voor tool-samenvoeging en strategieën voor foutherstel. Echter, bestaande methoden voor geheugenopbouw kampen met een cold-start-gat:

Offline methoden vertrouwen op door mensen samengestelde demonstraties of opgeloste trajecten, die kostbaar zijn om te genereren en vaak niet beschikbaar zijn voor nieuwe omgevingen voordat ze worden ingezet.
Online methoden bouwen geheugen op uit gebruikersinteracties na de inzet. Dit dwingt de agent om te starten met een leeg geheugen, waardoor gebruikers worden blootgesteld aan vroege fouten, vertraging bij geheugenvernieuwingen en extra kosten tijdens de inzet.

Het artikel behandelt het probleem van pre-task geheugenopbouw: Kan een agent herbruikbaar procedueel geheugen opbouwen voordat het enige taken uit de doelomgeving observeert, uitsluitend gebruikmakend van zelfgegenereerde synthetische oefening? De uitdaging ligt in het feit dat zonder taakinstructies synthetische oefening gemakkelijk overbodig, onuitvoerbaar of ongegrond kan worden, wat leidt tot geheugenvervuiling in plaats van verbetering.

2. Methodologie: PREPING

De auteurs stellen PREPING (Pre-Task REusable Playbook MakING) voor, een raamwerk dat geheugenopbouw behandelt als een controleprobleem over wat te oefenen en wat op te slaan. PREPING werkt via een synthetische-oefenlus die drie door LLM-aangedreven modules en twee distincte geheugentoestanden omvat:

2.1 Dual Memory States

Proposer Memory ( $M_{prop}$ ): Een controletoestand tijdens de bouwfase. Het houdt de geschiedenis van synthetische taken, statistieken over toolgebruik, validatie-uitkomsten en gegrondfeite omgevingsfeiten (entiteiten, toestanden, beperkingen) bij. Het leidt de generatie van toekomstige taken om dekking en uitvoerbaarheid te waarborgen.
Solver Memory ( $M_{sol}$ ): Het procedurale geheugen gericht op inzet. Het bevat uitsluitend gevalideerde, herbruikbare inzichten die zijn gedistilleerd uit succesvolle trajecten.

2.2 De Constructielus

Op elke iteratie $t$ :

Proposer ( $A_{prop}$ ): Genereert een synthetische taak $x_t$ geconditioneerd op omgevingsdocumentatie ( $D$ ) en de huidige Proposer Memory ( $M_{prop}$ ). De Proposer is ontworpen om overbodigheid te vermijden en zich te richten op onderbelichte tools, terwijl taken worden gegrond in waargenomen omgevingsfeiten.
Solver ( $A_{sol}$ ): Voert de taak $x_t$ uit in de doelomgeving ( $E$ ) om een traject $\tau_t$ te produceren.
Validator ( $A_{val}$ ): Evalueert het paar taak-traject $(x_t, \tau_t)$ op uitvoerbaarheid (is de taak gegrond en uitvoerbaar?) en voltooiing (werd het doel bereikt?).
Asymmetrische Updates:
- Proposer Update: Alle ervaring (inclusief gefaalde of onuitvoerbare taken) update $M_{prop}$ . Dit stelt het systeem in staat te leren wat men niet moet oefenen en de dekking aan te passen.
- Solver Update: Alleen trajecten die als uitvoerbaar worden beschouwd en succesvol zijn voltooid, worden toegelaten tot $M_{sol}$ . Deze worden gedistilleerd tot compacte procedurale bullets (in playbook-stijl) in plaats van ruwe logs.

3. Belangrijkste Bijdragen

Formalisatie van Pre-Task Geheugen: Het artikel definieert een setting waarin agenten geheugen moeten opbouwen zonder toegang tot verdelingen van doeltaak, wat het onderscheidt van standaard online learning of offline fine-tuning.
Proposer-Gebaseerde Controle: In tegenstelling tot naïeve self-play of willekeurige exploratie introduceert PREPING een gestructureerde controletoestand ( $M_{prop}$ ) die actief de verdeling van synthetische oefening vormgeeft om tooldekking en uitvoerbaarheid te maximaliseren terwijl overbodigheid wordt geminimaliseerd.
Validatie-Gebaseerde Toelating: Het raamwerk filtert expliciet onuitvoerbare synthetische trajecten eruit voordat ze het geheugen van de solver verstoren, waardoor het distilleren van misleidende procedurale richtlijnen wordt voorkomen.
Kostenefficiënte Initialisatie: PREPING verschuift geheugenopbouw van een terugkerende kostenpost tijdens de inzet naar een eenmalige investering voorafgaand aan de inzet, wat de kosten per taak aanzienlijk verlaagt tijdens de cold-start-fase.

4. Experimentele Resultaten

PREPING werd geëvalueerd op AppWorld (stateful app-workflows), BFCL v3 (gestructureerde functie-aanroepen) en MCP-Universe (realistisch toolgebruik op MCP-servers).

Prestatiewinst: PREPING presteert aanzienlijk beter dan baselines die alleen vertrouwen op documentatie of vrije exploratie.
- AppWorld: +17,1 punten boven de no-memory baseline (Base).
- BFCL v3: +19,3 punten boven Base.
- MCP-Universe: +5,4 punten boven Base.
- Het bereikt prestaties die concurrerend zijn met sterke Task-Informed methoden (bijvoorbeeld ACE-Offline en ACE-Online) die gebruikmaken van door mensen gedefinieerde taken of gebruikersdata tijdens de inzet, ondanks dat er geen dergelijke data wordt gebruikt voor de constructie.
Ablatiestudies: De winst wordt gedreven door de combinatie van validatie-gebaseerde toelating en controle aan de proposer-zijde. Het verwijderen van de validator leidt tot geheugenvervuiling; het verwijderen van proposer-geheugen leidt tot overbodige of onuitvoerbare oefening.
Cold-Start Mitigatie: Wanneer gebruikt om online learning te initialiseren (PREPING+ACE), verlaagt het raamwerk de vroege faalpercentages aanzienlijk. Op AppWorld bereikt het direct bij de inzet dezelfde tooldekking als ACE-Online na 58 taken, terwijl ACE-Online 58 taken nodig heeft om dezelfde dekking te bereiken.
Kostenreductie: PREPING verlaagt de kosten tijdens de inzet met 2,99× op AppWorld en 2,23× op BFCL v3 ten opzichte van online geheugenopbouw (ACE-Online), omdat het terugkerende geheugenvernieuwingsoproepen tijdens gebruikersinteracties vermijdt.
Generalisatie: De methode generaliseert over verschillende backbone-modellen (GPT-5.1, GPT-OSS-120B, Qwen3-235B), wat aangeeft dat het voordeel voortkomt uit de constructieprocedure en niet uit een specifieke modelarchitectuur.

5. Betekenis en Claims

Het artikel beweert dat agentgeheugen niet passief hoeft te worden opgebouwd uit interacties tijdens de inzet. In plaats daarvan kan het actief worden voorbereid via gecontroleerde, omgevingsgegronde synthetische oefening voordat de inzet plaatsvindt.

Praktische Impact: PREPING biedt een haalbare oplossing voor het "cold-start"-probleem in nieuwe omgevingen waar geen historische taakdata bestaat. Het stelt agenten in staat om te worden ingezet met een "playbook" van herbruikbare procedures, wat de directe prestaties verbetert en de kosten van online adaptatie verlaagt.
Bescheiden Claims: De auteurs merken op dat de methode uitgaat van toegang tot voldoende gedetailleerde API- of tooldocumentatie om synthetische taken te gronden. Ze erkennen dat in omgevingen met slechte documentatie de haalbaarheid van het genereren van gegrondde synthetische taken beperkt kan zijn. Het artikel claimt niet geheugenopbouw op te lossen voor volledig ongedocumenteerde omgevingen, maar eerder voor die met gestructureerde interfaces (zoals MCP-servers) waar documentatie beschikbaar is maar taakverdelingen onbekend zijn.

Kortom, PREPING toont aan dat door gezamenlijk de generatie van synthetische taken en de selectie van trajecten voor opslag te controleren, agenten effectief procedueel geheugen kunnen opbouwen zonder eerdere menselijke taakdata, waardoor de kloof tussen offline voorbereiding en online adaptatie wordt overbrugd.