🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM is een nieuw raamwerk voor ingebouwde agenten in Minecraft dat geheugen omvormt van inferentie-tijd retrieval naar parametrische vaardigheden door gebruik te maken van een dubbel-systeemarchitectuur van langzame deliberatieve redenering en snelle reflexieve uitvoering, waarbij mislukkingen fungeren als kritieke trainingsignalen voor contrastief leren en een zelfgeactiveerd mechanisme autonoom bepaalt wanneer ervaringen moeten worden geïnternaliseerd om continue leerprocessen mogelijk te maken zonder catastrofale vergetelheid.

Oorspronkelijke auteurs: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert Minecraft spelen. Momenteel leren de meeste robots zoals een student die niets uit het hoofd leert. Elke keer als ze een zombie tegenkomen of een oven moeten bouwen, moeten ze stoppen, een enorm notitieboek met eerdere ervaringen openen, op zoek gaan naar een vergelijkbaar verhaal, het lezen en vervolgens proberen uit te zoeken wat ze moeten doen. Dit is traag, kost veel 'hersenruimte' (computergeheugen), en als het notitieboek te groot wordt, raken ze in de war.

PEAM (Parametric Embodied Agent Memory) is een nieuwe manier voor robots om te leren die het spel verandert. In plaats van alleen een notitieboek bij te houden, helpt PEAM de robot zijn ervaringen te internaliseren. Het verandert "Ik herinner me hoe ik dit deed" in "Ik weet hoe ik dit moet doen."

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het twee-heren-systeem: De Denker en De Doener

PEAM gebruikt een 'trage' en een 'snelle' hersenfunctie die samenwerken:

De Trage Denker (Deliberative LLM): Dit is de expertplanner. Hij denkt diep na, schrijft code, plant complexe stappen en probeert moeilijke problemen op te lossen. Als hij faalt, zoekt hij uit waarom en probeert het opnieuw.
De Snelle Doener (Parametric Skills): Dit is de reflexieve spiergeheugen. Zodra de Trage Denker een probleem heeft opgelost (zoals het maken van een zwaard), bewaart hij niet alleen het verhaal. Hij leert de Snelle Doener de vaardigheid direct. De volgende keer kan de Snelle Doener het direct doen zonder de Trage Denker te raadplegen.

2. Het 'Internalisatie'-proces: Van Notitieboek naar Spiergeheugen

Denk aan het leren fietsen. Aan het begin moet je nadenken over balans, trappen en sturen (Trage Denker). Uiteindelijk doe je het gewoon zonder na te denken (Snelle Doener). PEAM automatiseert dit voor een robot.

Leren van falen: De meeste robots negeren fouten of schrijven ze gewoon op als tekstnotities. PEAM behandelt falen als een trainingssein. Het kijkt naar een 'Mislukte Poging' en de 'Correctie' die het heeft opgelost. Het leert de robot: "Doe X niet (het falen); doe Y (de correctie)." Dit is als een coach die zegt: "Je viel omdat je te ver naar links leunde; de volgende keer leun naar rechts."
De 'Worthiness'-score: De robot leert niet alles. Het heeft een filter (genaamd Parameterization-Worthiness) dat vraagt: "Is deze vaardigheid nuttig genoeg om uit het hoofd te leren? Is het stabiel? Is het iets wat we vaak doen?" Als het antwoord ja is, wordt het geïnternaliseerd. Als het een eenmalige flauwekul is, blijft het in het notitieboek.

3. De 'Gespecialiseerde Gym' (Isolated Adapters)

Dit is de grootste innovatie van het artikel om 'vergeten' te voorkomen.
Stel je een gym voor met verschillende zalen: een Crafting Zaal, een Combat Zaal en een Farming Zaal.

In oude systemen zou het leren vechten per ongeluk kunnen overschrijven hoe de robot weet hoe hij moet craften (zoals het door elkaar halen van je gymkleding).
In PEAM heeft de robot fysiek geïsoleerde zalen (genaamd adapters). Als het leert vechten, wordt alleen de 'Combat Zaal' bijgewerkt. De 'Crafting Zaal' blijft onaangetast. Dit betekent dat de robot voor altijd nieuwe vaardigheden kan leren zonder de oude te vergeten.

4. Het Zelf-geactiveerde Wekker

Hoe weet de robot wanneer het moet stoppen met oefenen en moet beginnen met onthouden?

Oude manier: "Laten we 100 keer oefenen en dan onthouden." (Dit is stijf en kan te vroeg of te laat onthouden).
PEAM-methode: De robot heeft een zelf-geactiveerde wekker. Het observeert zijn eigen faalpercentage. Als het begint te falen bij een specifieke taak vaker dan normaal, gaat de wekker af: "Hé, we hebben moeite hiermee. Laten we stoppen en de oplossing direct internaliseren." Dit werkt ongeacht wat de taak is, zonder dat een mens een specifiek getal hoeft in te stellen.

Waarom is dit beter?

Het artikel testte dit in Minecraft en vond drie belangrijke voordelen:

Snelheid: Omdat de robot niet elke keer een notitieboek hoeft te doorzoeken, handelt het veel sneller (ongeveer 40% sneller in de tests).
Efficiëntie: Het gebruikt veel minder rekenkracht (ongeveer 85% minder 'tekst' om te verwerken) omdat het oude verhalen niet opnieuw hoeft te lezen.
Geen vergeten: Door de 'gespecialiseerde zalen' zorgde het leren van een nieuwe vechtmove er niet voor dat de robot vergat hoe hij een huis moest bouwen.

Samenvatting

PEAM is als het nemen van een student die voor elke vraag een handboek nodig heeft en het omzetten in een expert die de vaardigheden daadwerkelijk uit het hoofd heeft geleerd. Het leert door te doen, leert van fouten, houdt verschillende vaardigheden gescheiden zodat ze niet door elkaar raken, en weet precies wanneer het moet stoppen met oefenen en moet beginnen met onthouden. Het resultaat is een robot die sneller, slimmer is en niet vergeet wat het heeft geleerd.

Technische Samenvatting: PEAM - Parametrische Geïncorporeerde Agentgeheugen

1. Probleemstelling

Huidige op Large Language Models (LLM) gebaseerde geïncorporeerde agenten, met name in complexe omgevingen zoals Minecraft, vertrouwen sterk op niet-parametrisch geheugen. In deze systemen worden eerdere trajecten, reflecties en vaardigheden extern opgeslagen (bijvoorbeeld in vectordatabases of vaardigheidsbibliotheken) en tijdens de inferentie opnieuw in de prompt geïnjecteerd. Hoewel dit herinnering mogelijk maakt, brengt dit aanzienlijke beperkingen met zich mee:

Latentie en Kosten: Elke beslissingscyclus vereist het ophalen en serialiseren van eerdere ervaringen, wat het gebruik van het contextvenster en de inferentielatentie verhoogt.
Statisch Beleid: Het onderliggende parametrische beleid van de agent (het backbone-model of het trainbare module) blijft onveranderd over taken heen. Zelfs als een externe bibliotheek groeit, leert de agent niet om vaardigheden efficiënter uit te voeren; het haalt ze slechts op.
Ontbrekende Consolidatie: Bestaande systemen handelen de verwerving van ervaring (via vaardigheidsbibliotheken) af, maar missen een mechanisme voor consolidatie—het proces waarbij geselecteerde episodische sporen worden omgezet in duurzame, geïnternaliseerde parametrische competentie.

Het artikel stelt dat duurzame geheugen in cognitieve systemen voortkomt uit twee complementaire systemen: een snelle episodische opslag en een langzame, gedistribueerde parametrische opslag, gekoppeld door offline consolidatie. PEAM beoogt dit operationeel te maken voor geïncorporeerde agenten door een pad te creëren voor ervaring om van externe herinnering naar de trainbare parameters van de agent te bewegen.

2. Methodologie

PEAM (Parametrische Geïncorporeerde Agentgeheugen) is een tweelaagsraamwerk ontworpen om ervaring te internaliseren in parametrische vaardigheden.

Architectuur

Langzame Laag (Deliberatief): Een grote LLM (bijvoorbeeld GPT-4o) behandelt open-ended redenering, codesynthese en verificatie van uitkomsten. Het verkent de omgeving, detecteert fouten en genereert gecorrigeerde trajecten.
Snelle Laag (Parametrisch): Een multimodale Mixture-of-Experts (MoE) LoRA-architectuur gebouwd op een Qwen3-VL-8B-Instruct backbone. Het voert geconsolideerde vaardigheden reflexief uit met lage latentie.
Episodische Opslag: Een extern geheugen dat succesvolle trajecten en fout-correctieparen die door de langzame laag zijn gegenereerd, in een tussenfase opslaat.

Kernmechanismen

PEAM adresseert drie kritieke vragen: Wat te internaliseren, Wanneer te internaliseren en Hoe te internaliseren.

A. Hoe: Consolidatie van Succes en Fout-Correctie

PEAM behandelt fouten als een eersteklas trainingssein. De episodische opslag bevat:

Succes Trajecten ( $D_{succ}$ ): Geverifieerde succesvolle uitvoeringen.
Fout-Correctieparen ( $D_{cpair}$ ): Paren van een gefaald traject ( $\tau_f$ ) en een daaropvolgende gecorrigeerde succes ( $\tau_c$ ) onder dezelfde context.

De snelle module updatet specifieke per-categorie geïsoleerde adapters ( $\theta_c$ ) met behulp van een gezamenlijk doel:
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

Behavioral Cloning (BC): Zorgt ervoor dat de adapter de absolute syntactische steigers (bijvoorbeeld code-wrappers) leert die nodig zijn voor de actieparser om te functioneren.
PEAM-DPO (Direct Preference Optimization): Een contrastieve loss waarbij het gecorrigeerde traject de voorkeur krijgt boven het gefaalde. Dit leert de agent hoe acties te corrigeren, niet alleen wat succesvol is.
Isolatie: Updates zijn beperkt tot de specifieke categorie-adapter (bijvoorbeeld Craften, Gevecht), waardoor interferentie met andere vaardigheden wordt voorkomen.

B. Wat: Parameterisatie-waardigheid (PV) Score

Niet alle ervaringen moeten worden geïnternaliseerd. PEAM gebruikt een scorefunctie om kandidaten te rangschikken op basis van:

Kostbesparing ( $U_{cost}$ ): Geschatte opslagkosten bespaard (frequentie $\times$ code-lengte).
Stabiliteit ( $U_{stab}$ ): Consistentie van succes over contexten heen.
Redundantie ( $P_{redun}$ ): Straft gelijkenis met reeds geïnternaliseerde vaardigheden af.
Vergetelheidsrisico ( $R_{forget}$ ): Een structurele proxy; als een vaardigheid een categorie deelt met bestaande parameters, loopt het risico op interferentie (hoewel isolatie dit mitigeert, houdt de score rekening met de categorie-identiteit).

Alleen kandidaten in de top- $q$ kwantiel van PV-scores worden in aanmerking genomen voor consolidatie.

C. Wanneer: Zelf-geactiveerde Consolidatie (STC)

In plaats van een vast schema, gebruikt PEAM een schaalvrij, zelf-geactiveerd mechanisme. Consolidatie wordt geactiveerd wanneer de recente faalratio van een vaardigheid significant de historische basislijn overschrijdt, bepaald door een statistische test (Z-score) in plaats van een taak-specifieke absolute drempel. Dit zorgt ervoor dat de trigger overdraagbaar is over verschillende taakverdelingen zonder opnieuw te moeten worden afgesteld.

3. Belangrijkste Bijdragen

Parametrisch Geheugenraamwerk: PEAM verschuift het geheugen van geïncorporeerde agenten van inferentie-tijd ophalen naar in parameters residentieel zijnde vaardigheden, wat latentie en tokenverbruik vermindert terwijl de prestaties op lange horizon worden verbeterd.
Fout als Trainingssein: In tegenstelling tot systemen die fouten omzetten in tekstuele reflecties voor prompts, traint PEAM direct op fout-correctie trajectparen met behulp van een gezamenlijk BC- en DPO-doel. Dit stelt de agent in staat om de specifieke gedragsverschillen tussen falen en slagen te leren.
Architecturale Vergetelheidsweerstand: Door het gebruik van fysisch geïsoleerde per-categorie LoRA-adapters bereikt PEAM parametrisch voortdurend leren. Het internaliseren van een gevechtsvaardigheid overschrijft niet de parameters die worden gebruikt voor craften; dit elimineert catastrofale vergetelheid door ontwerp in plaats van regularisatie.
Schaalvrije Consolidatie-Trigger: De introductie van een zelf-geactiveerd consolidatiemechanisme dat vertrouwt op relatieve faalstatistieken stelt de agent in staat zichzelf te laten evolueren zonder handmatige, taak-specifieke drempelafstelling.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in Minecraft (1.19) met behulp van het VOYAGER-raamwerk, waarbij PEAM werd vergeleken met op ophalen gebaseerde agenten (VOYAGER, Optimus-1), niet-parametrische geheugenvarianten (Reflexion) en parametrische baselines (Volledige Fine-tuning, Gedeelde LoRA, EWC).

Taaksucces: PEAM behaalde 69,7% succes op taken met lange horizon, wat 15,2 procentpunten beter is dan de sterkste ophalingsbaseline (VOYAGER met 54,5%) (McNemar $p=0,018$ ).
Efficiëntie: PEAM verlaagde de mediaan per-call latentie met 42% (5,5s $\to$ 3,2s) en het tokenverbruik per taak met 85% (31,2K $\to$ 4,6K) door de noodzaak om vaardigheidsbibliotheken tijdens de inferentie opnieuw in te injecteren, weg te nemen.
Vergetelheidsweerstand: In sequentiële consolidatie-experimenten (Craft $\to$ Gather $\to$ Gevecht) toonde PEAM 0% vergetelheid op eerder geleerde vaardigheden. Daarentegen verloren gedeelde LoRA-baselines 32,4% prestatie, en volledige fine-tuning verloor 78,5%.
Ablatie-inzichten:
- BC + DPO: Een pure DPO-adapter faalde om parser-compatibele code te genereren (0/12 gevallen), terwijl het gezamenlijke doel slaagde (12/12). De BC-term is essentieel voor het behoud van inzetbare syntaxis.
- Isolatie: Het verwijderen van per-categorie isolatie veroorzaakte aanzienlijke vergetelheid, wat bevestigt dat structurele isolatie de primaire drijver is van retentie.
- Trigger Robuustheid: Het zelf-geactiveerde mechanisme behield consistente prestaties over verschillende taakverdelingen (craft-zwaar vs. gevecht-zwaar) zonder opnieuw af te stellen, in tegenstelling tot baselines met vaste drempels.

5. Betekenis en Aanspraken

Het artikel beweert dat PEAM een levensvatbaar pad demonstreert voor geïncorporeerde agenten om over te gaan van het accumuleren van externe geschiedenissen naar het internaliseren van geselecteerde ervaringen als onderdeel van hun kernbeleid.

Efficiëntie versus Ophalen: De resultaten suggereren dat hoewel rijkere ophaling (bijvoorbeeld multimodale context) helpt, de operationele voordelen van het internaliseren van vaardigheden in parameters (latentie, tokenreductie en directe uitvoering) winsten opleveren die alleen door ophalen niet kunnen worden gevangen.
Structureel Voortdurend Leren: Het werk betoogt dat vergetelheidsweerstand bij geïncorporeerde agenten moet worden ondersteund door architectuur (parameterisolatie) in plaats van uitsluitend door regularisatietechnieken.
Methodologische Bevindingen: Het artikel benadrukt dat forward-pass preferentiemarges (DPO-scores) niet altijd de inzetbaarheid van gegenereerde code voorspellen, en onderstreept de noodzaak van gezamenlijke doelen die syntactische beperkingen behouden. Het merkt ook op dat traject-hersnijding kan dienen als een hanteerbaar substitueer voor evaluatie over verdelingen heen wanneer gekoppelde data uit de echte wereld schaars is.

De auteurs concluderen dat geïncorporeerde agenten niet louter moeten fungeren als vaste beleidslijnen met extern geheugen; ze vereisen een consolidatiepad waar geselecteerde ervaring deel wordt van het beleid zelf, waardoor zelf-evolutie en efficiënte uitvoering mogelijk worden.