💻 computer science

Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation

Dit artikel introduceert de Compressed Action Memory Policy (CAMP), een nieuwe aanpak die robots in staat stelt om langdurige, contactrijke manipulatietaken onder gedeeltelijke observeerbaarheid te beheersen door een zelfgesuperviseerde, gecomprimeerde representatie van hun eigen actiegeschiedenis te leren om impliciet voortgang bij te houden en te herstellen van fouten zonder externe supervisie.

Oorspronkelijke auteurs: Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kuancheng Wang, Seungho Yeom, Jinglin Cao, Yuheng Zhi, Nikhil Shinde, Michael Yip

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De Robot met Amnesie

Stel je voor dat je een puzzel probeert op te lossen, maar elke keer als je een zet doet, iemand je ogen voor een seconde dichtdoet. Wanneer je ze weer opent, zie je de puzzel, maar je weet niet meer hoe je daar bent gekomen. Heb je net geprobeerd een stukje naar links te bewegen en ben je mislukt? Heb je dat stukje al naar rechts verplaatst?

Dit is het probleem waar robots tegenaan lopen bij "contact-rijke" taken (taken waarbij ze dingen moeten duwen, schuiven of aanraken). De camera van een robot ziet de huidige afbeelding, maar de robot weet niet wat de geschiedenis is van wat hij zojuist heeft geprobeerd.

Het resultaat: De robot raakt in de war. Hij kan een blokje tegen een muur duwen, beseffen dat het vastzit, en dan het blokje weer tegen de muur duwen omdat hij vergeten is dat hij dat al geprobeerd heeft. Hij heeft "amnesie".

De Oplossing: CAMP (Het "Mentale Notitieblok" van de Robot)

De auteurs hebben een nieuw systeem ontwikkeld genaamd CAMP (Compressed Action Memory Policy). Zie CAMP niet als een robot die beter ziet, maar als een robot die beter onthoudt.

In plaats van te proberen elk enkel pixel van het verleden te onthouden (wat te veel data is), houdt CAMP een "mentaal notitieblok" bij van zijn eigen acties. Het vraagt zichzelf af: "Wat heb ik zojuist geprobeerd te doen?"

Zo werkt het, opgedeeld in eenvoudige stappen:

1. Het "Gecomprimeerde" Geheugen (De Samenvatting)

Als je elke beweging die je op een dag hebt gemaakt zou opschrijven, zou je notitieblok enorm en rommelig zijn. CAMP is slim met dit soort zaken. Het gebruikt een wiskundige truc (genaamd DCT) om een samenvatting van zijn acties uit het verleden te schrijven.

Analogie: Stel je voor dat je een film beschrijft aan een vriend. Je somt niet elk frame op; je zegt: "Eerst rende de held naar links, toen sprong hij over een hek, en daarna viel hij." Je behoudt de vorm van het verhaal, maar laat de kleine details achterwege.
Waarom het helpt: Deze samenvatting is klein genoeg om in het "brein" van de robot te passen, maar gedetailleerd genoeg om hem te vertellen: "Hé, je hebt dat blokje al naar links geduwd, dus doe dat niet nog een keer."

2. De Training (Leren van Fouten)

CAMP wordt getraind met een "zelfgesuperviseerde" methode. Dit betekent dat de robot leert door naar zijn eigen verleden te kijken, in plaats van dat een menselijke leraar hem vertelt wat hij moet doen.

Het Spel: De robot krijgt een video te zien van een mens die een taak uitvoert. De robot probeert te raden wat de vorige acties van de mens waren op basis van het huidige beeld.
De Les: Als de robot het fout raadt, leert hij ervan. Na verloop van tijd wordt hij heel goed in het kijken naar de huidige scène en zeggen: "Ah, gebaseerd op waar de dingen nu liggen, moet ik eerder geprobeerd hebben om het blokje hierheen te duwen."

3. De "Twee-Stappen" Training (Opwarmen en Verfijnen)

Het paper ontdekte een specifieke manier van lesgeven die het beste werkt:

Warm-up: Eerst oefent de robot alleen het onthouden van het verleden. Het bouwt een sterk geheugen op.
Freeze & Learn: Daarna "bevriezen" ze dat geheugen zodat het niet in de war raakt.
Fine-tune: Ten slotte laten ze de robot leren hoe hij dat geheugen daadwerkelijk kan gebruiken om zijn arm te bewegen.

Analogie: Het is als een student die eerst de regels van een spel uit het hoofd leert (warm-up), dan het spel oefent zonder de regels te veranderen (freeze), en uiteindelijk leert hoe hij strategisch kan spelen (fine-tune). Als je probeert de regels te leren en het spel tegelijkertijd te spelen, raak je in de war en vergeet je de regels.

De Resultaten: Van 0% naar 70%

De onderzoekers testten dit op robots die lastige taken uitvoerden, zoals het duwen van een "T"-vormig blokje in drie verschillende plekken zonder twee keer dezelfde plek te raken, of het vinden van een verborgen knop.

Zonder Geheugen (Oude Robots): Ze faalden bijna alles. Ze duwden het blokje, kwamen vast te zitten, en duwden het dan weer opnieuw, waardoor ze in cirkels gingen draaien. Succespercentage: 0%.
Met CAMP: De robot herinnerde zich: "Ik heb de linkerplek al geprobeerd, dat werkte niet. Ik probeer de middelste." Succespercentage: Tot 94% in simulaties en 70% op echte robots.

Waarom dit Belangrijk is

De meeste robots vertrouwen op "Vision-Language-Action" modellen, wat lijkt op het vragen aan een mens: "Onthoud om het rode blokje te duwen." Maar je moet hen elke keer precies vertellen wat ze moeten onthouden.

CAMP is anders. Het leert de robot om voor zichzelf te onthouden. Het leert dat de geschiedenis van zijn eigen bewegingen de belangrijkste aanwijzing is om de puzzel op te lossen. Het verandert een "gedeeltelijk observeerbaar" probleem (waarbij je niet het hele plaatje kunt zien) in een "helder" probleem door de ontbrekende gaten in te vullen met geheugen.

Samenvatting

Het Probleem: Robots vergeten wat ze net geprobeerd hebben, waardoor ze fouten herhalen.
De Oplossing: CAMP geeft de robot een "gecomprimeerd geheugen" van zijn eigen acties uit het verleden.
De Magie: Het heeft geen mens nodig om het te vertellen wat het moet onthouden; het leert te onthouden door zijn eigen verleden te reconstrueren.
De Uitkomst: Robots kunnen eindelijk complexe, meerstaps-puzzels oplossen waarbij ze moeten leren van hun fouten, net zoals een mens dat zou doen.

Technisch Overzicht: Compressed Action Memory Policy (CAMP)

Probleemstelling

Langdurige, contactrijke robotische manipulatieve taken zijn inherent gedeeltelijk observeerbaar. In deze scenario's vangt een enkele visuele observatie zelden de volledige actiecontext van de robot op, inclusief eerdere pogingen, fysieke interacties of de huidige fase van de voortgang van de taak. Gevolgelijk lijden standaard visuomotorische policies en Vision-Language-Action (VLA) modellen aan "amnesie", waarbij ze handelen op basis van aliased signalen die er niet in slagen om staten te onderscheiden die er visueel identiek uitzien, maar verschillen in hun interactiegeschiedenis.

Bestaande oplossingen kampen met significante beperkingen:

Geheugenloze Policies: Falen in het bijhouden van voortgang of het leren van mislukte pogingen in contactrijke omgevingen.
VLA-gebaseerde benaderingen: Vereisen vaak tijdrovende, niet-schaalbare menselijke prompting om aan te geven wat er onthouden moet worden, of vertrouwen op het voorspellen van hoogdimensionele toekomstige/verleden visuele observaties, wat computationeel prohibitief is en vatbaar is voor het leren van taakonrelevante details.
Visueel Geheugen: Methoden die vertrouwen op visuele token-geheugens of keyframe-retrieval worstelen wanneer de cruciale informatie is gecodeerd in de fysieke contactgeschiedenis in plaats van in het visuele uiterlijk.

Methodologie: Compressed Action Memory Policy (CAMP)

CAMP adresseert deze uitdagingen door de eigen actiegeschiedenis van de robot te benutten als een zeer informatieve, zelfgesuperviseerde signaal. De kerninzicht is dat door te leren de afgelopen acties te reconstrueren, een policy op natuurlijke wijze de meest kritieke gedragsinformatie kan extraheren en behouden die nodig is om gedeeltelijk observeerbare staten te onderscheiden.

De CAMP-architectuur bestaat uit drie primaire componenten:

1. Memory Module Pretraining (Zelfgesuperviseerd)

Een recurrente geheugenmodule (geïmplementeerd als een twee-laagse LSTM) wordt gepretrained om de interactiegeschiedenis samen te vatten.

Input: De module verwerkt observatie-actie paren, waarbij specifiek gebruik wordt gemaakt van een vaste derde-persoons camera (voor een consistente ruimtelijke referentie) en proprioceptie.
Doel: In plaats van ruwe actiesequenties te onthouden, voorspelt de module een gecomprimeerde representatie van de afgelopen actietraject via de Discrete Cosine Transform (DCT).
Verliesfunctie: Het trainingsdoel combineert:
- Reconstructieverlies ( $L_{rec}$ ): Houdt toezicht op de voorspelling van DCT-coëfficiënten in het frequentiedomein. Een frequentiegewicht verlaagt de hoge-frequentie coëfficiënten, waardoor het geheugen wordt gedwongen de laag-frequente structuur (vorm) van het traject te vangen terwijl stap-niveau ruis wordt weggefilterd.
- Temporele Consistentie ( $L_{cons}$ ): Zorgt ervoor dat de reconstructie van een vaste actie in het verleden consistent blijft naarmate de episode vordert, wat voorkomt dat het geheugenaccount gaat driften.
Resultaat: De verborgen toestand $h_t$ wordt een compacte, latente samenvatting van de gedragsgeschiedenis in plaats van een ruwe buffer.

2. Discretisatie (Vector Kwantisatie)

Om generalisatie te verbeteren, wordt de continue verborgen toestand $h_t$ gediscretiseerd met behulp van een Vector Quantizer (VQ).

De toestand wordt toegewezen aan de dichtstbijzijnde entry in een geleerd codeboek.
Deze discretisatie dwingt het geheugen om grofmazige gedragsstaten te coderen in plaats van fijnmazige trajectidentiteiten, wat de auteurs cruciaal vonden voor generalisatie over demonstraties heen.
De gekwantiseerde toestand wordt geprojecteerd naar een geheugencode $m_t$ die dient als het enige geschiedenissignaal voor de actie-kop.

3. Diffusion Action Head

De actie-kop volgt het Diffusion Policy framework, dat een 'chunk' toekomstige acties voorspelt.

Conditionering: Het diffusiemodel wordt geconditioneerd op de concatenatie van visuele kenmerken (afkomstig van zowel derde-persoons als polscamera's), proprioceptie, en de gediscretiseerde geheugencode $m_t$ .
Trainingsschema: Een gestaffeld warm-up-dan-finetune schema wordt toegepast. De geheugenmodule wordt gepretrained en bevroren terwijl de actie-kop leert adapteren aan deze. Vervolgens wordt het geheugen ontdoordoord en gezamenlijk gefinetuned met de actie-kop. Dit voorkomt dat de actieverlies de langetermijninformatie die tijdens de pretraining is geïnstalleerd, erodeert.

Belangrijkste Bijdragen

Zelfgesuperviseerde Geheugenformulering: Introduceert actiegeschiedenis-reconstructie via DCT-compressie als een schaalbaar, zelfgesuperviseerd signaal om taakrelevante gedachtsgeheugen te vangen zonder externe supervisie.
De CAMP Architectuur: Een nieuw framework dat een recurrente geheugenmodule (getraind via DCT actiecompressie) integreert met een diffusiepolicy, wat langdurige, contactrijke manipulatie mogelijk maakt in gedeeltelijk observeerbare omgevingen.
Nieuwe Benchmarks: De release van Memory-T-Bench (2D contactrijke duw-taken) en Memory-Manip-Bench (3D visuele manipulatie), specifiek ontworpen om geheugen-afhankelijke taken te evalueren die het bijhouden van voortgang en leren van fouten vereisen.
Uitgebreide Validatie: Empirische demonstratie van de superioriteit van CAMP ten opzichte van state-of-the-art baselines over simulaties en vier real-robot opstellingen.

Experimentele Resultaten

Simulatie Benchmarks

Memory-T-Bench: CAMP presteert aanzienlijk beter dan de geheugenloze Diffusion Policy (DP) op gedeeltelijk observeerbare varianten.
- Multi-Goals: 94.0% (CAMP) vs. 56.0% (DP).
- Swap-Shuffle: 92.0% (CAMP) vs. 48.0% (DP).
- Op volledig observeerbare taken (standaard Push-T) presteert CAMP vergelijkbaar met DP (98.0% vs. 94.0%), wat aantoont dat er geen straf is voor geheugen wanneer het niet nodig is.
Memory-Manip-Bench: CAMP bereikt een gemiddeld succespercentage van 64.3%, waarmee het de sterkste baseline (DP op 40.9%) met meer dan 23% verslaat. Het leidt op 6 van de 7 taken, met de grootste marges op taken die herinnering van de staat vereisen (bijv. Swap-Block: 86.0% vs. 18.0%).
Data Efficiëntie: Het succespercentage van CAMP schaalt monotoon met het aantal demonstraties (42% tot 94% naarmate het aantal demo's toeneemt van 80 naar 320), terwijl geheugenloze policies geen consistente winst laten zien, wat aangeeft dat de bottleneck voor geheugenloze policies de gedeeltelijke observeerbaarheid is, niet het datavolume.

Real-Robot Experimenten

Geëvalueerd op vier taken: Push-T-Multi-Goals, Swap-Can, Wipe-Plate, en Probe-Insert.

Baselines: Alle geheugenloze baselines (ACT, DP, $\pi^{0.5}$ , MemoryVLA) stortten in naar 0/10 succes op Push-T-Multi-Goals, Swap-Can, en Wipe-Plate.
CAMP: Bereikte 7/10 succes op alle drie de taken en 11/15 op Probe-Insert.
Foutmodi: Baselines faalden door te oscilleren tussen doelen, te stagneren na gedeeltelijke swaps, of in oneindige loops terecht te komen (het hergebruiken van borstels/platen) omdat ze niet konden bijhouden welke subdoelen voltooid waren. CAMP loste dit succesvol op door eerdere interacties te onthouden.

Ablatie Studies

Discretisatie: Het verwijderen van vector kwantisatie verlaagt de prestaties (94% $\to$ 60%), wat bevestigt dat grovere gedragsstaten beter generaliseren dan continue trajectidentiteiten.
Compressie: Het vervangen van DCT door ruwe waypoints of DFT vermindert de prestaties, wat het belang van laag-frequentie compressie onderstreept.
Trainingsschema: Gezamenlijke training vanaf het begin (66%) of pretraining gevolgd door directe finetuning (46%) faalt. Het warm-up-dan-finetune schema is cruciaal om de gepretradieerde geheugen te behouden terwijl het de policy toestaat te adapteren.
Reconstructie vs. Nut: De gefinetunede geheugenmodule, hoewel deze een hogere policy succes bereikt (94%), heeft een slechter reconstructieverlies (1.46) vergeleken met de gepretradieerde geheugenmodule (0.35). Dit geeft aan dat de policy baat heeft bij een gecomprimeerde samenvatting die is afgestemd op besluitvorming, en niet bij een perfecte reconstructie van het verleden.

Betekenis en Claims

Het artikel claimt dat CAMP, voor zover bekend van de auteurs, de eerste policy is die substantieel succes demonstreert op contactrijke, gedeeltelijk observeerbare manipulatieve taken puur door middel van geleerd geheugen.

Belangrijkste punten benadrukt door de auteurs:

Geheugen lost gedeeltelijke observeerbaarheid op: Door de actiegeschiedenis te comprimeren, transformeert CAMP gedeeltelijk observeerbare problemen in effectief Markoviaanse problemen voor de policy.
Zelf-supervisie is voldoende: Robots kunnen robuust gedragsgeheugen leren van hun eigen actiegeschiedenis zonder expliciete taallabels of menselijke prompting nodig te hebben.
Schaalbaarheid: De aanpak vermijdt de computationele kosten van visuele voorspelling en de schaalbaarheidsproblemen van handmatige prompt engineering.

De auteurs merken op dat er beperkingen zijn: de methode heeft nog steeds moeite met extreem langdurige geheugeneisen, en het uitbreiden naar dexterous (behendige) manipulatie blijft een openstaande richting voor toekomstig werk.