💻 computer science

Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks

Dit artikel introduceert PRISM, een op transformer gebaseerde architectuur met gated attention en hiërarchische compressie die het kortetermijngeheugen in visuomotorische beleidseffecten voor langdurige taken effectief schaalt, samen met de ReMemBench benchmark voor systematische evaluatie, waarbij significante prestatieverbeteringen worden behaald ten opzichte van bestaande baselines zonder te vertrouwen op grootschalige pretraining.

Oorspronkelijke auteurs: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ingewikkeld maaltijd probeert te koken, maar elke keer als je je hoofd draait om een specerij te pakken, vergeet je direct wat je net aan het doen was. Je zou het fornuis aan kunnen zetten, weg kunnen lopen om een pan te pakken, en dan vergeten de plaat uit te zetten, of erger nog, vergeten dat je al zout hebt toegevoegd. Dit is het probleem waar veel huidige robots tegenaan lopen: ze zijn ongelooflijk slim in het zien van wat er nú voor ze staat, maar ze hebben bijna geen "kortetermijngeheugen" van wat er een paar seconden of minuten geleden is gebeurd.

Deze paper introduceert een nieuw robotbrein genaamd PRISM en een nieuwe test genaamd REMEMBENCH om dit probleem op te lossen. Zo werkt het, eenvoudig uitgelegd:

Het Probleem: Robots met "Goudvisgeheugen"

De meeste moderne robots leren door te kijken naar hoe mensen taken uitvoeren (zoals een leerling die een leraar nabootst). Echter, zij kijken meestal alleen naar het huidige videoframe. Als een taak vereist dat er iets onthouden wordt dat 30 seconden geleden is gebeurd — zoals "Ik heb het fornuis aangezet, dus ik moet 2 minuten wachten voordat ik het uitzet" — faalt de robot omdat hij geen geheugen heeft van die vorige actie.

Als je probeert dit op te lossen door de robot simpelweg een langere videohistorie te geven om naar te kijken, gebeuren er twee slechte dingen:

Het Ruisprobleem: De robot raakt overweldigd door te veel informatie. Hij kan beginnen willekeurige, nutteloze details (zoals een afleidend object op de achtergrond) te koppelen aan zijn beslissingen, wat leidt tot fouten.
Het Zware Werk Probleem: Het verwerken van een lange videohistorie vereist enorme hoeveelheden rekenkracht en geheugen, waardoor de robot traag en duur wordt in gebruik.

De Oplossing: PRISM (De Slimme Bibliothecaris)

De auteurs hebben PRISM gebouwd, een robotbeleid dat werkt als een slimme bibliothecaris in plaats van een verzamelaar. In plaats van elk enkel paginaatje van een boek in zijn hoofd te houden, gebruikt het twee slimme trucs:

De "Gated Attention" Filter (De Bouncer):
Stel je voor dat het geheugen van de robot een drukke kamer is. PRISM heeft een bouncer bij de deur die beslist wie er mag blijven en wie eruit moet. Als de robot zich herinnert "Ik heb een rode appel gepakt", maar de huidige taak gaat over een blauwe kom, dan blokkeert de bouncer de herinnering aan de rode appel om de robot niet af te leiden. Dit voorkomt dat de robot onzinnige verbanden legt tussen irrelevante gebeurtenissen uit het verleden en huidige acties.
De "Hierarchical" Samenvatter (De Nieuwslezer):
In plaats van elk woord van een lange geschiedenis te lezen, leest PRISM eerst kleine stukjes van het verhaal en schrijft een korte samenvatting voor elk stukje. Vervolgens leest het die samenvattingen om het hele plot te begrijpen. Dit is alsof een nieuwslezer de gebeurtenissen van de dag samenvat in plaats van elk ruw politierapport voor te lezen. Dit maakt de robot veel sneller en vereist veel minder computergeheugen, waardoor het mogelijk is om tot wel twee minuten aan geschiedenis te onthouden.

De Test: REMEMBENCH (Het Geheugenseizoen voor Robots)

Om te bewijzen dat hun robot daadwerkelijk een geheugen heeft, hebben de auteurs REMEMBENCH gecreëerd. Zie dit als een gestandaardiseerde "rijbewijstest" voor het geheugen van een robot. Het test niet alleen of de robot zijn arm kan bewegen; het test vier specifieke soorten kortetermijngeheugen:

Ruimtelijk Geheugen: "Waar heb ik dat fruit neergelegd?" (De robot moet een object vinden dat hij momenteel niet kan zien).
Prospectief Geheugen: "Ik moet het fornuis over 2 minuten uitzetten." (De robot moet een toekomstige actie onthouden op basis van een verleden trigger).
Object-Associatief Geheugen: "Ik heb deze appel gewassen, dus ik moet hem in deze specifieke kom terugleggen." (De robot onthoudt welk object bij welke container hoort).
Object-Set Geheugen: "Ik moet alle stokjes verplaatsen, maar ik moet ze tellen terwijl ik dat doe." (De robot houdt een lopende telling bij van een groep items).

De Resultaten: Een Duidelijke Winnaar

Toen ze PRISM testten tegenover andere robots (inclusief robots met een standaard "lang geheugen" of andere soorten AI-breinen):

Op de Geheugentest: PRISM was de duidelijke winnaar en versloeg de op één na beste robot met een aanzienlijke marge (5% tot 12% beter).
Op Standaardtaken: Zelfs op taken die het geheugen niet expliciet testen, presteerde PRISM beter. Waarom? Omdat het hebben van een geheugen de robot helpt de context te begrijpen. Bijvoorbeeld: weten of je "net een beker hebt opgepakt" of "op het punt staat hem neer te zetten" helpt om verwarring te voorkomen.
De Werkelijkheid: Toen ze het op een echte fysieke robot probeerden, faalde de robot zonder geheugen volledig (0% succes), terwijl PRISM in 30% van de gevallen slaagde.

De Kernboodschap

De paper beweert dat door een "bouncer" te gebruiken om ruis te filteren en een "samenvatter" om ruimte te besparen, robots eindelijk kunnen onthouden wat er enkele minuten geleden is gebeurd. Dit stelt hen in staat om lange, complexe huishoudelijke taken aan te pakken die een reeks stappen vereisen, in plaats van alleen te reageren op het huidige moment. De auteurs bieden het robotbrein (PRISM) en de test (REMEMBENCH) aan om andere onderzoekers te helpen betere, meer geheugenbekwame robots te bouwen.

Technische Samenvatting: Schalen van Kortetermijngeheugen voor Visuomotorische Beleid bij Langdurige Taken

1. Probleemstelling

Robotische taken vereisen vaak kortetermijngeheugen (over een periode van seconden tot minuten) om partiële observeerbaarheid te beheersen, zoals het ophalen van objecten die niet langer zichtbaar zijn of het timen van acties zoals het uitzetten van een apparaat. De meeste huidige transformer-gebaseerde beleidsmodellen (policies) die via imitation learning worden getraind, zijn echter myopisch (kortzichtig); ze vertrouwen uitsluitend op onmiddellijke sensorische inputs zonder gebruik te maken van eerdere ervaringen.

Het uitbreiden van standaard transformer-gebaseerde beleidsmodellen door middel van langere contextvensters om dit aan te pakken, brengt twee kritieke uitdagingen met zich mee:

Spurieuze Correlaties: Het naïef aandacht schenken aan lange geschiedenissen introduceert irrelevante informatie (bijv. de locaties van eerdere afleiders), wat ertoe leidt dat modellen valse correlaties aanleren die de prestaties verslechteren wanneer de context verandert.
Computationele Schaalbaarheid: De computationele en geheugendruk van standaard aandachtmechanismen schaalt lineair of kwadratisch met de contextlengte. Het verwerken van hoogdimensionele visuele inputs over lange temporele sequenties (bijv. minuten) wordt prohibitief duur.

2. Methodologie: PRISM

De auteurs stellen PRISM (Policy Architecture with Short-Term Memory) voor, een transformer-gebaseerde architectuur die ontworpen is om effectief gebruik te maken van kortetermijngeheugen via twee belangrijke innovaties:

Gated Attention (Informatiefiltering): Om spurieuze correlaties te beperken, introduceert PRISM een post-attention gating mechanisme. Dit component filtert selectief de opgehaalde informatie door de output van elke attention block te moduleren met behulp van een leerbare gate die geconditioneerd is op de huidige input features. Dit stelt het beleidsmodel in staat om adaptief irrelevante details uit de geschiedenis te onderdrukken, waardoor ruis in de actievoorspelling wordt verminderd.
Hiërarchische Architectuur (Efficiëntie): Om schaalbaarheid aan te pakken, gebruikt PRISM een hiërarchisch ontwerp.
- Lokale Encodering: Een lokale geheugenencoder verwerkt sensorische inputs en comprimeert deze tot compacte tokens met behulp van een Perceiver-stijl resampler.
- Globale Attention: Een globale geheugenencoder berekent attention over deze gecomprimeerde tokens door de tijd heen.
- Fusie: De resulterende globale informatie wordt teruggebroadcast en gefuseerd met de originele lokale tokens via residual connections.
- Voordeel: Deze aanpak reduceert de computationele complexiteit van $O((n \cdot k_{tot})^2)$ naar ongeveer $O(n \cdot k_{tot} \cdot m + (n \cdot k_{tot}/m)^2)$ , waarbij $m$ de compressiefactor is. Het vermindert ook de geheugendruk tijdens de testfase aanzienlijk door alleen de gecomprimeerde samenvattende tokens te cachen.

PRISM wordt getraind met standaard behavior cloning (imitation learning) zonder hulpverliezen (auxiliary losses) of externe geheugenmodules, waarbij sequenties van het verleden van sensorische inputs en acties worden gemapt naar toekomstige acties in een closed-loop setting.

3. Belangrijkste Bijdragen

PRISM Architectuur: Een nieuw beleidsmodel dat gated attention en hiërarchische samenvatting combineert om het kortetermijngeheugen op te schalen naar twee minuten (bij 2–3 Hz), terwijl de computationele efficiëntie en robuustheid tegen ruis behouden blijven.
REMEMBENCH: Een nieuwe benchmark bestaande uit acht diverse huishoudelijke manipulatietaken die vier categorieën van kortetermijngeheugen beslaan, afgeleid uit de cognitieve wetenschap:
- Ruimtelijk (Spatial): Het herinneren van objectlocaties (bijv. het ophalen van verborgen fruit).
- Prospectief (Prospective): Het vasthouden van intenties over een vertraging (bijv. vlees bakken voor een specifieke duur).
- Object-Associatief (Object-Associative): Het herinneren van object-locatie associaties (bijv. een gewassen item terugbrengen naar de specifieke originele schotel).
- Object-Set: Het bijhouden en updaten van verzamelingen van meerdere objecten (bijv. het tellen van stokjes brood die naar de magnetron zijn verplaatst).
- In tegenstelling tot eerdere benchmarks die zich richten op één aspect of indirecte geheugentests, vereist REMEMBENCH expliciet geheugen om te slagen, aangezien directe sensorische inputs onvoldoende zijn.

4. Experimentele Resultaten

Het artikel evalueert PRISM tegen recurrente architecturen (LSTM, Mamba), segment-niveau recurrente transformers (Transformer-XL) en andere transformer-varianten (Linear Attention, Scene Memory Transformer) op REMEMBENCH en standaard benchmarks.

REMEMBENCH Prestaties: PRISM bereikt een gemiddeld succespercentage van 41%, waarmee het de sterkste baselines (SMT op 36%, PTP op 28%, Mamba op 25%) verslaat met een absolute marge van 5%–12%.
- Schaalbaarheid: Prestaties schalen met de geheugengrootte; het vergroten van het venster van 1 naar 512 tijdstappen verbetert het succespercentage van 16% naar 42% zonder verzadiging.
- Ablatie: Het verwijderen van het gating mechanisme veroorzaakt een daling van 16 punten in prestaties, wat de noodzaak ervan bevestigt voor het filteren van irrelevante historie.
Standaard Benchmarks (ROBOCASA & LIBERO):
- Op ROBOCASA bereikt PRISM met geheugen (n=256) 43% succes, een absolute verbetering van 11% ten opzichte van de variant zonder geheugen en een 11% verbetering ten opzichte van de gefinetunede GR00T-N1-2B baseline.
- Op LIBERO bereikt PRISM een gemiddeld succes van 89%, een verbetering van 15% ten opzichte van de gefinetunede OpenVLA baseline en een 12% verbetering ten opzichte van de variant zonder geheugen.
- De auteurs merken op dat het toevoegen van geheugen helpt bij het oplossen van actie-ambiguïteit in visueel identieke staten (bijv. het onderscheiden van "net gegrepen" van "op het punt om te plaatsen"), wat de multimodaliteit vermindert, zelfs in taken die niet expliciet ontworpen zijn om geheugen te testen.
Real-World Evaluatie: In een real-world adaptatie van de "Wash and Return to Container" taak behaalde PRISM 30% succes, vergeleken met 15% voor een transformer-baseline zonder geheugen en 0% voor een beleid zonder geheugen.
Efficiëntie: Bij een contextlengte van 512 stappen vermindert PRISM het piek GPU-geheugengebruik met 80% en de runtime met 40% vergeleken met volledige globale attention en hybride sliding-window benaderingen.

5. Betekenis en Claims

Het artikel claimt dat PRISM en REMEMBENCH een fundament leggen voor de ontwikkeling en evaluatie van met kortetermijngeheugen uitgebreide visuomotorische beleidsmodellen die in staat zijn langdurige taken uit te voeren.

Generalisatie: Door vier verschillende geheugencategorieën te dekken, stimuleert REMEMBENCH de ontwikkeling van algemene geheugenmechanismen in plaats van geïsoleerde, taakspecifieke oplossingen.
Schaalbaarheid: PRISM demonstreert dat kortetermijngeheugen kan worden opgeschaald naar minuten van interactie zonder de prohibitieve kosten die gepaard gaan met naïeve uitbreidingen van het contextvenster.
Robuustheid: Het gated attention mechanisme blijkt essentieel om te voorkomen dat het model spurieuze correlaties aanleert in ruizige, langdurige data.

De auteurs concluderen dat hoewel de huidige succespercentages op REMEMBENCH (rond de 30–40%) aangeven dat langdurige taken uitdagend blijven, de consistente winsten door geheugen-augmentatie over diverse architecturen en benchmarks de aanpak valideren. Zij identificeren toekomstige richtingen zoals het integreren van persistent langetermijngeheugen en het benutten van internet-schaal pretraining voor geheugenmodules, maar benadrukken dat hun huidige werk zich strikt richt op de mechanica van kortetermijngeheugen binnen het framework van imitation learning.