Technische Samenvatting: NativeMEM – Natieve Geheugcompressie voor Lange-Horizon Robotische Manipulatie

1. Probleemstelling

Pretrainde Vision-Language-Action (VLA) modellen hebben veelbelovend gebleken voor belichaamde besluitvorming, maar zijn fundamenteel beperkt door hun reactieve aard. De meeste bestaande VLA's conditioneren acties uitsluitend op de huidige observatie en taalinstructie, waardoor ze niet de capaciteit hebben om visuele geschiedenissen met een lange horizon vast te houden. Deze beperking is cruciaal voor niet-Markoviaanse manipulatietaken waarbij de juiste actie afhangt van het verleden, zoals het bijhouden van objectaantallen, het onthouden van geoccludeerde staten, het herinneren van mislukte pogingen of het monitoren van de voortgang van een taak.

Huidige benaderingen voor geheugenaugmentatie kampen met significante afruilscenario's:

• VLM-gestuurd Geheugen: Methoden die externe hoogwaardige Vision-Language Modellen (VLM's) gebruiken om tekstuele aantekeningen of subtaken te genereren, vereisen vaak kostbare annotaties en hebben moeite om subtiele visuele details getrouw in taal te coderen.
• Externe Geheugenmodules: Benaderingen die nieuw geïnitialiseerde geheugenmodules introduceren (bijv. recurrente staten, retrieval banks) binnen de policy verhogen de architecturale complexiteit. Omdat deze modules niet zichtbaar waren tijdens de pretraining van de VLA, lopen ze het risico de pretrainde policy te degraderen en introduceren ze een "compressiedilemma": onvoldoende compressie leidt tot hoge computationele kosten, terwijl overmatige compressie actie-kritieke details weggooit.

De kernuitdaging is het ontwerpen van een mechanisme waarmee een VLA langdurige, fijnmazige visuele geschiedenissen kan behouden met minimale geheugenkosten, terwijl het volledig compatibel blijft met de tokenruimte en aandachtmechanismen van de pretrainde policy.

2. Methodologie: NativeMEM

De auteurs stellen NativeMEM voor, een VLA-policy die langetermijn, in real-time bijgewerkt geheugen direct integreert in de architectuur van het pretrainde model zonder externe planners of nieuwe geheugenmodules. De kerninnovatie is Native Geheugcompressie.

2.1 Native Geheugcompressie

In plaats van een aparte geheugenarchitectuur te introduceren, hergebruikt NativeMEM de eigen vision encoder van de VLA om elk historisch frame uit elke cameraveiling te comprimeren tot een enkele natieve geheugentoken.

• One-Token Compressie: Elk frame-view paar wordt samengevat in een enkele token ($M=1$), wat de sequentielengte drastisch vermindert vergeleken met het behouden van volledige visuele tokens.
• Natieve Integratie: Deze tokens worden geproduceerd door hetzelfde visuele pad als de huidige observaties en worden toegevoegd aan de oorspronkelijke tokensequentie. Dit stelt de pretrainde VLA in staat om naar de lange-termijn geschiedenis te kijken via zijn bestaande aandachtmechanismen, waarbij de tokens worden geïnterpreteerd als "natieve visuele bewijslast" in plaats van externe staten.

2.2 Tweestaps Trainingspipeline

Om ervoor te zorgen dat deze compacte tokens zowel informatie-rijk als uitgelijnd zijn met de pretrainde policy, introduceren de auteurs een tweestaps trainingsproces:

1. Fase 1: Leren van een Generieke Geheugen-Tokenizer (Actie-gesuperviseerd)

   • De pretrainde VLA is bevroren.
   • Een geheugen-tokenizer, geïnitialiseerd vanuit de natieve vision encoder van de VLA, wordt getraind om eerdere observaties te comprimeren.
   • Doelstelling: De tokenizer wordt geoptimaliseerd met de oorspronkelijke actievoorspellingsverlies (action prediction loss) van de VLA. Dit zorgt ervoor dat de gecomprimeerde tokens "actie-gesuperviseerd" zijn (informatie coderend die relevant is voor het voorspellen van acties) in plaats van "reconstructie-gesuperviseerd" (wat mogelijk irrelevante visuele details zou behouden).
   • Data: De tokenizer wordt getraind op een mix van standaard manipulatiedata en geheugen-intensieve taken om een algemene representatie te leren die is uitgelijnd met de tokenruimte van de VLA.

2. Fase 2: Taakspecifieke Finetuning

   • De geleerde geheugen-tokenizer is bevroren.
   • De VLA-backbone en de actie-kop worden ontdooid en gefinetuned op een specifieke doeltaak met beperkte demonstraties.
   • Input: De inputsequentie bestaat uit de huidige observatie, de taalinstructie, de proprioceptieve staat en de toegevoegde sequentie van gecachte geheugentokens afgeleid van de geschiedenis.
   • Deze fase zet een single-frame VLA om in een geheugen-geaugmenteerde policy met minimale taakspecifieke data.

2.3 Real-Time Inferentie

Tijdens de inzet werkt de geheugen-tokenizer onafhankelijk van de VLA-policy. Naarmate er nieuwe observaties binnenkomen, zet de tokenizer deze met een hoge frequentie (bijv. 10Hz+) om in geheugentokens. De VLA-policy voegt simpelweg de nieuwste compacte geheugenwacht toe aan zijn inputtokens. Deze ontkoppeling maakt het behoud van geschiedenissen van minutenlange duur mogelijk met verwaarloosbare latentie-overhead.

3. Belangrijkste Bijdragen

• Native Geheugcompressie: Een nieuw schema dat historische frames comprimeert tot enkele tokens met behulp van de eigen vision encoder van de VLA, waardoor externe geheugenmodules of planners overbodig worden.
• Actie-gesuperviseerde Tokenisatie: Een trainingsstrategie die geheugenrepresentaties direct leert via het actievoorspellingsdoel van de VLA, wat ervoor zorgt dat de gecomprimeerde geschiedenis relevant is voor besluitvorming.
• Efficiënte Lange-Horizon Retentie: De methode maakt aandacht mogelijk over geschiedenissen van minutenlange duur (meer dan 160 frames) met een 9× tot 40× langere horizon dan eerdere methoden, terwijl de lage inferentie-latentie en GPU-geheugengebruik behouden blijven.
• Hoge Datanefficiëntie: De aanpak bereikt concurrerende prestaties met voorgaande state-of-the-art methoden met slechts 20% van de trainingsdata.

4. Experimentele Resultaten

De auteurs hebben NativeMEM geëvalueerd op geheugen-afhankelijke manipulatietaken in zowel simulatie als de echte wereld.

• Simulatieprestaties: Op een benchmark inclusief RMBench-taken en knopdruk-taken behaalde NativeMEM een gemiddeld succespercentage van 84,0%, waarmee het de beste baseline (Mem-0 met 32,4%) en andere geheugen-geaugmenteerde methoden aanzienlijk versloeg.
• Prestaties in de echte wereld: Op echte robots behaalde NativeMEM een succespercentage van 98,7% over drie taken (Knoppen indrukken, Blok terugleggen, en Boodschappen scannen bij de kassa). Opvallend genoeg presteerde het goed op de "Boodschappen scannen bij de kassa"-taak, die niet gezien was tijdens de eerste fase van de tokenizer-training, wat duidt op sterke generalisatie.
• Efficiëntie:
  • Inferentie: NativeMEM ondersteunt tot 5.000 historische frames binnen een budget van 32 GB geheugen en behoudt real-time reactiviteit (aandacht besteden aan ~200 frames onder de 100ms latentie).
  • Data: Met slechts 10 demonstraties bereikte NativeMEM een gemiddeld succes van 60%, wat 3,5× beter is dan Mem-0.
• Ablatieonderzoeken:
  • Het verwijderen van de tweestaps training (het ontdooien van de VLA tijdens het leren van de tokenizer) zorgde voor een daling van de prestaties naar 23,2%, wat het belang van het bevriezen van de VLA benadrukt om de pretrainde priors te behouden.
  • Het gebruik van generieke visuele kenmerken (mean-pooled) in plaats van geleerde natieve tokens resulteerde in falen bij taken die fijne details vereisen (bijv. Blok terugleggen).
  • Sparse updates of korte horizonten verslechterden de prestaties aanzienlijk, wat de noodzaak voor dichte, lange-horizon dekking bevestigt.

5. Betekenis en Claims

Het artikel beweert dat NativeMEM een verenigde oplossing biedt voor lange-horizon manipulatie door de bestaande visuele encoder van de VLA te hergebruiken. De betekenis ligt in:

1. Compatibiliteit: Het stelt pretrainde single-frame VLA's in staat om toegang te krijgen tot lange-termijn geschiedenis zonder architecturale wijzigingen of externe modules, waardoor het "natieve" karakter van de policy behouden blijft.
2. Schaalbaarheid: Door de geschiedenis te comprimeren tot één token per frame, overwint het de contextlengte en computationele knelpunten die de retentie van geheugen in transformers doorgaans beperken.
3. Praktische Bruikbaarheid: Het demonstreert dat complexe, geheugen-afhankelijke taken kunnen worden opgelost op echte robots met minimale fine-tuning data en lage computationele overhead.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het systeem niet is ontworpen voor persistent geheugen over uren of dagen en dat de afhankelijkheid van actie-supervisie een semantische kloof kan creëren voor zeer abstracte geheugeneisen in toekomstige, meer complexe taken. Ze stellen echter dat NativeMEM effectief de kloof overbrugt tussen reactieve VLA-policies en de behoeften van lange-horizon robotische manipulatie.