Technische Samenvatting: µVLA – Over Recurrente Geheugen voor Gedeeltelijk Observeerbare Manipulatie in VLA-modellen

Probleemstelling

Vision-Language-Action (VLA) modellen formuleren robotbesturing doorgaans als next-token voorspelling over multimodale sequenties, waarbij wordt aangenomen dat de huidige observatie (mogelijk aangevuld met een korte context-window) een voldoende statistiek is voor besturing. Deze Markoviaanse aanname geldt in volledig observeerbare omgevingen, maar faalt onder gedeeltelijke observeerbaarheid, waarbij relevante informatie voor besluitvorming transient, geoccludeerd of eerder in een episode vastgesteld is.

Bestaande benaderingen voor geheugen in VLA's combineren recurrentie vaak met andere complexe mechanismen, zoals externe retrieval-systemen, hiërarchische geheugenstructuren, hulpdoelstellingen (bijv. het voorspellen van het verleden van observaties) of taakspecifieke architecturale wijzigingen. Bijgevolg blijft de specifieke bijdrage van recurrente werking zelf verstrengeld met deze omringende mechanismen, wat het moeilijk maakt om te isoleren of prestatiewinst voortkomt uit de recurrente staat of uit de hulpcomponenten.

Methodologie: µVLA

De auteurs presenteren µVLA, een gecontroleerde isolatiestudie van recurrentie binnen een sterke, vooraf getrainde VLA-backbone (OpenVLA-OFT). De kernformulering breidt de transformer uit met een minimale set leerbare geheugentokens ($M_t \in \mathbb{R}^{m \times d}$) die over tijdstappen worden meegedragen en worden bijgewerkt via standaard self-attention.

Belangrijke Ontwerpkiezen

1. Minimalistische Architectuur: Het model voegt alleen $m$ leerbare geheugentokens toe aan de inputsequentie (geplaatst tussen proprioceptie en teksttokens). Er worden geen nieuwe lagen, externe geheugenbanken of retrieval-modules geïntroduceerd.
2. Trainingsregime:
   • Episodische Dataloader: In tegenstelling tot standaard geshuffelde training, wordt het model getraind op temporeel geordende episodes met een round-robin dataloader om staat-continuïteit te behouden.
   • Truncated Backpropagation Through Time (TBPTT): Het model wordt end-to-end gefinetuned met TBPTT over een venster van $K$ stappen. Gradiënten stromen door de recurrente keten binnen het venster, maar worden losgekoppeld bij de grens.
   • Geen Hulpdoelstellingen: Het model wordt uitsluitend getraind op de standaard actievoorspellingsverlies (L1 regressie), zonder hulpdoelstellingen zoals het voorspellen van eerdere observaties.
3. Attention Mask Guard: Een cruciaal ontwerpelement is een aangepaste attention mask die voorkomt dat geheugentokens naar actietokens kijken. Dit voorkomt een degeneratieve oplossing waarbij het model de voorspelde actie-chunk triviaal in het geheugen kopieert, waardoor het gedwongen wordt om taakrelevante omgevingskenmerken te coderen.
4. Receding-Horizon Inference: Om training en inferentie op elkaar af te stemmen, gebruikt het model receding-horizon controle, waarbij het model wordt bevraagd en slechts de eerste actie van een voorspelde chunk wordt uitgevoerd bij elke omgevingsstap. Dit zorgt ervoor dat geheugenupdates plaatsvinden met de juiste cadans, waardoor de mismatch tussen training en test wordt vermeden die inherent is aan open-loop chunking.

Experimentele Opzet

De studie evalueert µVLA op twee benchmarks:

• MIKASA-Robo: Een benchmark voor gedeeltelijk observeerbare manipulatie, ontworpen om geheugenafhankelijkheid te isoleren (bijv. cue-recall, occlusion tracking, sequentiële geheugen).
• LIBERO: Een volledig observeerbare benchmark die dient als controle om regressie in Markoviaanse settings te testen.

De auteurs variëren drie parameters om een familie van modellen te creëren: geheugenbreedte ($m$), TBPTT-lengte ($K$) en de geheugen-update regel (TBPTB versus losgekoppelde Exponential Moving Average).

Belangrijkste Bijdragen

1. Gecontroleerde Isolatiestudie: Dit werk biedt de eerste gecontroleerde isolatie van recurrentie in een vooraf getrainde VLA-backbone, waarbij de recurrentie als een enkele experimentele as wordt gevarieerd zonder verstrengelde retrieval, compressie of hulpdoelstellingen.
2. µVLA Familie: De introductie van een geparametriseerde familie van recurrente fine-tunes van OpenVLA-OFT die dezelfde backbone, optimizer en inferentieprotocol delen, en enkel verschillen in hun recurrente staat-configuratie.
3. Capabiliteitskalibratie: Het artikel kalibreert de "capability envelope" van minimale in-backbone recurrentie, waarbij wordt geïdentificeerd in welke specifieke regimes het voldoende is en waar het faalt.

Resultaten

Prestaties op Gedeeltelijk Observeerbare Taken (MIKASA-Robo)

• TrainingsTaken: Op de vijf trainings-taken (dekend cue-recall, occlusion en sequentieel geheugen) verbeterde de beste µVLA-configuratie ($m=64, K=2$) de gemiddelde succesrate (SR) van 0.42 (geheugenloze baseline) naar 0.84.
  • Significante winsten werden waargenomen in cue-recall taken (bijv. RememberColor5: 0.04 $\to$ 0.93).
• Held-Out Taken (Gelijke Semantiek): Op taken die dezelfde geheugensemantiek delen als de training maar met verschillende moeilijkheidsgraden, behaalde de beste µVLA een SR van 0.23, vergeleken met 0.07 voor de geheugenloze baseline.
• Held-Out Taken (Nieuwe Semantiek): Op taken die geheugenstructuren vereisen die niet aanwezig waren in de trainingsmix (bijv. alleen vorm-geheugen wanneer getraind op kleur), bleef de prestatie nabij de baseline, wat aangeeft dat minimale recurrentie niet automatisch generaliseert naar geheel nieuwe geheugensemantiek zonder hertraining.
• Truncatie Lengte ($K$): Er werd een U-vormige prestatiecurve waargenomen. $K=2$ presteerde beter dan zowel $K=1$ (geen cross-step gradiënten) als $K=8$ (langere gradiënten), wat suggereert dat er een "sweet spot" is voor credit assignment versus signaalresolutie.

Prestaties op Volledig Observeerbare Taken (LIBERO)

• Geen Regressie: Op de volledig observeerbare LIBERO suite behaalde de sterkste recurrente variant ($m=64, K=8$) een gemiddelde SR van 96.2%, wat gelijk is aan of de geheugenloze OpenVLA-OFT baseline overtreft. Dit bevestigt dat het toevoegen van een recurrent kanaal de prestaties in Markoviaanse settings niet verslechtert.
• Inference Sensitiviteit: De resultaten benadrukten het belang van receding-horizon inference. Wanneer hetzelfde µVLA-model werd geëvalueerd met open-loop chunking (geheugen alleen bijgewerkt één keer per chunk), stortte de prestatie in (bijv. Long-10 SR daalde van 95.8% naar 5.4%), wat de cruciale afstemming tussen training en de cadans van de inferentie aantoont.

Diagnostiek en Interventies

• Causale Interventies: Het vervangen van geheugentokens door Gaussische ruis tijdens de inferentie veroorzaakte een scherpe daling in de succesrates op geheugenafhankelijke taken (bijv. RememberColor5: 0.94 $\to$ 0.09), wat bevestigt dat het beleid de recurrente staat actief leest.
• Attention Rollouts: De attention-analyse toonde aan dat geheugentokens zich concentreren op cue-regio's (bijv. een lamp of een rooster) tijdens de observatiefase en diffunderen tijdens de occlusion, wat overeenkomt met de faseovergangen in de taak.
• Generalisatie: Het model vertoonde gedeeltelijke robuustheid tegen OOD (out-of-distribution) cue-identiteiten (bijv. kleurwissels), maar degradeerde aanzienlijk wanneer de fase-lengte (vertraging tussen cue en actie) de trainingshorizon overschreed.

Betekenis en Claims

De auteurs positioneren µVLA niet als een nieuwe fundamentele modelarchitectuur, maar als een kalibratie van de capability envelope van minimale recurrentie.

• Recurrentie is een Sterk Ingrediënt: De resultaten beargumenteren dat recurrentie op zichzelf een krachtig, onderbelicht component is in VLA-systemen. Zelfs een kleine set leerbare tokens, end-to-end getraind zonder hulpdoelstellingen, kan het operationele regime van een VLA kwalitatief veranderen, waardoor het in staat is om gedeeltelijk observeerbare taken op te lossen die onmogelijk zijn voor geheugenloze beleidssystemen.
• Limieten van Minimale Recurrentie: De studie onthult duidelijke grenzen. Minimale recurrentie is voldoende voor taken waarbij de geheugeneis gerepresenteerd is in de trainingsdistributie en de temporele horizon kort is. Het generaliseert echter niet automatisch naar nieuwe geheugensemantiek of zeer lange-horizon afhankelijkheden zonder aanvullende gestructureerde geheugenmechanismen.
• Ontwerpimplicaties: Het werk suggereert dat toekomstige geheugen-geaugmenteerde VLA's de bijdragen van recurrentie zorgvuldig moeten scheiden van retrieval en hiërarchische structuren. De "sweet spot" voor TBPTT-lengte ($K=2$) en de noodzaak van de attention guard zijn specifieke, actiegerichte bevindingen voor het ontwerpen van efficiënte recurrente VLA's.

Samenvattend demonstreert het papier dat recurrente werking alleen, wanneer geïsoleerd en correct getraind, een krachtig mechanisme is voor het afhandelen van gedeeltelijke observeerbaarheid in robotmanipulatie, mits de taaksemantiek binnen de geleerde distributie van het model valt en het inferentieprotocol overeenkomt met de trainingscadans.