ROCKET: Residual-Oriented Multi-Layer Alignment for Spatially-Aware Vision-Language-Action Models

Dit paper introduceert ROCKET, een residual-georiënteerd raamwerk voor multi-layer representatie-uitlijning dat 2D Vision-Language-Action-modellen verrijkt met 3D ruimtelijk inzicht door middel van een gedeelde projector, wat leidt tot state-of-the-art prestaties op robotica-benchmarks met slechts een fractie van de rekkracht.

De kern

ROCKET: De Raket die Robots een 3D-Gevoel geeft

Stel je voor dat je een robot wilt leren om een mok op een fornuis te zetten. Een slimme robot moet niet alleen weten wat een mok is (dat is taal en beeld), maar ook precies weten waar hij is, hoe zwaar hij is en hoe hij eruitziet in de ruimte (dat is 3D-ruimtelijk inzicht).

Het probleem met de slimme robots van vandaag is dat ze zijn opgeleid met platte, 2D-foto's (zoals Instagram). Ze zien de wereld als een schilderij, niet als een driedimensionale ruimte. Ze weten niet goed hoe diep iets is of hoe het eruitziet als je er omheen loopt.

De auteurs van dit paper hebben ROCKET bedacht. Het is een slimme methode om robots te leren hoe ze de 3D-wereld moeten begrijpen, zonder dat ze duizenden uren extra training nodig hebben. Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Eén-Lagen" Fout

Vroeger probeerden onderzoekers robots te helpen door ze te laten kijken naar een "meester" (een heel slim 3D-model) op één specifiek moment in het denkproces van de robot.

• De analogie: Stel je voor dat je een student (de robot) wilt leren wiskunde. Je laat hem alleen naar de oplossing kijken op één pagina van het antwoordboekje.
• Het nadeel: Soms is dat de juiste pagina, maar vaak niet. Als je de verkeerde pagina kiest, leert de student niets. Als je probeert naar alle pagina's tegelijk te kijken met aparte docenten voor elke pagina, raken de instructies in de war en conflicteren ze met elkaar. De student wordt gek en leert niets.

2. De Oplossing: ROCKET (De Raket)

ROCKET lost dit op met twee slimme trucs:

Truc 1: De "Gemeenschappelijke Vertaler" (Shared Projector)

In plaats van voor elke laag van het denkproces een aparte vertaler te hebben, gebruikt ROCKET één enkele, slimme vertaler voor alle lagen.

• De analogie: Stel je voor dat je een gesprek voert met iemand die een andere taal spreekt. In plaats van dat je voor elk woord een andere tolk roept (wat chaos veroorzaakt), heb je één tolk die het hele gesprek vertaalt. Deze tolk zorgt ervoor dat de boodschap consistent blijft, van het begin tot het eind.
• Het resultaat: De robot leert veel sneller en de instructies van de "meester" (het 3D-model) werken samen in plaats van tegen elkaar.

Truc 2: De "Matroesjka" (De Poppenkast)

Soms is de robot al snel goed in het begrijpen van simpele dingen (zoals "dit is een mok"), maar heeft hij meer hulp nodig bij complexe dingen (zoals "hoe draai ik de mok precies?"). Als de robot al snel is, kan hij de rest van de training vergeten omdat hij zich alleen richt op die simpele dingen.

• De analogie: Denk aan een Russische Matroesjka-pop. De buitenste pop is klein en simpel. De binnenste poppen zijn groter en complexer. ROCKET werkt zo:
  • Voor de simpele lagen (de buitenste pop) gebruikt de robot maar een klein stukje van zijn vertaler.
  • Voor de complexe lagen (de binnenste poppen) schakelt hij de hele vertaler in.
• Het resultaat: De robot besteedt de juiste hoeveelheid aandacht aan elk niveau van complexiteit. Hij wordt niet overspoeld door te veel informatie op het begin, maar krijgt wel de volle kracht van de hulp later in het proces.

3. Waarom is dit zo geweldig?

• Snelheid: ROCKET is zo efficiënt dat de robot in slechts 4% van de tijd en rekenkracht leert wat andere methoden in 100% van de tijd doen. Het is alsof je een auto hebt die met een volle tank benzine 1000 km rijdt, terwijl andere auto's maar 100 km halen.
• Betrouwbaarheid: De robot wordt veel beter in ruimtelijke taken. Hij kan beter omgaan met veranderingen in de omgeving (bijvoorbeeld: de mok staat nu links in plaats van rechts).
• Alles-in-één: Het werkt voor verschillende soorten robots en taken, van het openen van een magnetron tot het spelen van een kaartspel met twee handen.

Samenvatting

ROCKET is als het geven van een bril aan een robot die tot nu toe alleen in 2D heeft geleefd. Het doet dit niet door de robot te overladen met informatie, maar door een slimme, gedeelde vertaler te gebruiken die de instructies van een 3D-expert consistent doorgeeft, en die precies weet hoeveel hulp de robot op elk moment nodig heeft. Het resultaat is een robot die de wereld niet alleen ziet, maar echt begrijpt.

Technische samenvatting

Probleemstelling

Vision-Language-Action (VLA) modellen zijn krachtig in het volgen van instructies voor robotmanipulatie, maar ze lijden vaak aan een gebrek aan ruimtelijk begrip. Dit komt doordat ze doorgaans worden voorgeïmplementeerd op 2D-beelddata en geen stabiele 3D-structuur in hun representaties hebben. Bestaande methoden om dit op te lossen door representatie-alignment (waarbij een sterk 3D-vision foundation model als leraar fungeert) hebben twee belangrijke beperkingen:

1. Enkellaagse alignment: De meeste bestaande methoden passen supervisie toe op slechts één laag van het netwerk. De prestaties zijn echter zeer gevoelig voor de keuze van deze laag, wat leidt tot inefficiënte zoektochten achteraf.
2. Gradiëntinterferentie bij multi-layer alignment: Een naïeve uitbreiding naar meerdere lagen (waarbij elke laag zijn eigen projector heeft) leidt vaak tot gradiëntconflicten. Omdat de projectoren onafhankelijk leren, ontwikkelen ze inconsistent mappings tussen de representatieruimtes, wat resulteert in gradiënten die elkaar opheffen en uiteindelijk tot een prestatiedaling leiden.

Methodologie: ROCKET

ROCKET (Residual-Oriented Multi-Layer Alignment) is een framework dat multi-layer alignment formuleert als het alignen van één residustroom naar een andere, met als doel gradiëntinterferentie te minimaliseren. De kerncomponenten zijn:

1. Gedeelde Projector (Shared Projector):
   In plaats van aparte projectoren per laag, gebruikt ROCKET één enkele, lichtgewicht projector die wordt gedeeld over alle geselecteerde lagen van de VLA-backbone en de 3D-leraar (bijv. VGGT).

   • Theoretische onderbouwing: Uit een perspectief van residu-dynamica blijkt dat bij het gebruik van onafhankelijke projectoren de kruislaag-gradiënten vaak orthogonaal of destructief zijn. Een gedeelde projector zorgt ervoor dat de Jacobiaan-structuur gemeenschappelijk is, waardoor de gradiënten constructief worden versterkt in plaats van elkaar te annuleren.

2. Matryoshka-stijl Sparse Activatie:
   Omdat het delen van een projector kan leiden tot het feit dat de eenvoudigere (vlakkere) lagen de training domineren, introduceert ROCKET een mechanisme voor gesparseerde activatie.

   • Werking: De projector heeft een vaste maximale breedte. Voor elke gelaagde laag $i$ wordt alleen een prefix van de verborgen kanalen geactiveerd. De breedte van deze actieve prefix neemt lineair toe naarmate de diepte van het netwerk toeneemt.
   • Doel: Dit balanceert de align-verliezen over de diepte. De lagere lagen gebruiken minder parameters om snelle, lokale aanpassingen te maken, terwijl de diepere lagen het volledige vermogen van de projector gebruiken om complexe, globale ruimtelijke informatie te verfijnen.

3. Layer-Selectie Strategie:
   Het framework maakt gebruik van een eenvoudige, trainingsvrije strategie om lagen te selecteren (bijv. uniform sampling of gebaseerd op input-output overeenkomst), wat robuuste resultaten oplevert zonder dure hyperparameter-zoektochten.

Belangrijkste Bijdragen

• Framework: Introductie van ROCKET, een multi-layer alignment framework dat 3D ruimtelijk redeneren injecteert in 2D-voorgeïmplementeerde VLA-modellen.
• Theoretisch Inzicht: Een theoretische en empirische analyse die aantoont dat gradiëntinterferentie de oorzaak is van het falen van naïeve multi-layer distillatie, en dat een gedeelde projector voldoende en superieur is.
• Efficiëntie: Het bereiken van state-of-the-art (SOTA) prestaties met slechts ongeveer 4% van de rekkracht (compute budget) die nodig is voor eerdere SOTA-methoden.
• Robuustheid: Het framework werkt effectief in datalimiet-scenario's (relevant voor robotica) en generaliseert goed over verschillende datasets en VLA-achtergronden.

Resultaten

ROCKET is uitgebreid getest op meerdere benchmarks, waaronder LIBERO, LIBERO-Plus en RoboTwin 2.0.

• LIBERO Benchmark: ROCKET bereikte een succesrate van 98.5%, wat vergelijkbaar is met de beste bestaande methode (Spatial Forcing, 98.5%), maar dan met een aanzienlijk lager rekverbruik. Het presteerde beter dan eerdere 2D VLA-modellen en 3D VLA-modellen met expliciete 3D-inputs.
• Robuustheid (LIBERO-Plus): ROCKET toonde superieure prestaties onder zeven verschillende verstoringen (perturbations), met name bij robot- en lay-out verschuivingen, wat aangeeft dat het model echt ruimtelijk redeneren heeft geleerd en niet afhankelijk is van oppervlakkige posities.
• Verschillende Modellen: De methode werkte succesvol op verschillende VLA-architecturen, waaronder OpenVLA-7B en PI0.5.
• Efficiëntie: Terwijl eerdere methoden zoals Spatial Forcing 24x meer rekkracht vereisten om vergelijkbare resultaten te bereiken, bereikte ROCKET SOTA-prestaties met een veel kleiner trainingsbudget (1x 32 batch size over 50k stappen).

Betekenis en Impact

ROCKET biedt een eenvoudige, schaalbare en rekenkundig efficiënte route om betrouwbare 3D-bewuste robotmanipulatie mogelijk te maken. Door het probleem van gradiëntinterferentie op te lossen via een gedeelde projector en een slimme activatiestrategie, maakt het het mogelijk om rijke 3D-kennis van grote foundation modellen over te dragen naar VLA-modellen zonder de noodzaak van zware 3D-sensoren of extreme rekkracht. Dit is een belangrijke stap voorwaarts voor het verbeteren van de ruimtelijke gronding (spatial grounding) in embodied AI-systemen.