Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization

Technische Samenvatting: Directe Actie-Kop Injectie van een Gegrond 3D-punt Ontsluit Spatiële en Taakgeneralisatie

1. Probleemstelling

Vision-Language-Action (VLA) modellen maken gebruik van grootschalige vision-language pretraining om flexibele robotmanipulatie mogelijk te maken. Deze modellen vertonen echter een aanzienlijke broosheid tijdens de testfase op twee kritieke assen:

• Spatiële Generalisatie: De prestaties storten in wanneer de posities van objecten verschillen van de situaties die tijdens de training zijn aangetroffen.
• Taakgeneralisatie: Modellen falen wanneer een bekende scène wordt gekoppeld aan een andere taalinstructie, waarbij ze vaak eerder memorized trajecten herhalen dan reageren op de nieuwe opdracht.

Bestaande benaderingen proberen dit te verzachten door expliciete spatiële gronding (bijv. objectlocaties) te bieden via taalprompts (teksttokens) of visuele prompts (afbeeldingsoverlays). De auteurs stellen dat deze methoden er niet in slagen om systematisch aan te pakken hoe het spatiële signaal wordt gerepresenteerd en geïnjecteerd. Het vertrouwen op 2D-representaties dwingt de policy om intern 3D-geometrie te reconstrueren uit visuele en linguïstische kenmerken, een last die robuuste generalisatie beperkt.

2. Methodologie

Het artikel stelt een lichtgewicht, model-agnostische module voor die de manier waarop grondingssignalen worden verwerkt fundamenteel verandert: het tillen van een 2D-grondingspunt naar 3D en het direct injecteren ervan in de actiekop.

De pijplijn bestaat uit drie stadia:

1. 3D Lifting: Gegeven een 2D-doelpunt (verkregen van een willekeurige off-the-shelf visuele grondingsmodule, zoals een VLM of detector), tilt het systeem dit punt naar de 3D-ruimte met behulp van diepte-informatie en cameraparameters. Het berekent de relatieve verplaatsing ($d$) tussen de doelpositie ($p_t$) en de huidige grijperpositie ($p_g$) in het robotframe:
   $$d = p_t - p_g$$
2. Spatiële Embedding: Deze 3D-verplaatsingsvector wordt gecodeerd in een spatiële embedding ($z_{spatial}$) met behulp van een eenvoudige twee-laags Multi-Layer Perceptron (MLP). De outputdimensie komt overeen met de verborgen grootte van de actiekop.
3. Directe Injectie via AdaLN: Moderne VLA's maken vaak gebruik van een Diffusion Transformer (DiT) als actiekop, die Adaptive Layer Normalization (AdaLN) gebruikt voor conditionering. In plaats van het signaal toe te voegen aan de inputtokens of tekstprompts, injecteert de methode de spatiële embedding direct in het AdaLN-mechanisme. De spatiële embedding wordt gecombineerd met de timestep embedding ($z_{time}$) via elementgewijze optelling om de schaal ($\gamma$) en verschuivingsparameters ($\beta$) van de normalisatielagen te moduleren:
   $$\gamma, \beta = \text{Linear}(z_{time} + z_{spatial})$$
   Dit stelt de policy in staat om direct tijdens de actievoorspelling relevante 3D-geometrische informatie te integreren zonder de VLA-backbone of het pretraining-pijplijn te wijzigen.

3. Belangrijkste Bijdragen

• Identificatie van de Bottleneck: De auteurs demonstreren dat de representatie (2D versus 3D) en het injectiemechanisme (prompting versus directe head-injectie) de primaire factoren zijn die de generalisatie bepalen, in plaats van de bron van het grondingssignaal zelf.
• Lichtgewicht Architectuur: De voorgestelde oplossing vereist geen wijzigingen aan de VLA-backbone of de pretraining-data. Het voegt slechts een twee-laags MLP toe en maakt gebruik van bestaande AdaLN-conditioneringsmechanismen.
• Backbone Agnosticisme: De methode wordt gevalideerd op meerdere verschillende VLA-backbones (GR00T-N1.6 en $\pi0.5$), wat de toepasbaarheid op verschillende modelarchitecturen bewijst.

4. Experimentele Resultaten

De methode werd geëvalueerd op de LIBERO en LIBERO-PRO benchmarks, die Taakperturbatie (veranderende instructies) en Positieperturbatie (veranderende objectlocaties) bevatten.

• Simulatieprestaties:

  • Op GR00T-N1.6 verbeterde de methode het gemiddelde succespercentage onder Taakperturbatie van 31,2% naar 77,5% en onder Positieperturbatie van 28,1% naar 60,2%.
  • Op $\pi0.5$ werden vergelijkbare winsten waargenomen, waarbij de succespercentages toenamen van 37,3% naar 75,9% (Taak) en van 47,0% naar 72,2% (Positie).
  • Gecontroleerde Vergelijkingen: Wanneer voorzien werd van identieke oracle 2D-doelpunten, leverden 2D-varianten (via tekst, visueel of AdaLN-prompts) slechts bescheiden verbeteringen op. In contrast hiermee produceerde de 3D-representatie geïnjecteerd via AdaLN spectaculaire winsten, wat bevestigt dat de 3D-representatie en directe injectie de cruciale factoren zijn.
  • Data-efficiëntie: Een methode getraind op slechts 20 taken met deze aanpak presteerde beter dan baselines getraind op 69 taken, wat suggereert dat architecturaal ontwerp zwaarder weegt dan data-opschaling voor generalisatie.
  • Robuustheid: De methode bleef effectief, zelfs wanneer getraind en getest met ruisige diepte-inputs.

• Validatie in de Werkelijkheid:

  • Experimenten op een Franka Emika Panda robot met consumentenwaardige RGB-D sensoren bevestigden de bevindingen uit de simulatie.
  • Terwijl baselines en 2D-prompt varianten onder perturbaties in de echte wereld bijna naar nul succes zakten, behield de voorgestelde methode een hoge prestatie, wat praktische toepasbaarheid aantoont ondanks ruisige grondingsinputs.

5. Betekenis en Claims

Het artikel claimt dat de centrale bevinding een "eenvoudig maar over het hoofd gezien" inzicht is: gegeven adequate 2D-gronding, is het tillen van het signaal naar 3D en het direct injecteren ervan in de actiekop de sleutel tot het ontsluiten van zowel spatiële als taakgeneralisatie in VLA's.

De auteurs benadrukken dat deze aanpak aanzienlijke prestatiewinsten oplevert zonder de noodzaak van complexe 3D-encoders, extra foundation models of architecturale overhauls. Het werk suggereert dat het vakgebied de integratie van spatiële signalen overcomplicatieert, en dat een directe, geometrie-gealigneerde injectie in de actiekop de meest effectieve weg vooruit is voor robuuste robotmanipulatie. De auteurs merken beperkingen op wat betreft object-agnostische bewegingen en de aanname van beschikbare 2D-gronding, maar positioneren hun bijdrage als een fundamentele stap voor het verbeteren van de robuustheid van VLA's.