3D-Mix for VLA: A Plug-and-Play Module for Integrating VGGT-based 3D Information into Vision-Language-Action Models

Probleemstelling

Vision-Language-Action (VLA) modellen, die Multimodale Large Language Models (MLLMs) gebruiken voor robotbesturing, hebben een fundamentele beperking: ze vertonen een gebrek aan ruimtelijke intelligentie. Dit komt doordat MLLMs voornamelijk zijn getraind op 2D-afbeelding-tekstcorpora zonder expliciete 3D-geometrische supervisie. Hierdoor hebben deze modellen moeite met dieptewaarneming en nauwkeurige ruimtelijke redenering, wat essentieel is voor manipulatietaken zoals het lokaliseren van objecten, het schatten van grijpposities en het begrijpen van ruimtelijke relaties.

Hoewel recente studies proberen dit op te lossen door gespecialiseerde 3D-visionmodellen (zoals VGGT - Visual Geometry Grounded Transformer) te integreren, ontbreekt er een systematisch onderzoek naar de optimale integratiestrategie. Bestaande methoden gebruiken diverse fusiemechanismen zonder vergelijking, waardoor het onduidelijk is waar 3D-features het beste kunnen worden ingebracht en hoe semantische (2D) en geometrische (3D) informatie het meest effectief kunnen worden gecombineerd.

Methodologie

De auteurs voeren een uitgebreide empirische studie uit om de beste integratiestrategie te vinden en presenteren vervolgens 3D-MIX, een plug-and-play module.

1. Pilot Study: Vergelijking van Fusiestrategieën

Voordat de uiteindelijke module werd ontworpen, werden negen verschillende fusieschema's voor VGGT-systematisch geëvalueerd op gestandaardiseerde benchmarks (SIMPLER en LIBERO). De schema's varieerden van vroege injectie in de input tot late fusie in de actielaag:

• AE-Fusion: Cross-attention in de actie-expert.
• Early Fusion: Injectie van VGGT-tokens direct in de MLLM-input.
• Concat & CrossAttn Fusion: Voorbewerking en concatenatie of cross-attention.
• Gated Fusion: Gebruik van leerbare poorten (gates) om dynamisch te balanceren tussen semantische en geometrische features.
• 3D-Tokens & Spatial Forcing: Supervisie via alignment loss zonder VGGT tijdens inferentie.
• Middle Layer Injection & Visual Fusion: Injectie in tussenliggende lagen of fusie van visuele tokens.

Resultaat van de pilot study: De Semantic-Conditioned Gated Fusion bleek de meest effectieve strategie. Deze methode past de balans tussen 2D-semantiek en 3D-geometrie adaptief aan op basis van de taakcontext, wat leidde tot de hoogste prestaties in zowel in-domein als out-of-domein scenario's.

2. De 3D-MIX Module

Op basis van de bevindingen van de pilot study is 3D-MIX ontwikkeld als een plug-and-play component die geen wijzigingen vereist in de bestaande MLLM- of actie-expert-componenten.

• Kernprincipe: Semantisch-geconditioneerde adaptieve gating.
• Werkingswijze:
  1. Feature Extractie: VGGT (vrijgelaten, niet getraind) extrahere geometrische features uit multi-view RGB-afbeeldingen.
  2. Projectie: Deze geometrische features worden geprojecteerd naar de hidden dimension van de MLLM.
  3. Semantische Context: De globale semantische context wordt afgeleid uit de MLLM-verborgen staten (via mean-pooling).
  4. Adaptieve Gating: Voor elke tokenpositie wordt een leerbare gate ($g_j$) berekend door de semantische context en de geometrische feature te combineren. Deze gate bepaalt dynamisch hoeveel gewicht er wordt gegeven aan de semantische informatie versus de geometrische informatie:
     $$f_{fused} = g \odot W_s(s_{broadcast}) + (1-g) \odot W_g(F_{geo})$$
• Architectuur-integratie:
  • GR00T-stijl: 3D-MIX fungeert als brug tussen de MLLM en de DiT-actie-expert. De gefuseerde features worden als extra conditie aan de DiT aangeboden.
  • $\pi$-stijl (pi-style): 3D-MIX wordt op elke laag van de MLLM toegepast (layer-wise fusion), waardoor hiërarchische ruimtelijke redenering mogelijk is op verschillende niveaus van abstractie.

Belangrijkste Bijdragen

1. Eerste Systematische Studie: De auteurs bieden het eerste uitgebreide overzicht van negen VGGT-integratieschema's voor VLA-modellen, waardoor de community inzicht krijgt in hoe 3D-informatie manipulatieprestaties beïnvloedt.
2. 3D-MIX Module: Introductie van een lichtgewicht, plug-and-play module die gebruikmaakt van adaptieve gating voor principesvolle 3D-semantische fusie. Het vereist geen aanpassingen aan de broncode van de MLLM of de actie-expert.
3. Generaliseerbaarheid en Validatie: Demonstratie dat 3D-MIX consistent prestatieverbeteringen levert over zes verschillende MLLM-serie (van 2B tot 8B parameters) en twee verschillende VLA-architecturen (GR00T en $\pi$-stijl).

Resultaten

De experimenten zijn uitgevoerd op twee benchmarks:

• SIMPLER: Een out-of-domain (OOD) real-to-sim benchmark die generalisatie naar onbekende objectconfiguraties meet.
• LIBERO: Een in-domein benchmark voor multi-task learning.

Kernresultaten:

• Gemiddelde Verbetering: 3D-MIX leverde een gemiddelde verbetering van +7,0% op de SIMPLER-benchmark over alle negen GR00T-stijl varianten.
• Top Prestaties: De grootste winsten werden geboekt bij modellen zoals RynnBrain-8B (+12,51%) en RoboBrain2.0-7B (+11,39%). Zelfs sterke baselines zoals RoboBrain2.5-8B profiteerden (+1,05%).
• Robuustheid: De verbeteringen waren consistent over verschillende modelgroottes (2B-8B) en beide architectuurstijlen.
• Ablatie Studies:
  • Het vrijlaten (freeze) van de VGGT-encoder bleek even goed of beter dan het finetunen, wat aangeeft dat de vooraf getrainde geometrische representaties direct overdraagbaar zijn.
  • Het vervangen van 3D-features door ruis of nullen leidde tot een duidelijke prestatiedaling, wat bevestigt dat de winst echt voortkomt uit de 3D-geometrische informatie.
  • Voor $\pi$-stijl modellen bleek spare layer fusion (injectie in niet-alle lagen) een efficiënt alternatief met vergelijkbare prestaties maar lagere geheugenvraag.

Betekenis en Conclusie

Het paper concludeert dat effectieve 3D-integratie in VLA-modellen niet afhankelijk is van complexe architecturale wijzigingen, maar van waar de fusie plaatsvindt en hoe de balans tussen semantiek en geometrie wordt geregeld.

De semantisch-geconditioneerde gating (zoals geïmplementeerd in 3D-MIX) bleek de superieure strategie, omdat deze contextbewust kan beslissen wanneer 3D-geometrie nodig is en wanneer 2D-semantiek volstaat. 3D-MIX biedt een praktische, uitbreidbare basis voor toekomstig onderzoek naar ruimtelijk bewust robotleren en lost het probleem op van de beperkte ruimtelijke intelligentie in huidige VLA-systemen zonder de bestaande MLLM-componenten te hoeven herschrijven.