PVI: Plug-in Visual Injection for Vision-Language-Action Models

Probleemstelling

Vision-Language-Action (VLA) modellen, die een vooraf getraind Vision-Language Model (VLM) combineren met een actie-expert (vaak gebaseerd op Diffusion of Flow-Matching), vormen een krachtig paradigma voor robotmanipulatie. Er is echter een fundamenteel structureel probleem in deze architectuur:

1. Semantische compressie: Het VLM is geoptimaliseerd voor semantische abstractie en taalbegrip, niet voor geometrische precisie. Hierdoor worden fijne geometrische aanwijzingen (zoals objectvormen, randuitlijningen en grijpmogelijkheden) vaak verzwakt of verloren voordat ze de actie-expert bereiken.
2. Gebrek aan temporele context: De meeste VLM's worden getraind op statische beelden. Hierdoor ontbreekt er expliciete temporele informatie (zoals bewegingscontinuïteit, contactdynamiek en overgangen tussen sub-stappen) die essentieel is voor gesloten-lus manipulatie, vooral bij complexe taken met twee armen.
3. Beperkingen van bestaande oplossingen: Bestaande methoden om dit op te lossen, injecteren vaak statische visuele features of vereisen ingrijpende architecturale wijzigingen aan de vooraf getrainde backbone, wat leidt tot instabiliteit of het verlies van bestaande kennis.

Methodologie: Plug-in Visual Injection (PVI)

De auteurs stellen PVI voor, een lichtgewicht, encoder-agnostisch module dat visuele representaties direct injecteert in de "vaste" (frozen) actie-expert van een vooraf getraind VLA, zonder de basisarchitectuur te wijzigen of opnieuw te moeten pre-trainen.

Kerncomponenten van PVI:

• Encoder-agnostische invoer: PVI accepteert features van elke visuele encoder (bijv. statische beelden of video-encoders) via een vaste auxiliaire encoder. Deze features worden via een trainbare projectie laag naar de embedding-ruimte van de actie-expert gemapt.
• Dubbel-pad architectuur (Copy Branch): PVI introduceert een trainbare kopie van de DiT (Diffusion Transformer) actie-expert. Deze kopie heeft dezelfde architectuur als de originele, maar wordt geconditioneerd op de auxiliaire visuele features in plaats van de VLM-embeddings.
• Zero-geïnitieerde residuale injectie: De hidden states van de trainbare kopie worden laag-voor-laag (layer-wise) geïnjecteerd in de vaste hoofd-DiT via lineaire lagen die aanvankelijk op nul zijn geïnitieerd.
  • Voordeel: Dit garandeert dat het model bij het begin van het trainen exact hetzelfde gedrag vertoont als het originele vooraf getrainde model (geen destabilisatie). Tijdens het trainen leren de injectielagen geleidelijk om de nieuwe visuele informatie te integreren.
• Training: Alleen de nieuwe componenten (projectie, kopie-branch, injectielagen) worden getraind. De VLM, de hoofd-DiT en de auxiliaire encoder blijven bevroren. Dit maakt single-stage fine-tuning mogelijk.

Belangrijkste Bijdragen

1. Het PVI Framework: Een stabiele, minimaal invasieve methode om hulpbronnen visuele representaties toe te voegen aan bestaande VLA's zonder de backbone aan te passen. Het ontkoppelt de injectie-infrastructuur van de keuze voor een specifieke visuele representatie.
2. Systematische Vergelijking van Injectiestrategieën: De auteurs vergelijken PVI met andere strategieën (zoals Concat, ControlNet- en ControlVLA-stijlen) en tonen aan dat hun dubbele-pad met zero-geïnitieerde injectie superieur is.
3. Representatie-studie (Temporeel vs. Statistisch): Door PVI te gebruiken als een gecontroleerde testomgeving, vergelijken de auteurs statische beeldfeatures (DINOv2) met temporele video-features (V-JEPA2). Ze leveren empirisch bewijs dat temporele dynamiek cruciaal is voor complexe manipulatie.

Resultaten

De experimenten zijn uitgevoerd op het GR00T N1.5 model, zowel in simulatie (RoboTwin 2.0) als op echte hardware.

• Simulatie (Manipulatie-taken):

  • PVI verhoogde de gemiddelde succesratio van bimanuele taken van 35,7% (basis) naar 59,7% (+24,0 procentpunten).
  • Dit is een aanzienlijke verbetering ten opzichte van alternatieve injectiestrategieën (die vaak rond de 34-37% bleven).
  • Temporele features winnen: De combinatie met V-JEPA2 (video) presteerde significant beter dan DINOv2 (statische beelden), vooral bij taken die state-tracking en coördinatie vereisen (bijv. van 39% naar 84% bij het "beat_block_hammer" taak).
  • Ablatie-studies: Een gematigde temporele context (2-4 frames) bleek optimaal; het toevoegen van statische features naast video-features bracht weinig extra winst.

• Real-World Demonstratie:

  • PVI werd succesvol gedeployed op een Airbot dual-arm platform voor het vouwen van kleding (een vervormbaar object).
  • Het model voerde een langdurige, acht-stappen vouwsequentie uit op basis van taalcommando's, zonder handmatige resets tussen sub-taken. Dit bewijst de praktische toepasbaarheid buiten simulatie.

Betekenis en Impact

Dit paper biedt een belangrijke doorbraak in de ontwikkeling van robuuste robotmanipulatoren:

• Efficiëntie: Het lost het probleem van het "verlies" van geometrische en temporele informatie op zonder de dure en riskante her-training van hele VLA-modellen.
• Temporeel Bewustzijn: Het onderstreept dat voor fijne motorische taken (dexterous manipulation) temporele coherentie (beweging) belangrijker is dan alleen statische geometrie.
• Schaalbaarheid: De "plug-in" aard van PVI maakt het eenvoudig om toekomstige, betere visuele encoders te integreren in bestaande systemen, wat een fundament legt voor de volgende generatie algemene robotmanipulatoren.

Kortom, PVI bewijst dat het hoe je informatie injecteert (via een behoudende, residuale weg) net zo belangrijk is als wat je injecteert, en dat temporele video-features de sleutel zijn tot succesvolle, complexe robotbewegingen.