VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling

1. Het Probleem

Vision-Language-Action (VLA) modellen hebben recente doorbraken geboekt in de robotica, maar vertonen een ernstige kwetsbaarheid (brittleness) wanneer ze worden blootgesteld aan uit-distributie (out-of-distribution) scenario's. Hoewel deze modellen sterke prestaties leveren binnen de trainingsdistributie, degradeert hun prestatie drastisch bij:

• Nieuwe camera-standpunten (viewpoints).
• Veranderingen in verlichting.
• Verschillende achtergrondtexturen.
• Visuele ruis.

Bestaande oplossingen zijn vaak data-centric (verzamelen van meer multi-view data, wat duur en arbeidsintensief is) of representation-centric (het vervangen van de visuele backbone door geometrisch bewuste modellen, wat vaak extra training vereist). De auteurs stellen dat de huidige aanpak onnodig complex is en dat de oorzaak van het falen niet goed wordt begrepen.

2. Kernhypothese en Analyse

De auteurs introduceren een conceptueel kader dat een VLA-model ontleden in twee componenten:

1. Spatial Modeling: Uitgevoerd door de visuele encoder (bijv. ViT). Dit bouwt ruimtelijke relaties op (positie, oriëntatie, contact) uit de afbeelding.
2. Physical Modeling: Uitgevoerd door het Vision-Language Model (VLM) en de actie-expert. Dit integreert taal, ruimtelijke representaties en actiegeschiedenis om hoogwaardige redenering en acties te genereren.

De bevinding: De auteurs tonen aan dat de degradatie bij nieuwe standpunten primair wordt veroorzaakt door misalignement in de Spatial Modeling. De visuele embeddings "drijven" weg van de distributie waar het VLM voor is getraind, terwijl de Physical Modeling-componenten (de redeneer- en controlecapaciteit) functioneel intact blijven. Het probleem is dus niet dat het model niet kan redeneren, maar dat het "verkeerde" visuele input ontvangt.

3. Methodologie

Om dit misalignement op te lossen, stellen de auteurs een one-shot adaptatieframework voor dat visuele representaties herschikt met minimale, leerbare updates, zonder de volledige backbone opnieuw te trainen. Ze introduceren twee methoden:

A. Feature Token Modulation (FTM)

• Concept: Een eenvoudige, globale affiene transformatie toegepast op de visuele token-embeddings direct na de visuele encoder.
• Implementatie: Het introduceert twee leerbare parameter-vectoren, $\gamma$ (schaal) en $\beta$ (verschuiving), die op de feature tokens worden toegepast:
  $$\hat{F} = (1 + \gamma) \odot F + \beta$$
• Efficiëntie: Dit vereist slechts 4K parameters (ongeveer 2 * dimensie van de verborgen laag). Het herschaalt en verplaatst de feature-distributie zodat deze weer overeenkomt met de verwachtingen van het gefrieste VLM.

B. Feature Linear Adaptation (FLA)

• Concept: Een verfijning van FTM die dieper ingrijpt in de visuele encoder zelf.
• Implementatie: Het past Low-Rank Adaptation (LoRA) toe op de lineaire lagen van de ViT-encoder (Specifiek de SigLIP backbone). In plaats van de volledige matrix te finetunen, wordt een lage-rang decompositie ($\Delta W = BA$) toegevoegd.
• Efficiëntie: Dit vereist slechts 4.7M parameters, wat aanzienlijk minder is dan volledige LoRA-finetuning van het hele model (vaak >400M parameters).

4. Belangrijkste Resultaten

De methoden zijn getest op de Libero-V (Visual) benchmark, een uitbreiding van de Libero-benchmark met gecontroleerde visuele perturbaties (camera, licht, textuur, ruis).

• Prestatieverbetering:
  • FTM: Verhoogt het succespercentage op nieuwe camera-standpunten van 48.5% (zero-shot) naar 87.1% met slechts 4K parameters.
  • FLA: Bereikt een succespercentage van 90.8% met 4.7M parameters.
• Vergelijking met Baselines:
  • FLA presteert beter dan of gelijk aan LoRA-finetuning (die 467M parameters gebruikt) met een 99x reductie in het aantal parameters.
  • Het overtreft methoden zoals GeoAware-VLA en OpenVLA-OFT-m, die vaak meer data of complexere architecturen vereisen.
• Generalisatie: De methoden werken consistent over verschillende perturbatietypes (licht, textuur, ruis) en verschillende moeilijkheidsgraden van camera-afwijkingen (Small, Medium, Large).
• Real-World Validatie: Experimenten met een Franka Emika Panda-robot in de echte wereld bevestigen dat de methode werkt met één enkele menselijke demonstratie (one-shot) en robuust is tegen imperfecte demonstraties en dynamische objecten.

5. Bijdragen

1. Diagnose: Het identificeren dat de kwetsbaarheid van VLA-modellen bij visuele perturbaties voornamelijk ligt in de Spatial Modeling (visuele representatie) en niet in de Physical Modeling (redenering/controle).
2. Efficiënte Framework: Het voorstellen van een unificatie van FTM en FLA als een one-shot adaptatieframework dat visuele representaties herschikt met extreem weinig parameters.
3. State-of-the-Art Generalisatie: Het demonstreren dat bestaande VLA-modellen (zoals $\pi_{0.5}$) aanzienlijke, onbenutte robuustheid bevatten die kan worden vrijgegeven door gerichte, lichte aanpassingen, zonder grote datasets of complexe architectuurveranderingen.
4. Nieuwe Benchmark: Het introduceren van Libero-V, een benchmark die systematisch vier soorten visuele perturbaties combineert om robuustheid te evalueren.

6. Significantie

Deze studie verandert het paradigma van hoe we robuustheid in robotica benaderen. In plaats van te concluderen dat modellen meer data of zwaardere 3D-architecturen nodig hebben, tonen de auteurs aan dat efficiënte, gerichte feature-adaptatie voldoende is om de inherente generalisatiekracht van bestaande modellen te activeren. Dit maakt het veel praktischer en goedkoper om VLA-modellen in dynamische, real-world omgevingen in te zetten, waar visuele omstandigheden voortdurend veranderen. De theorie wordt verder onderbouwd met wiskundige bewijzen (Theorema's 1-3) die aantonen dat kleine affiene of lage-rang correcties voldoende zijn om de drift in visuele representaties te compenseren.