Technische Samenvatting: VLM-representatie voor VLA-initialisatie heroverwegen

Probleemstelling

Vision-Language-Action (VLA)-modellen initialiseren hun policy-ruggengraat doorgaans vanuit voorgetrainde Vision-Language Models (VLM's) om visueel-taalkundige representaties te erven. Het blijft echter onduidelijk welke specifieke kenmerken van een voorgetrainde VLM-representatie een effectieve initialisatie voor VLA-taken vormen. Hoewel recente werken sterkere ruggengraten en actiemodules hebben onderzocht, wordt de keuze van initialisatie vaak behandeld als een standaardstap in plaats van een gecontroleerde ontwerpparameter. Dit artikel adresseert de fundamentele vraag: Welke soort voorgetrainde VLM-representatie vormt een bruikbare VLA-initialisatie?

De auteurs betogen dat het simpelweg aannemen van een sterkere VLM of het toepassen van brede embodied-adaptatie geen betere action-policies garandeert. In plaats daarvan kaderen zij VLA-initialisatie als een gecontroleerd representatie-ontwerpprobleem dat een evenwicht moet vinden tussen het injecteren van actie-relevante signalen en het behoud van de oorspronkelijke, overdraagbare VLM-kennis.

Methodologie

De studie onderzoekt VLA-initialisatie langs drie primaire assen met behulp van een twee-fasen trainingspijplijn:

1. Fase 1 (Representatievorming): Aanpassen van een basis-VLM op embodied Visual Question Answering (VQA)-data of robottrajectdata.
2. Fase 2 (Actieleren): Initialiseren van een VLA-policy vanuit het checkpoint van Fase 1 en het trainen ervan op action-trajecten.

De drie onderzoeksassen zijn:

1. Capabiliteitsniveau Embodied VQA-domeinen

De auteurs organiseren embodied VQA-data in zeven capabiliteitsgerichte domeinen om te testen welke signalen positief overdragen naar actieleren:

• Ruimtelijk: Relatieve/absolute relaties, oriëntatie, afstand.
• Grounding: Ruimtelijk verwijzen, objecten/gebieden lokaliseren.
• Plannen & Redeneren: Doelen decomponeren, precondities, volgorde van stappen.
• Camera Voorspelling: Schatten van intrinsieke/extrinsieke parameters/veranderingen in gezichtspunt.
• Egocentrisch Begrip: Positie van hand/grijper, vastgehouden objecten, bereikbaarheid.
• Temporeel Begrip: Volgorde van acties, grenzen van gebeurtenissen, causaliteit.
• Actie Next-Token Predictie (Action-NTP): Behandelen van action-trajecten als taal-tokens.

Ze evalueren aanpassing op enkelvoudige domeinen, paarvormige composities en composities van meerdere domeinen.

2. Parameter-update Strategie

Het artikel vergelijkt twee strategieën voor aanpassing in Fase 1 om de afweging tussen specialisatie en behoud te analyseren:

• Volledige Fine-tuning (Full FT): Update alle parameters, wat de representatie agressief hervormt.
• LoRA (Low-Rank Adaptation): Update slechts een kleine set adapterparameters, behoudt de meeste oorspronkelijke VLM-weights en beperkt representatie-drift.

3. Robot-data Pretraining

De studie onderzoekt de rol van actie-zijde supervisie door robottrajectdata (AgiBot-World-Beta) te gebruiken als pretraining-signaal. Ze vergelijken:

• Pretraining uitsluitend met robot-data.
• Gecombineerde pretraining met robot-data en VQA.
• Gestageerde pretraining (VQA-aanpassing gevolgd door pretraining met robot-data).

Experimentele Opstelling

• Basismodellen: Qwen3-VL-4B (primair), Qwen3-VL-2B en PaliGemma2-3B.
• Architecturen: OpenVLA-OFT-stijl (MLP-head) en $\pi_0$-stijl (Diffusion Expert).
• Benchmarks: Libero-10 (lange-horizont tafellijst), SimplerBridge (real-to-sim) en RoboCasa GR1 Tabletop (hoog-dimensionale humanoid).
• Maten: Gemiddelde succesratio over drie evaluatieseeds.

Belangrijkste Resultaten

1. De Kritieke Rol van Voorgetrainde Representaties

Het trainen van VLA-policies van scratch resulteert in een prestatiedaling van meer dan 20% over alle benchmarks in vergelijking met initialisatie vanuit een voorgetrainde VLM. Dit bevestigt dat de oorspronkelijke voorgetrainde VLM-representatie een primaire bron is van action-prestaties.

2. Conditionele Nuttigheid van Embodied VQA

Embodied VQA-aanpassing levert geen uniforme winst op; de effectiviteit hangt af van de downstream bottleneck en het specifieke capabiliteitsignaal dat wordt ingebracht:

• Benchmark-afhankelijkheid: Op Libero-10 verbeteren de meeste domeinen de prestaties. Op SimplerBridge (real-to-sim) degraderen de meeste domeinen de prestaties ten opzichte van de baseline, waarbij alleen Grounding lichte winst toont onder de Diffusion Expert.
• Capabiliteitspecificiteit: Grounding, Egocentrisch Begrip en Action-NTP bieden de meest robuuste overdrachtssignalen. Andere domeinen (bijv. Ruimtelijk, Plannen & Redeneren) tonen inconsistente of negatieve overdracht, afhankelijk van de benchmark.
• Niet-additiviteit: Het combineren van domeinen is niet simpelweg additief. De sterkste verbetering komt voort uit de paarvormige compositie {Grounding + Egocentrisch Begrip}. Het toevoegen van meer domeinen (bijv. een uniforme compositie van 7 domeinen) leidt vaak tot verzadiging of prestatiedalingen, wat suggereert dat bredere dekking bruikbare supervisie kan verdunnen of interferentie kan introduceren.

3. Behoud versus Specialisatie (LoRA vs. Full FT)

• LoRA-bijdrage: LoRA biedt consequent een sterkere VLA-initialisatie dan Volledige Fine-tuning. Full FT valt vaak onder de baseline, wat aangeeft dat het agressief hervormen van de representatie voor VQA-taken informatie kan overschrijven die nuttig is voor downstream actieleren.
• Sterkte van het Basismodel: Het voordeel van LoRA is duidelijker bij sterkere basis-VLM's. Naarmate het basismodel verzwakt (bijv. van Qwen3-VL-4B naar PaliGemma2-3B), nemen de winsten van LoRA af en wordt de degradatie door Full FT ernstiger. Dit suggereert dat adapter-gebaseerde aanpassing het meest effectief is wanneer er een hoogwaardige voorgetrainde representatie te behouden valt.

4. Robot-data Pretraining en Gestageerde Adaptatie

• Actie-zijde Signalen: Pretraining met robot-data verbetert de initialisatie, maar de interactie met VQA-supervisie is complex.
• Concurrentie in Gecombineerde Training: Gecombineerd trainen op robot-data en VQA met LoRA kan resulteren in prestaties die lager zijn dan training met alleen robot-data, waarschijnlijk vanwege concurrentie van doelen binnen de beperkte adaptercapaciteit.
• Gestageerde Aanpak: De beste prestaties worden behaald via een gestageerde route: eerst de VLM aanpassen met {Grounding + Egocentrisch Begrip} VQA, vervolgens doorgaan met LoRA-gebaseerde pretraining met robot-data. Deze aanpak bereikt de hoogste succesratio's (55,2% op RoboCasa), wat suggereert dat sequentiële injectie van signalen concurrentie mitigeert terwijl de kern-VLM-representatie wordt behouden.

Betekenis en Claims

Het artikel herformuleert VLA-initialisatie van een standaard ruggengraatselectie of data-schaalstap naar een gecontroleerd representatie-ontwerpprobleem. De auteurs claimen dat hun bevindingen praktische richtlijnen bieden voor het construeren van effectieve VLA-initialisaties:

1. Signaalinjectie: Effectieve initialisatie vereist het injecteren van actie-relevante signalen (specifiek Grounding en Egocentrisch Begrip) die aansluiten bij de downstream bottleneck.
2. Representatiebehoud: Het is cruciaal om de voorgetrainde VLM-representatie te behouden die nog steeds nuttig is voor actieleren. Over-hervormen van de representatie via Volledige Fine-tuning is schadelijk.
3. Aanpassingsstrategie: Beperkte adapter-gebaseerde updates (LoRA) zijn superieur aan full-parameter updates voor het balanceren van specialisatie met behoud.
4. Gestageerde Training: Een gestageerde trainingspijplijn (VQA-aanpassing gevolgd door robot-data pretraining) is effectiever dan gecombineerde training, omdat het signaalconcurrentie vermijdt en de sterktes van zowel perceptie-zijde als actie-zijde supervisie benut.

De auteurs concluderen dat deze inzichten een genuanceerd begrip bieden van de ontwerpruimte voor VLA-initialisatie, en voorbijgaan aan de aanname dat "meer embodied data" of "sterkere ruggengraten" automatisch leiden tot betere policies.