Technische Samenvatting: Wanneer is taal van belang? Multilinguale instructies onthullen stapsgewijze taalgevoeligheid in Vision-Language-Action modellen

Probleemstelling

Vision-Language-Action (VLA) modellen hebben sterke prestaties getoond in taalvoorwaardelijke robotmanipulatie door visuele observaties en natuurlijke taalinstructies te mappen naar actiesequenties. De robuustheid van deze modellen tegenover linguïstische variatie is echter nog onvoldoende begrepen. Hoewel multilinguale robuustheid is onderzocht bij taal- en vision-language modellen, worden VLA-modellen geconfronteerd met unieke uitdagingen: ze genereren continue actiestromen in een closed-loop setting waarbij taalgeïnduceerde fouten zich in de loop van de tijd kunnen ophopen, wat de uitvoering over langere tijdreeksen onherstelbaar beïnvloedt.

Huidige VLA-systemen gaan vaak uit van Engelstalige instructies. Wanneer deze worden vertaald naar niet-Engelse talen, vertonen deze modellen een ernstige prestatiedegeneratie. Bestaande benaderingen om dit te verzachten, zoals uniforme cross-linguale uitlijning (bijv. CLAIM), gaan ervan uit dat taalverschuivingen gelijkmatig verdeeld zijn over de uitvoeringstappen. Dit artikel daagt die aanname uit en stelt dat de invloed van taal zeer niet-uniform is over de tijd, en dat het behandelen van multilinguale robuustheid als een statisch, globaal uitlijndingsprobleem onvoldoende is voor belichaamde agenten.

Methodologie

1. Systematische Multilinguale Evaluatie

De auteurs vertaalden de LIBERO-benchmark naar tien talen (Engels, Chinees, Japans, Koreaans, Frans, Spaans, Arabisch, Thais, Portugees en Vietnamees) om de eerste systematische multilinguale evaluatie van VLA-modellen uit te voeren. Ze evalueerden twee verschillende architecturen: OpenVLA-OFT en $\pi0.5$.

2. Stapsgewijze Taalgevoeligheidsanalyse

Om te begrijpen waar en waarom fouten optreden, introduceerden de auteurs een stapsgewijs analyseframework:

• Afwijkingsmeting: Ze maten de cosinusafstand tussen verborgen representaties gegenereerd door niet-Engelse instructies versus Engelse instructies bij elke uitvoeringstap.
• Gradiënt-gebaseerde Gevoeligheid: Om taal-kritieke stappen te identificeren zonder tijdens de inferentie Engelse referenties nodig te hebben, berekenden ze de tekst–beeld gradiëntratio. Door de gradiënten van de voorspelde actie met betrekking tot taaltokens ($g_{lang}$) en visuele tokens ($g_{vis}$) te berekenen, afgeleiden ze een gevoeligheidsscore $r_t = g_{lang} / (g_{vis} + \epsilon)$.
• Bevinding: Stappen met hoge gradiëntratio's (hoge afhankelijkheid van taal) correleerden sterk met stappen die grote afwijkingen vertoonden van Engelse representaties. Dit bevestigde dat de invloed van taal tijdelijk gelokaliseerd is, met specifieke "hotspots" die de taakuitvoering beïnvloeden.

3. Stapsgewijze Interventie tijdens Inferentie

Op basis van de gevoeligheidsanalyse stelden de auteurs een stapsgewijze uitlijningstrategie voor die werkt tijdens de inferentie zonder hertraining:

• Offline Fase: Bouw een referentieset op van verborgen representaties uit Engelse trainings-trajecten, geïndexeerd door hun vooraf berekende taalgevoeligheidsscores.
• Online Fase:
  1. Retrieval: Zoek voor een gegeven niet-Engelse stap de $K$ dichtstbijzijnde Engelse referentie-representaties op basis van cosinus-gelijkenis.
  2. Gating: Bepaal of de huidige stap taal-kritiek is door te controleren of het aandeel van de opgehaalde buren dat tot de meest gevoelige stappen behoort, een drempelwaarde $\tau$ overschrijdt.
  3. Alignment: Als de stap kritiek is, bereken een gelijkenis-gewogen gemiddelde van de opgehaalde Engelse referenties en update de huidige verborgen representatie: $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$.
  4. Execution: Geef de uitgelijnde representatie door aan de volgende lagen om de actie te genereren.

4. Data-efficiënte Training

De auteurs onderzochten ook het gebruik van stapsgewijze gevoeligheid om fine-tuning te sturen. In plaats van alle stappen bij te werken, beperkten ze de parameter-updates tot de geïdentificeerde taal-kritieke stappen, en vergeleken dit met volledige fine-tuning en willekeurige stapselectie.

Belangrijkste Resultaten

Multilinguale Prestatiedegeneratie

Zonder interventie lijden VLA-modellen onder aanzienlijke prestatiedalingen onder niet-Engelse instructies. De succespercentages daalden met 30–50% vergeleken met Engels over diverse taken (Spatial, Object, Goal, Long). Bij de "Goal" taak daalde het succespercentage van OpenVLA-OFT bijvoorbeeld van 97,9% (Engels) naar slechts 6,4% (Arabisch).

Effectiviteit van Stapsgewijze Interventie

• Tijdens Inferentie: De voorgestelde stapsgewijze uitlijning presteerde aanzienlijk beter dan de baselines. Voor OpenVLA-OFT verbeterden de gemiddelde succespercentages van ~51,7% (Baseline) naar 68,8% (Stapsgewijze verschuiving) over niet-Engelse talen. Voor $\pi0.5$ verbeterden de percentages van ~56,7% naar 80,3%.
• Vergelijking: Uniforme uitlijning (Gemiddelde verschuiving) leverde instabiele resultaten op en verslechterde soms de prestaties. Engelse Chain-of-Thought (EN-CoT) leverde beperkte en inconsistente winst op, wat de moeilijkheid benadrukt van het toepassen van redeneer-gebaseerde prompts op actie-genererende policies.
• Visualisatie: De distributies van de verborgen representaties toonden aan dat stapsgewijze uitlijning de niet-Engelse representaties effectief richting de Engelse referentie verschoof, maar alleen bij kritieke stappen.

Trainingsefficiëntie

Wanneer toegepast op fine-tuning, bereikte het beperken van updates tot taal-kritieke stappen (50% van de stappen) een prestatie die vergelijkbaar is met volledige fine-tuning (85,5% vs. 86,8% gemiddeld succes op OpenVLA-OFT), terwijl er minder updates nodig waren. Willekeurige stapselectie presteerde aanzienlijk slechter (44,9%), wat bevestigt dat de geïdentificeerde stappen betekenisvolle taal-actie afhankelijkheden vangen.

Foutanalyse

Een analyse van 100 foutgevallen onthulde dat multilinguale degradatie primair wordt gedreven door fouten in de instructie-naar-visuele gronding.

• 53% van de fouten vond plaats bij de Navigate primitief (het identificeren van de doellocatie/receptacle).
• 18% vond plaats bij Grasp.
• Fouten kwamen minder vaak voor in latere fasen zoals Place, Open/Close, of Push.
  Dit geeft aan dat taal-kritieke stappen nauw verbonden zijn met semantische doelselectie in plaats van laag-niveau motorische controle.

Betekenis en Claims

Het artikel claimt dat taalrobuustheid in VLA-modellen fundamenteel een stapsgewijs controleprobleem is, in plaats van een globaal representatie-uitlijndingsprobleem.

1. Temporele Structuur: De auteurs demonstreren dat de invloed van taal zeer niet-uniform is; bepaalde stappen domineren de algehele taakuitvoering, terwijl andere grotendeels taal-agnostisch zijn.
2. Gerichte Interventie: Uniforme uitlijning is onvoldoende en potentieel schadelijk. Selectieve interventie bij taal-gevoelige stappen is noodzakelijk om robuustheid te verbeteren zonder ruis te introduceren in taal-agnostische stappen.
3. Efficiëntie: Stapsgewijze gevoeligheidsanalyse maakt zowel effectieve correctie tijdens de inferentie als data-efficiënte training mogelijk, waardoor modellen prestatiewinst kunnen herstellen met minder updates.
4. Breder Implicatie: Het werk benadrukt de noodzaak van temporeel gestructureerde analyse en interventie in toekomstige belichaamde agent-systemen, waarbij men verder kijkt dan statische, holistische visies op taalrobuustheid.

De auteurs merken beperkingen op en erkennen dat experimenten in simulatie zijn uitgevoerd en dat de overdracht van deze bevindingen naar real-world robotica-systemen met extra ruis en onzekerheid een open vraag blijft. Ze suggereren ook dat naarmate VLA-architecturen evolueren, de aard van de stapsgewijze gevoeligheid kan veranderen, wat toekomstige aanpassing van deze strategieën vereist.