💬 NLP

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

Dit artikel presenteert de eerste systematische studie die een aanzienlijk prestatiekloof onthult in Vision-Language-Action-modellen bij het verwerken van instructies in andere talen dan het Engels ondanks meertalige taalbackbones, en stelt een Multilingual Principal Component Alignment fine-tuning strategie voor om dit probleem effectief te mitigeren.

Oorspronkelijke auteurs: Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Alleen-Engels" Robot

Stel je voor dat je een robot leert koken. Je hebt een zeer slim robotbrein (een Vision-Language-Action model, of VLA) dat de keuken kan zien, jouw woorden begrijpt en zijn armen kan bewegen om een lepel te pakken of een fornuis aan te zetten.

De onderzoekers ontdekten een groot probleem: De meeste van deze robots zijn als studenten die alleen in het Engels hebben gestudeerd. Zelfs als het "brein" van de robot (het onderliggende taalmodel) Frans, Chinees of Arabisch kan spreken, weet de robot zelf niet hoe hij in die talen moet handelen.

Wanneer je de robot een opdracht geeft in het Engels ("Pick up the cup"), werkt het perfect. Maar als je precies hetzelfde zegt in het Frans ("Prends la tasse"), bevriest de robot vaak, raakt hij in de war, of pakt hij het verkeerde object. Het is alsof de robot plotseling vergeten is hoe hij zijn handen moet bewegen, simpelweg omdat je van taal veranderde.

Het Experiment: Het Testen van het "Oor" van de Robot

De onderzoekers wilden zien of dit waar was. Ze namen bestaande robot-trainingsdata (die bijna volledig in het Engels was) en creëerden een "meertalige test".

Vertaling: Ze namen Engelse instructies en vertaalden deze naar vier andere talen: Chinees, Frans, Russisch en Arabisch.
De Mix-up: Ze maakten ook "code-switching" instructies, waarbij een zin grotendeels in één taal is, maar een paar belangrijke woorden (zoals "cup" of "pick") in het Engels zijn.
De Test: Ze lieten de robots taken uitvoeren in een gesimuleerde keuken met behulp van deze verschillende talen.

Wat Ze Vonden: De "Meertalige Kloof"

De resultaten waren duidelijk: Er is een enorme kloof.

Het "Alleen-Engels" Brein: Robots die getraind zijn op Engelse data presteerden slecht wanneer ze in andere talen werden aangesproken. Hun succespercentage daalde aanzienlijk, soms bijna tot nul.
Het "Meertalige" Brein: Sommige robots zijn gebouwd op taalmodellen die al veel talen kennen (zoals Qwen-VL). Deze robots presteerden beter, vooral met Chinees, maar ze hadden nog steeds moeite vergeleken met Engels.
De Visuele Valstrik: Het probleem werd erger wanneer de visuele scène verwarrend was. Als twee verschillende taken er precies hetzelfde uitzagen (zoals een kom op een bord zetten versus een fornuis aanzetten), vertrouwde de robot zwaar op de taal. Als de taal in een vreemde tongval was, raakte de robot volledig de weg kwijt.
De Kracht van Trefwoorden: Interessant genoeg, als de robot een zin in het Frans hoorde maar het woord "cup" nog steeds in het Engels was, deed hij het veel beter. Het is alsof de robot een "trefwoord-trigger" heeft die hem helpt te begrijpen wat hij moet doen, zelfs als hij de rest van de zin niet begrijpt.

Waarom Gebeurt Dit? (Het "Vertalingsprobleem")

De onderzoekers keken in het "brein" van de robot om te zien wat er misging. Ze vonden twee hoofdoorzaken:

Verward Begrip: Soms begreep de robot de vreemde instructie simpelweg niet. Hij hoorde "zet het fornuis aan" in het Frans, maar dacht dat je zei "zet de kom op het bord" omdat de visuele scène er vergelijkbaar uitzag.
De "Action Head" Mismatch: Dit is een technisch deel, maar denk eraan als een vertaler aan het einde van de lijn. Het brein van de robot begrijpt de woorden, maar het deel dat daadwerkelijk de armen beweegt (de "Action Head") is afgestemd op het Engels. Wanneer de taal verandert, wordt het "signaal" dat naar de armen wordt gestuurd, vervormd.
- Analogie: Stel je een dirigent (het brein) voor die Frans spreekt tegen een orkest, maar de muzikanten (de robotarmen) kunnen alleen bladmuziek lezen die geschreven is voor Engelstaligen. De muziek wordt foutief gespeeld.
- Ze ontdekten dat sommige soorten "dirigenten" (specifieke ontwerpen genoemd GR00T en π) beter zijn in het afhandelen van deze mix-up dan andere.

De Oplossing: "Principal Component Alignment" (MPCA)

De onderzoekers wezen niet alleen op het probleem; ze boden ook een oplossing. Ze stelden een methode voor genaamd Multilingual Principal Component Alignment (MPCA).

De Analogie: Stel je voor dat het brein van de robot een "kaart" heeft van hoe woorden gerelateerd zijn aan acties. In het Engels is de kaart duidelijk. In het Frans is de kaart naar links verschoven, waardoor de robot de verkeerde kant op loopt.
De Fix: MPCA is als een kompas dat de Franse kaart opnieuw uitlijnt, zodat deze in dezelfde richting wijst als de Engelse kaart. Het vereist niet dat de hele robot vanaf nul wordt hertraind. Het neemt simpelweg de bestaande kennis en "roteert" de vreemde taaldata zodat deze past in het bestaande actiesysteem van de robot.

De Conclusie

Het paper concludeert dat we er niet vanuit kunnen gaan dat robots wereldwijd zullen werken, enkel omdat hun taalmodellen meertalig zijn. Als we willen dat robots werken in meertalige omgevingen in de echte wereld, moeten we ze specif specifiek trainen en afstemmen om te begrijpen dat verschillende talen tot dezelfde fysieke acties moeten leiden.

Ze toonden aan dat we met een eenvoudige aanpassing (MPCA) de capaciteit van een robot aanzienlijk kunnen verbeteren om instructies in talen behalve Engels op te volgen, waardoor ze beter klaar zijn voor de echte wereld.

Technische Samenvatting: Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een veelbelovend paradigma geworden voor het ontwikkelen van generieke robotbeleid door visuele perceptie, natuurlijke taalverstaan en actiegeneratie te integreren. Er bestaat echter een kritieke beperking in huidige VLA-systemen: ze worden voorningsgewijs getraind en geëvalueerd met Engelse instructies. Hoewel de onderliggende Large Language Models (LLMs) en Vision-Language Models (VLMs) vaak over meertalige capaciteiten beschikken, blijft het onduidelijk of deze capaciteiten effectief worden overgedragen naar de actiegeneratieruimte tijdens het uitlijningsproces.

Het centrale probleem dat wordt aangepakt, is de potentiële "meertalige kloof" (multilingual gap)—de degradatie in robotprestaties wanneer instructies in andere talen worden gegeven. Deze kloof vormt een aanzienlijke barrière voor de implementatie in de echte wereld, waar robots diverse linguïstische inputs moeten begrijpen. Het onderzoek onderzoekt of VLA's werkelijk meertalig begrip behouden na de uitlijning met robotacties en probeert de onderliggende oorzaken van de prestatiedegradatie in niet-Engelse settings te identificeren.

Methodologie

1. Meertalig Evaluatiekader

De auteurs stellen een systematisch evaluatiekader voor bestaande uit drie stadia:

Constructie van Meertalige Datasets: Bestaande robotmanipulatie-benchmarks (LIBERO en SimplerEnv) werden uitgebreid door Engelse instructies te vertalen naar vier doeltalen: Chinees (zh), Frans (fr), Russisch (ru) en Arabisch (ar). Twee interactie-instellingen werden gedefinieerd:
- Meertalige Instructies: Directe vertalingen die de oorspronkelijke semantiek behouden.
- Code-Switching Instructies: Gemengde taaluitdrukkingen waarbij sleutelwerkwoorden en zelfstandige naamwoorden uit het Engels in de vertaalde tekst zijn gesubstitueerd, wat veelvoorkomende meertalige communicatiescenario's simuleert.
- Een pipeline gebruikmakend van Cloud Translation API's en LLM's (voor Named Entity Recognition en semantische consistentiecontrole via "LLM-as-a-Judge") werd ingezet om hoogwaardige instructievarianten te genereren.
Meertalige Evaluatie-adapter: Een lichtgewicht adapter werd ontwikkeld om naadloos van taalinputs te wisselen in de evaluatiepipeline zonder de modelarchitecturen of de omgevinglogica aan te passen, wat een eerlijke vergelijking tussen talen garandeert.
Evaluatieprotocol: Succespercentages van taken werden gemeten over verschillende talen. Prestaties werden gekwantificeerd met behulp van Relatieve Prestaties, berekend als het verschil tussen het succespercentage in een meertalige setting en de oorspronkelijke Engelse setting.

2. Experimentele Opstelling

Modellen: Verschillende representatieve VLA-modellen werden geëvalueerd, waaronder $\pi_0.5$ , OpenVLA-OFT, ABot-M0, Cosmos Policy, en diverse Qwen-VL-gebaseerde modellen met verschillende actiekoppen (OFT, FAST, $\pi$ , GR00T).
Benchmarks: Experimenten werden uitgevoerd in de LIBERO en SimplerEnv simulatieomgevingen, met taken zoals objectherordening, gereedschapsgebruik en ruimtelijke manipulatie.

3. Voorgestelde Oplossing: Multilingual Principal Component Alignment (MPCA)

Gemotiveerd door de bevinding dat meertalige instructies leiden tot representatieshifts, stellen de auteurs MPCA voor, een fine-tuning benadering.

Mechanisme: MPCA maakt gebruik van Principal Component Analysis (PCA) om de hoofdcomponent-subruimte van de taal-embeddings te identificeren. Vervolgens lijnt het de geprojecteerde meertalige representaties uit met deze subruimte.
Doel: Om de distributieverschuiving tussen Engelse en niet-Engelse instructierepresentaties te verminderen, waardoor het vermogen van het model om over talen heen te generaliseren wordt verbeterd.

Belangrijkste Bevindingen en Resultaten

1. Bestaan van een Significante Meertalige Kloof

Experimenten toonden een substantiële prestatiedaling aan voor modellen die primair op Engels zijn getraind wanneer ze worden geëvalueerd op niet-Engelse instructies.

Afhankelijkheid van het Basismodel: Modellen gebaseerd op Engelstalige VLMs (bijv. PaliGemma, Prismatic) vertoonden ernstige degradatie en preelden vaak vergelijkbaar met modellen zonder instructies. In contrast hiermee vertoonden modellen gebaseerd op meertalige VLMs (bijv. Qwen-VL) een betere generalisatie, met name voor Chinees, hoewel kloven voor andere talen bestonden.
Visuele Context Amplificatie: De kloof was het meest uitgesproken in omgevingen met vergelijkbare visuele inputs (bijv. LIBERO-Goal), wat suggereert dat taalbegrip de kritieke differentiator wordt wanneer visuele aanwijzingen ambigu zijn.

2. Impact van Instructiestructuur en Actiekoppen

Belang van Trefwoorden: Code-switching instructies (bevattende Engelse trefwoorden) resulteerden in kleinere prestatiedalingen vergeleken met volledig vertaalde instructies. Dit geeft aan dat cruciale werkwoorden en zelfstandige naamwoorden essentieel zijn voor VLA-begrip.
Ontwerp van de Actiekop: De architectuur van de actiekop beïnvloedt de meertalige robuustheid aanzienlijk.
- Diffusion-gebaseerde koppen (GR00T-stijl, $\pi$ -stijl) behielden betere prestaties, waarschijnlijk omdat ze de semantische informatie van de basis-VLM behouden en beter adapteren aan distributieverschuivingen.
- Token-gebaseerde koppen (FAST-stijl) vertoonden slechtere prestaties, mogelijk door semantisch informatieverlies tijdens tokenisatie.
- MLP-gebaseerde koppen (OFT-stijl) vertoonden intermediaire prestaties en hadden moeite met het adapteren aan de distributieverschuiving veroorzaakt door meertalige inputs.

3. Grondoorzaak: Representatieshift

Representatieanalyse (het visualiseren van gepoolde embeddings) bevestigde dat de meertalige kloof voortkomt uit representatieshifts.

In modellen met een zwakke meertalige prestatie waren de embeddings voor niet-Engelse instructies ver verwijderd van de Engelse embeddings in de latente ruimte.
In modellen met betere prestaties (bijv. Qwen3-VL-π) waren de Engelse en Chinese embeddings nauw op elkaar afgestemd, wat correleerde met betere generalisatie.
De foutmodi werden gecategoriseerd in: (1) Instructie Misbegrip (het genereren van volledig verkeerde acties door taalverwarring) en (2) Executiefout (het begrijpen van de intentie maar falen in het genereren van de juiste actiesequentie).

4. Effectiviteit van MPCA

De voorgestelde MPCA-strategie verminderde de meertalige prestatiekloof effectief. Door meertalige representaties uit te lijnen met de hoofdcomponent-subruimte, verbeterde MPCA de succespercentages van taken in niet-Engelse settings, wat het potentieel ervan aantoont als een praktische oplossing voor het verbeteren van meertalige robuustheid.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

Eerste Systematische Studie: Het presenteert de eerste uitgebreide onderzoek naar het opvolgen van meertalige instructies in VLA-modellen, waarmee de gangbare Engelse focus in de huidige research wordt overstegen.
Framework en Benchmark: Het introduceert een meertalig evaluatiekader en dataset-uitbreidingen voor LIBERO en SimplerEnv, wat gecontroleerde vergelijkingen tussen talen en interactie-instellingen mogelijk maakt.
Empirische Inzichten: Het onthult een significante meertalige kloof in huidige systemen en biedt een gedetailleerde analyse van hoe de capaciteiten van basismodellen, de ontwerpen van actiekoppen en instructiestructuren deze kloof beïnvloeden.
Praktische Oplossing: Het stelt MPCA voor, een eenvoudige maar effectieve fine-tuning methode die gebruikmaakt van representatie-uitlijning om de meertalige kloof te mitigeren, wat een pad biedt naar meer robuuste, globaal inzetbare embodied agents.

De auteurs concluderen dat hoewel VLA's veelbelovend zijn, hun meertalige capaciteiten momenteel onderontwikkeld zijn en specifieke architecturale en training-interventies vereisen om de prestaties van hun Engelse tegenhangers te evenaren.