💬 NLP

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

Cet article présente la première étude systématique révélant un écart de performance significatif dans les modèles Vision-Langage-Action lors du traitement d'instructions non anglaises malgré des noyaux de langage multilingues, et propose une stratégie de fine-tuning d'Alignement des Composantes Principales Multilingues pour atténuer efficacement ce problème.

Auteurs originaux : Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le robot « uniquement anglophone »

Imaginez que vous appreniez à un robot à cuisiner. Vous avez un cerveau de robot très intelligent (un modèle Vision-Language-Action, ou VLA) qui peut voir la cuisine, comprendre vos mots et bouger ses bras pour attraper une cuillère ou allumer une cuisinière.

Les chercheurs ont découvert un problème majeur : la plupart de ces robots sont comme des étudiants qui n'ont étudié qu'en anglais. Même si le « cerveau » du robot (le modèle de langage sous-jacent) sait parler français, chinois ou arabe, le robot lui-même ne sait pas comment agir sur ces langues.

Si vous donnez au robot une commande en anglais (« Pick up the cup »), il fonctionne parfaitement. Mais si vous dites exactement la même chose en français (« Prends la tasse »), le robot se fige souvent, devient confus ou attrape le mauvais objet. C'est comme si le robot avait soudainement oublié comment bouger ses mains simplement parce que vous avez changé de langue.

L'expérience : Tester « l'oreille » du robot

Les chercheurs voulaient voir si c'était vrai. Ils ont pris des données d'entraînement de robots existantes (qui étaient presque entièrement en anglais) et ont créé un « test multilingue ».

Traduction : Ils ont pris des instructions en anglais et les ont traduites en quatre autres langues : le chinois, le français, le russe et l'arabe.
Le mélange : Ils ont également créé des instructions avec « alternance codique » (code-switching), où une phrase est principalement dans une langue mais contient quelques mots clés (comme « cup » ou « pick ») en anglais.
Le test : Ils ont demandé aux robots d'exécuter des tâches dans une cuisine simulée en utilisant ces différentes langues.

Ce qu'ils ont trouvé : Le « fossé multilingue »

Les résultats sont clairs : il existe un fossé énorme.

Le cerveau « uniquement anglophone » : Les robots entraînés sur des données anglaises ont très mal performé lorsqu'on leur a demandé de parler d'autres langues. Leur taux de réussite a chuté de manière significative, tombant parfois presque à zéro.
Le cerveau « multilingue » : Certains robots ont été construits sur des modèles de langage qui connaissent déjà de nombreuses langues (comme Qwen-VL). Ces robots ont mieux réussi, surtout avec le chinois, mais ils ont tout de même éprouvé des difficultés par rapport à l'anglais.
Le piège visuel : Le problème s'est aggravé lorsque la scène visuelle était confuse. Si deux tâches différentes se ressemblaient exactement (comme poser un bol sur une assiette vs allumer une cuisinière), le robot s'appuyait fortement sur la langue. Si la langue était dans une langue étrangère, le robot était complètement perdu.
Le pouvoir des mots-clés : Curieusement, si le robot entendait une phrase en français mais que le mot « cup » était toujours en anglais, il réussissait bien mieux. C'est comme si le robot possédait un « déclencheur par mot-clé » qui l'aide à comprendre ce qu'il doit faire, même s'il ne comprend pas le reste de la phrase.

Pourquoi cela arrive-t-il ? (Le problème de la « traduction »)

Les chercheurs ont regardé à l'intérieur du « cerveau » du robot pour voir ce qui n'allait pas. Ils ont trouvé deux problèmes principaux :

Une compréhension confuse : Parfois, le robot ne comprenait tout simplement pas l'instruction étrangère. Il entendait « allume la cuisinière » en français mais pensait que vous aviez dit « pose le bol sur l'assiette » parce que la scène visuelle se ressemblait.
Le décalage de la « tête d'action » (Action Head) : C'est une partie technique, mais imaginez cela comme un traducteur à la fin de la chaîne. Le cerveau du robot comprend les mots, mais la partie qui fait réellement bouger les bras (la « tête d'action ») est réglée sur l'anglais. Lorsque la langue change, le « signal » envoyé aux bras devient brouillé.
- Analogie : Imaginez un chef d'orchestre parlant français à un orchestre, mais les musiciens ne savent lire que des partitions écrites pour des anglophones. La musique est jouée de travers.
- Ils ont découvert que certains types de « chefs d'orchestre » (des conceptions spécifiques appelées GR00T et π) étaient plus aptes à gérer ce mélange que d'autres.

La solution : L'alignement des composantes principales (MPCA)

Les chercheurs n'ont pas seulement souligné le problème ; ils ont proposé une solution. Ils ont proposé une méthode appelée Alignement des Composantes Principales Multilingues (MPCA - Multilingual Principal Component Alignment).

L'analogie : Imaginez que le cerveau du robot possède une « carte » de la relation entre les mots et les actions. En anglais, la carte est claire. En français, la carte est décalée vers la gauche, donc le robot marche dans la mauvaise direction.
La correction : Le MPCA est comme une boussole qui réaligne la carte française pour qu'elle pointe dans la même direction que la carte anglaise. Cela ne nécessite pas de réentraîner tout le robot de zéro. Il suffit de prendre la connaissance existante et de « faire pivoter » les données de la langue étrangère pour qu'elles s'adaptent au système d'action existant du robot.

Ce qu'il faut retenir

L'article conclut que nous ne pouvons pas supposer que les robots fonctionneront mondialement simplement parce que leurs modèles de langage sont multilingues. Si nous voulons que les robots fonctionnent dans des environnements multilingues du monde réel, nous devons spécifiquement les entraîner et les aligner pour comprendre que différentes langues doivent mener aux mêmes actions physiques.

Ils ont montré qu'avec un ajustement simple (MPCA), nous pouvons considérablement améliorer la capacité d'un robot à suivre des instructions dans des langues autres que l'anglais, les rendant ainsi plus prêts pour le monde réel.

Résumé technique : Au-delà de l'anglais : Dévoiler le fossé multilingue des modèles Vision-Langage-Action

Problématique

Les modèles Vision-Langage-Action (VLA) sont apparus comme un paradigme prometteur pour le développement de politiques robotiques généralistes en intégrant la perception visuelle, la compréhension du langage naturel et la génération d'actions. Cependant, une limitation critique existe dans les systèmes VLA actuels : ils sont principalement entraînés et évalués à l'aide d'instructions en anglais. Bien que les grands modèles de langage (LLM) et les modèles vision-langage (VLM) sous-jacents possèdent souvent des capacités multilingues, il reste incertain si ces capacités se transfèrent efficacement vers l'espace de génération d'actions lors du processus d'alignement.

Le problème central abordé est le potentiel « fossé multilingue » — la dégradation de la performance du robot lorsque les instructions sont fournies dans d'autres langues que l'anglais. Ce fossé pose une barrière significative au déploiement dans le monde réel, où les robots doivent comprendre des entrées linguistiques diverses. L'article étudie si les VLA conservent réellement une compréhension multilingue après avoir été alignés avec des actions robotiques et cherche à identifier les causes sous-jacentes de la dégradation des performances dans les contextes non anglophones.

Méthodologie

1. Cadre d'évaluation multilingue

Les auteurs proposent un cadre d'évaluation systématique composé de trois étapes :

Construction de jeux de données multilingues : Les benchmarks existants de manipulation robotique (LIBERO et SimplerEnv) ont été étendus par la traduction d'instructions anglaises en quatre langues cibles : le chinois (zh), le français (fr), le russe (ru) et l'arabe (ar). Deux contextes d'interaction ont été définis :
- Instructions multilingues : Traductions directes préservant la sémantique originale.
- Instructions avec alternance codique (Code-Switching) : Expressions mixtes où des verbes et des noms clés sont substitués de l'anglais dans le texte traduit, simulant les scénarios de communication multilingue courants.
- Un pipeline utilisant des API de traduction Cloud et des LLM (pour la reconnaissance d'entités nommées et la vérification de la cohérence sémantique via le principe de « LLM-as-a-Judge ») a été employé pour générer des variantes d'instructions de haute qualité.
Adaptateur d'évaluation multilingue : Un adaptateur léger a été développé pour échanger de manière transparente les entrées linguistiques dans le pipeline d'évaluation sans modifier les architectures de modèles ou la logique de l'environnement, garantissant ainsi une comparaison équitable entre les langues.
Protocole d'évaluation : Les taux de réussite des tâches ont été mesurés à travers différentes langues. La performance a été quantifiée par la Performance Relative, calculée comme la différence entre le taux de réussite dans un contexte multilingue et celui du contexte anglais d'origine.

2. Configuration expérimentale

Modèles : Plusieurs modèles VLA représentatifs ont été évalués, notamment $\pi_{0.5}$ , OpenVLA-OFT, ABot-M0, Cosmos Policy, ainsi que divers modèles basés sur Qwen-VL avec différentes conceptions de têtes d'action (OFT, FAST, $\pi$ , GR00T).
Benchmarks : Les expériences ont été menées dans les environnements de simulation LIBERO et SimplerEnv, couvrant des tâches telles que le réarrangement d'objets, l'utilisation d'outils et la manipulation spatiale.

3. Solution proposée : Alignement des composantes principales multilingues (MPCA)

Motivés par le constat que les instructions multilingues provoquent des décalages de représentation, les auteurs proposent la MPCA, une approche de fine-tuning.

Mécanisme : La MPCA utilise l'Analyse en Composantes Principales (PCA) pour identifier le sous-espace de la composante principale des plongements (embeddings) de langage. Elle aligne ensuite les représentations multilingues projetées sur ce sous-espace.
Objectif : Réduire le décalage de distribution entre les représentations d'instructions en anglais et en autres langues, améliorant ainsi la capacité du modèle à généraliser à travers les langues.

Principaux résultats et conclusions

1. Existence d'un fossé multilingue significatif

Les expériences ont révélé une chute substantielle de performance pour les modèles principalement entraînés en anglais lorsqu'ils sont évalués sur des instructions non anglaises.

Dépendance au modèle de base : Les modèles basés sur des VLM centrés sur l'anglais (ex: PaliGemma, Prismatic) ont montré une dégradation sévère, performant souvent de manière similaire à des modèles sans aucune instruction. En revanche, les modèles basés sur des VLM multilingues (ex: Qwen-VL) ont démontré une meilleure généralisation, particulièrement pour le chinois, bien que des écarts persistent pour d'autres langues.
Amplification du contexte visuel : Le fossé était plus prononcé dans les environnements avec des entrées visuelles similaires (ex: LIBERO-Goal), suggérant que la compréhension linguistique devient le différenciateur critique lorsque les indices visuels sont ambigus.

2. Impact de la structure des instructions et des têtes d'action

Importance des mots-clés : Les instructions avec alternance codique (contenant des mots-clés en anglais) ont entraîné des baisses de performance moindres par rapport aux instructions entièrement traduites. Cela indique que les verbes et les noms clés sont cruciaux pour la compréhension VLA.
Conception de la tête d'action : L'architecture de la tête d'action influence considérablement la robustesse multilingue.
- Les têtes basées sur la diffusion (style GR00T, $\pi$ ) maintiennent une meilleure performance, probablement parce qu'elles conservent les informations sémantiques du VLM de base et s'adaptent mieux aux décalages de distribution.
- Les têtes basées sur les tokens (style FAST) présentent de moins bonnes performances, potentiellement en raison de la perte d'informations sémantiques lors de la tokenisation.
- Les têtes basées sur MLP (style OFT) montrent une performance intermédiaire, peinant à s'adapter au décalage de distribution causé par les entrées multilingues.

3. Cause profonde : Décalage de représentation

L'analyse des représentations (visualisation des embeddings agrégés) a confirmé que le fossé multilingue provient d'un décalage de représentation (representation shift).

Dans les modèles ayant une faible performance multilingue, les embeddings pour les instructions non anglaises étaient très éloignés des embeddings anglais dans l'espace latent.
Dans les modèles ayant une meilleure performance (ex: Qwen3-VL- $\pi$ ), les embeddings anglais et chinois étaient étroitement alignés, ce qui corrèle avec une meilleure généralisation.
Les modes de défaillance ont été classés en : (1) Incompréhension de l'instruction (génération d'actions totalement erronées due à la confusion linguistique) et (2) Échec d'exécution (compréhension de l'intention mais échec de la génération de la séquence d'actions correcte).

4. Efficacité de la MPCA

La stratégie MPCA proposée réduit efficacement le fossé de performance multilingue. En alignant les représentations multilingues sur le sous-espace des composantes principales, la MPCA améliore les taux de réussite des tâches dans les contextes non anglais, démontrant son potentiel en tant que solution pratique pour renforcer la robustesse multilingue.

Signification et contributions

L'article revendique les contributions suivantes :

Première étude systématique : Il présente la première investigation complète de la capacité de suivi d'instructions multilingues dans les modèles VLA, dépassant l'hypothèse de l'anglais-centrisme prévalant dans la recherche actuelle.
Framework et Benchmark : Il introduit un cadre d'évaluation multilingue et des extensions de jeux de données pour LIBERO et SimplerEnv, permettant des comparaisons contrôlées entre les langues et les contextes d'interaction.
Perspectives empiriques : Il révèle un fossé multilingue significatif dans les systèmes actuels et fournit une analyse détaillée de la manière dont les capacités du modèle de base, la conception des têtes d'action et la structure des instructions influencent ce fossé.
Solution pratique : Il propose la MPCA, une méthode de fine-tuning simple mais efficace qui exploite l'alignement des représentations pour atténuer le fossé multilingue, offrant une voie vers des agents incarnés plus robustes et déployables mondialement.

Les auteurs concluent que bien que les VLA soient prometteurs, leurs capacités multilingues sont actuellement sous-développées et nécessitent des interventions architecturales et d'entraînement spécifiques pour égaler les performances de leurs homologues anglophones.