💬 NLP

When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models

Cet article révèle que les modèles Vision-Langage-Action souffrent d'une dégradation significative de leurs performances sous des instructions non anglaises en raison d'une sensibilité linguistique non uniforme et par étapes, et propose une intervention ciblée au moment de l'inférence qui aligne les représentations sur la base de ces sensibilités spécifiques afin d'améliorer substantiellement la robustesse multilingue.

Auteurs originaux : Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot assistant très intelligent. Vous lui donnez une commande comme : « Ramasse la tasse rouge et mets-la dans la boîte bleue. » Si vous dites cela en anglais, le robot fait généralement un excellent travail. Mais que se passe-t-il si vous demandez au même robot de faire exactement la même tâche, mais que vous lui parlez en espagnol, en chinois ou en japonais ?

Selon cette nouvelle recherche de l'Institut de technologie de Harbin, le robot devient soudainement beaucoup plus maladroit. En fait, lorsque les instructions ne sont pas en anglais, le robot échoue 30 % à 50 % plus souvent que d'habitude.

Voici une décomposition simple de ce que les chercheurs ont découvert et de la manière dont ils l'ont résolu, en utilisant des analogies de la vie quotidienne.

1. Le problème : Ce n'est pas une erreur « globale »

Vous pourriez penser que si un robot ne comprend pas une langue étrangère, il est simplement confus tout le temps, comme un élève qui n'a pas étudié pour un examen.

Les chercheurs ont découvert que ce n'est pas ainsi que cela fonctionne. Le robot ne rate pas la tâche durant toute sa durée. Au lieu de cela, il échoue à des moments spécifiques et critiques au milieu de la tâche.

L'analogie : Pensez à un long voyage en voiture. Si vous conduisez une voiture avec un GPS qui ne parle qu'anglais, et que vous changez soudainement le GPS pour le français, vous ne planterez pas immédiatement. Vous conduirez bien pendant un certain temps. Mais ensuite, vous arrivez à une intersection complexe où le GPS doit vous dire exactement dans quelle voie tourner. Si le GPS donne cette instruction spécifique de travers à cause du changement de langue, vous manquez le virage et vous vous perdez. Le reste du trajet aurait pu bien se passer, mais ce seul mauvais moment a ruiné tout le voyage.

L'étude a révélé que dans les tâches robotiques, il existe ces « intersections critiques » (étapes) où la langue compte le plus. À d'autres étapes, le robot se repose davantage sur ce qu'il voit (la caméra) que sur ce qu'il entend (la langue), donc le changement de langue ne le dérange pas.

2. L'ancienne méthode : La correction « moyenne » (Et pourquoi elle a échoué)

Avant ce papier, d'autres chercheurs ont tenté de corriger cela en appliant une « correction globale ».

L'analogie : Imaginez que vous essayez de réparer une chanson qui sonne légèrement faux au milieu. Une correction « moyenne » consisterait à prendre toute la chanson, à baisser légèrement le volume de l'ensemble du morceau, en espérant que cela corrige la mauvaise note.

Le résultat : Cela rend la mauvaise note légèrement meilleure, mais cela rend aussi toutes les bonnes notes moins bonnes. Cela introduit du « bruit » dans les parties de la tâche qui fonctionnaient déjà très bien.

L'article montre que l'application d'une correction globale à chaque étape du mouvement du robot rend les choses pires ou n'aide pas suffisamment.

3. La nouvelle solution : La « chirurgie » étape par étape

Les chercheurs ont développé une nouvelle méthode appelée Intervention par étape (Step-wise Intervention). Au lieu de réparer le robot entier d'un coup, ils agissent comme un chirurgien qui n'opère que l'organe spécifique qui est malade.

Comment ça marche :

Cartographier la sensibilité : D'abord, ils analysent le « cerveau » du robot pour déterminer exactement quelles étapes d'une tâche dépendent fortement du langage. (ex : « Étape 3 : Trouver la tasse rouge » est riche en langage ; « Étape 4 : Avancer le bras » est principalement visuelle).
Aide ciblée : Lorsqu'un robot reçoit une commande dans une langue étrangère, le système attend. Il laisse le robot effectuer les étapes visuelles faciles par lui-même.
L'intervention : Dès que le robot atteint une « étape critique pour le langage » (comme trouver l'objet), le système intervient. Il remplace temporairement la compréhension interne du robot pour cette étape afin qu'elle corresponde à ce à quoi elle ressemblerait si l'instruction était en anglais.
Retour à la normale : Une fois cette étape critique terminée, le système arrête d'aider et le robot continue seul.

L'analogie : C'est comme avoir un traducteur qui vous murmure à l'oreille uniquement lorsque vous êtes sur le point de commander un plat complexe au restaurant. Quand vous marchez simplement vers la table ou que vous vous asseyez, le traducteur reste silencieux. Mais dès que vous devez parler au serveur, le traducteur vous donne les mots exacts. Cela garantit que vous ne raterez pas votre commande, sans vous importuner tout le temps.

4. Les résultats

Lorsqu'ils ont testé cette approche « chirurgicale » :

Le taux de réussite a grimpé en flèche : Le taux de réussite du robot avec les langues étrangères a considérablement augmenté, comblant l'écart avec les performances en anglais.
Efficacité : Ils ont également constaté que s'ils entraînaient le robot, ils n'avaient besoin de concentrer leur « temps d'étude » que sur ces étapes critiques. Ils n'avaient pas besoin de réentraîner tout le robot, seulement les parties spécifiques où le langage est important.

Résumé

La principale conclusion est que la robustesse linguistique n'est pas un problème unique ; c'est une série de petits problèmes spécifiques.

Ancienne vision : « Le robot ne comprend pas les langues étrangères, nous devons donc réparer tout son cerveau. »
Nouvelle vision : « Le robot comprend assez bien les langues étrangères, mais il trébuche à des points de décision spécifiques. Si nous ne réparons que ces moments précis, le robot devient beaucoup plus fiable. »

Cette recherche suggère que pour que les robots puissent réellement fonctionner dans un monde multilingue, nous devons cesser de les traiter comme des machines statiques et commencer à les traiter comme des agents dynamiques qui ont besoin d'aide uniquement aux moments exacts où ils en ont besoin.

Résumé Technique : Quand le langage importe-t-il ? Les instructions multilingues révèlent une sensibilité linguistique étape par étape dans les modèles Vision-Langage-Action

Problématique

Les modèles Vision-Langage-Action (VLA) ont démontré de fortes performances dans la manipulation robotique conditionnée par le langage en cartographiant des observations visuelles et des instructions en langage naturel vers des séquences d'actions. Cependant, leur robustesse à la variation linguistique reste mal comprise. Bien que la robustesse multilingue ait été explorée dans les modèles de langage et de vision-langage, les modèles VLA font face à des défis uniques : ils génèrent des flux d'actions continus dans un cadre en boucle fermée où les erreurs induites par le langage peuvent s'accumuler au fil du temps, impactant de manière irréversible l'exécution sur de longs horizons.

Les systèmes VLA actuels supposent souvent des instructions exclusivement en anglais. Lorsqu'elles sont traduites dans des langues non anglaises, ces modèles présentent une dégradation sévère des performances. Les approches existantes pour atténuer cela, telles que l'alignement transversal uniforme (par exemple, CLAIM), supposent que les décalages linguistiques sont répartis uniformément sur les étapes d'exécution. Cet article conteste cette hypothèse, postulant que l'influence du langage est hautement non uniforme au fil du temps, et que traiter la robustesse multilingue comme un problème d'alignement global et statique est insuffisant pour les agents incarnés.

Méthodologie

1. Évaluation multilingue systématique

Les auteurs ont traduit le benchmark LIBERO en dix langues (anglais, chinois, japonais, coréen, français, espagnol, arabe, thaï, portugais et vietnamien) afin de mener la première évaluation multilingue systématique des modèles VLA. Ils ont évalué deux architectures distinctes : OpenVLA-OFT et $\pi0.5$ .

2. Analyse de la sensibilité linguistique étape par étape

Pour comprendre où et pourquoi les échecs se produisent, les auteurs ont introduit un cadre d'analyse étape par étape :

Mesure de la déviation : Ils ont mesuré la distance cosinus entre les représentations cachées générées par des instructions non anglaises par rapport aux instructions anglaises à chaque étape d'exécution.
Sensibilité basée sur le gradient : Pour identifier les étapes critiques pour le langage sans nécessiter de références en anglais lors de l'inférence, ils ont calculé le rapport de gradient texte-image. En calculant les gradients de l'action prédite par rapport aux jetons de langage ( $g_{lang}$ ) et aux jetons visuels ( $g_{vis}$ ), ils ont dérivé un score de sensibilité $r_t = g_{lang} / (g_{vis} + \epsilon)$ .
Constat : Les étapes présentant des rapports de gradient élevés (forte dépendance au langage) étaient fortement corrélées aux étapes présentant de grandes déviations par rapport aux représentations anglaises. Cela a confirmé que l'influence du langage est localisée temporellement, avec des "points chauds" spécifiques qui entraînent l'échec de la tâche.

3. Intervention par étape au moment de l'inférence

Sur la base de l'analyse de sensibilité, les auteurs ont proposé une stratégie d'alignement étape par étape qui opère au moment de l'inférence sans réentraînement :

Phase hors ligne : Construire un ensemble de référence de représentations cachées à partir de trajectoires d'entraînement en anglais, indexées par leurs scores de sensibilité linguistique pré-calculés.
Phase en ligne :
1. Récupération : Pour une étape non anglaise donnée, récupérer les $K$ représentants anglais les plus proches basés sur la similitude cosinus.
2. Porte (Gating) : Déterminer si l'étape actuelle est critique pour le langage en vérifiant si la proportion de voisins récupérés appartenant aux étapes les plus sensibles dépasse un seuil $\tau$ .
3. Alignement : Si l'étape est critique, calculer une moyenne pondérée par la similitude des références anglaises récupérées et mettre à jour la représentation cachée actuelle : $h_{aligned} = h_t + \alpha I_t (\bar{h}_t - h_t)$ .
4. Exécution : Passer la représentation alignée aux couches suivantes pour générer l'action.

4. Entraînement efficace en données

Les auteurs ont également exploré l'utilisation de la sensibilité étape par étape pour guider l'ajustement fin (fine-tuning). Au lieu de mettre à jour toutes les étapes, ils ont restreint les mises à jour aux étapes identifiées comme critiques pour le langage, comparant cela à un ajustement fin complet et à une sélection d'étapes aléatoires.

Résultats Clés

Dégradation des performances multilingues

Sans intervention, les modèles VLA souffrent de baisses de performance significatives sous des instructions non anglaises. Les taux de réussite ont chuté de 30 à 50 % par rapport à l'anglais sur diverses tâches (Spatiale, Objet, But, Longue). Par exemple, sur la tâche "But", le taux de réussite d'OpenVLA-OFT est passé de 97,9 % (anglais) à seulement 6,4 % (arabe).

Efficacité de l'intervention étape par étape

Au moment de l'inférence : L'alignement étape par étape proposé surpasse nettement les lignes de base. Pour OpenVLA-OFT, les taux de réussite moyens sont passés d'environ 51,7 % (Baseline) à 68,8 % (décalage étape par étape) pour les langues non anglaises. Pour $\pi0.5$ , les taux sont passés d'environ 56,7 % à 80,3 %.
Comparaison : L'alignement uniforme (décalage moyen) a produit des résultats instables et a parfois dégradé les performances. La Chaîne de Pensée en anglais (EN-CoT) a apporté des gains limités et incohérents, soulignant la difficulté d'appliquer des prompts de raisonnement aux politiques de génération d'actions.
Visualisation : Les distributions de représentations cachées ont montré que l'alignement étape par étape déplace efficacement les représentations non anglaises vers la référence anglaise, mais uniquement lors des étapes critiques.

Efficacité de l'entraînement

Lors de l'application à l'ajustement fin, restreindre les mises à jour aux étapes critiques pour le langage (50 % des étapes) a permis d'obtenir des performances comparables à un ajustement fin complet (85,5 % contre 86,8 % de succès moyen sur OpenVLA-OFT) tout en nécessitant moins de mises à jour. La sélection aléatoire d'étapes a été nettement moins performante (44,9 %), confirmant que les étapes identifiées capturent des dépendances langage-action significatives.

Analyse des échecs

L'analyse de 100 cas d'échec a révélé que la dégradation multilingue est principalement pilotée par des erreurs de fondement instruction-visuel (instruction-to-visual grounding).

53 % des échecs se sont produits lors de la primitive Navigation (identification de l'emplacement ou du réceptacle cible).
18 % se sont produits lors de la Saisie (Grasp).
Les échecs étaient moins fréquents dans les primitives de stade ultérieur comme Placer, Ouvrir/Fermer ou Pousser.
Cela indique que les étapes critiques pour le langage sont étroitement liées à la sélection sémantique de la cible plutôt qu'au contrôle moteur de bas niveau.

Signification et Revendications

L'article affirme que la robustesse linguistique dans les modèles VLA est fondamentalement un problème de contrôle étape par étape plutôt qu'un problème d'alignement global des représentations.

Structure temporelle : Les auteurs démontrent que l'influence du langage est hautement non uniforme ; certaines étapes dominent l'échec global de la tâche tandis que d'autres sont largement agnostiques au langage.
Intervention ciblée : L'alignement uniforme est insuffisant et potentiellement nuisible. Une intervention sélective aux étapes sensibles au langage est nécessaire pour améliorer la robustesse sans introduire de bruit dans les étapes agnostiques au langage.
Efficacité : L'analyse de sensibilité étape par étape permet à la fois une correction efficace au moment de l'inférence et un entraînement efficace en données, permettant aux modèles de récupérer des gains de performance avec moins de mises à jour.
Implication plus large : Ce travail souligne la nécessité d'analyses et d'interventions temporellement structurées dans les futurs systèmes d'agents incarnés, en allant au-delà des vues statiques et holistiques de la robustesse du langage.

Les auteurs notent des limites, reconnaissant que les expériences ont été menées en simulation et que le transfert de ces conclusions à des systèmes robotiques réels avec du bruit et de l'incertitude supplémentaires reste une question ouverte. Ils suggèrent également qu'à mesure que les architectures VLA évoluent, la nature de la sensibilité étape par étape peut changer, nécessant une adaptation future de ces stratégies.