💬 NLP

Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents

Cet article introduit un cadre rigoureux pour mesurer la rétention de politique translingue chez les agents utilisant des outils en corrigeant cinq biais critiques, révélant que les modèles de pointe conservent structurellement 71 à 73 % de leurs politiques d'action à travers les langues en acheminant les tâches non anglaises via l'anglais, tandis que les modèles plus petits présentent des ruptures et que les échecs observés peuvent être artificiellement fabriqués par des expressions régulières d'extraction de traces plutôt que par des limitations du modèle.

Auteurs originaux : Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram

Publié 2026-08-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le voyage invisible d'un assistant numérique

Imaginez que vous avez un assistant numérique super intelligent, comme un robot personnel mais vivant à l'intérieur d'un ordinateur. Son travail consiste à résoudre des problèmes en suivant une série d'étapes : il peut chercher des informations, faire des calculs ou traduire une phrase, avant de vous donner une réponse finale. C'est ainsi que fonctionnent les « agents IA » modernes ; ils ne se contentent pas de deviner la réponse, ils construisent un chemin pour y parvenir.

Pendant longtemps, les scientifiques ont testé ces assistants en leur posant la même question dans différentes langues, comme l'anglais et le hindi. Si l'assistant donnait la bonne réponse dans les deux langues, tout le monde était satisfait. C'était comme noter un élève uniquement sur le fait qu'il obtienne le bon chiffre lors d'un test de mathématiques, sans regarder comment il a résolu le problème. Mais que se passerait-il si l'élève résolvait le problème en anglais en dessinant un tableau, mais résolvait le problème en hindi en écrivant une longue dissertation ? Ils recevraient la même note, mais ils auraient utilisé des méthodes complètement différentes.

Ce document pose une question cruciale : lorsqu'un agent d'IA change de langue, change-t-il son « itinéraire » ou les étapes qu'il suit pour obtenir la réponse ? Il s'avère que les étapes comptent énormément. L'itinéraire détermine combien d'argent l'ordinateur dépense, sa vitesse de fonctionnement et ce qui se passe s'il commet une erreur. Si l'IA prend un chemin différent en hindi qu'en anglais, cela peut coûter plus cher ou échouer d'une manière que les règles de sécurité n'auraient pas détectée. Ainsi, les chercheurs ont décidé de ne plus seulement regarder la réponse finale, mais de commencer à observer le voyage lui-même.

Le grand détour linguistique

Les chercheurs ont entrepris de voir si ces agents d'IA étaient véritablement bilingues ou s'ils faisaient simplement semblant. Ils ont pris huit modèles d'IA différents et leur ont donné les mêmes tâches dans 41 langues différentes. Au lieu de simplement vérifier le résultat final, ils ont enregistré chaque étape franchie par l'IA — la « trace » — comme un GPS traquant le trajet d'une voiture. Ils voulaient savoir : si je demande à l'IA de « trouver la météo puis de calculer le coût » en anglais, et que je lui demande exactement la même chose en hindi, suivra-t-elle exactement les mêmes étapes ?

La réponse fut un « non » retentissant, mais pas de la manière dont on pourrait l'imaginer. L'IA ne prenait pas seulement un chemin légèrement différent ; elle faisait un détour massif. Les chercheurs ont découvert que lorsque la langue changeait, le comportement de l'IA changeait de manière significative. En fait, lorsqu'ils ont examiné les modèles les plus avancés, ils ne conservaient qu'environ 71 % à 73 % de leur plan initial étape par étape lors du changement de langue. Cela signifie que, pendant environ 27 % à 29 % du temps, l'IA faisait quelque chose de complètement différent simplement parce que les mots étaient dans une autre langue.

Le secret du « Pivot Anglais »

Pourquoi cela se produisait-il ? L'équipe a découvert une habitude cachée que les agents d'IA avaient développée. Il s'avère que même lorsque vous posez une question à l'IA en hindi, en tamoul ou dans toute autre langue, elle traduit souvent secrètement l'ensemble en anglais dans son « esprit » d'abord. Elle résout ensuite le problème en anglais et traduit la réponse en retour.

Les chercheurs ont appelé cela le « pivot anglais ». Pour prouver cela, ils ont essayé de forcer l'IA à arrêter de le faire. Ils ont dit à l'IA : « S'il te plaît, pense dans la langue que tu parles, ne traduis pas en anglais ! » Mais l'IA n'a pas obéi. Dans les deux modèles testés, l'IA a suivi l'instruction de penser dans la langue de la tâche moins d'1 % du temps. Comme l'IA n'a presque jamais fait ce qu'on lui avait ordonné, les chercheurs n'ont pas pu tester si le fait de penser dans une autre langue changerait ses étapes. Cependant, le résultat a établi quelque chose d'encore plus fort : le « pivot anglais » n'est pas seulement une préférence que l'on peut désactiver avec une simple consigne ; c'est un comportement profondément ancré que les modèles ignorent de fait lorsqu'ils reçoivent un ordre direct. C'était comme un voyageur qui, peu importe le pays qu'il visite, insiste pour ne parler qu'à un traducteur avant de parler à quiconque, peu importe ce que le guide lui dit. Cette habitude était si forte qu'elle était la raison principale pour laquelle les étapes de l'IA changeaient lorsque la langue changeait.

Le piège des raccourcis

Le document a également mis au jour une erreur amusante qui a failli tromper tout le monde. Lors de la mesure de l'efficacité de ces agents d'IA, certains chercheurs utilisaient un programme informatique simple pour lire les étapes de l'IA. L'un de ces programmes était si strict que si l'IA écrivait une phrase telle que « Je vais utiliser la calculatrice », au lieu d'un format de code spécifique, le programme considérait que l'IA avait échoué.

À cause de cela, un modèle d'IA très capable semblait échouer 76 % du temps. Mais lorsque les chercheurs ont corrigé le programme informatique pour le rendre un peu plus flexible, le « taux de réussite » de l'IA a bondi de 26 fois ! Cela a appris aux chercheurs que parfois, ce qui ressemble à un problème de langue est en réalité un problème de lecture de l'écriture de l'IA.

La règle de la taille

Enfin, l'équipe a examiné si les modèles d'IA plus grands étaient meilleurs pour cela. Ils ont découvert une règle étrange : les modèles les plus grands et les plus puissants étaient tous très similaires, restant fidèles à cette cohérence de 71–73 %. Mais les petits modèles étaient un désordre. Certains petits modèles semblaient excellents, mais il s'est avéré qu'ils avaient simplement eu de la chance car ils empruntaient des chemins très courts et simples, faciles à faire correspondre par hasard. Une fois que les chercheurs ont corrigé ce facteur de chance, les petits modèles n'étaient plus aussi impressionnants. Il semble que seuls les modèles très larges et puissants se soient installés dans une manière de comportement cohérente, tandis que les plus petits sont encore en train de chercher leur voie.

Pourquoi cela importe

Cette étude change la façon dont nous devrions tester l'IA. Elle montre qu'obtenir la bonne réponse ne suffit pas. Si une IA prend un chemin différent, plus coûteux ou plus risqué simplement parce que vous avez parlé une autre langue, c'est un problème. Les chercheurs ont montré que ces agents ne sont pas véritablement fluides dans leurs actions ; ils s'appuient toujours sur une béquille anglaise cachée. Tant que nous ne réglerons pas cela, une IA pourrait être digne de confiance en anglais mais peu fiable dans d'autres langues, non pas parce qu'elle est « stupide », mais parce qu'elle emprunte une route différente et non surveillée pour atteindre la même destination.

Résumé technique : Les actes parlent plus haut que les mots

Énoncé du problème

Les évaluations multilingues actuelles des agents utilisant des outils se concentrent presque exclusivement sur la justesse de la réponse finale, délaissant les traces d'actions intermédiaires. Cette approche suppose que si un agent produit la bonne réponse dans plusieurs langues, son comportement est cohérent. Or, pour un agent, le « chemin » (la séquence d'appels d'outils et d'étapes intermédiaires) est le produit réel. Des trajectoires divergentes entraînent des coûts, des latences, des modes de défaillance et des problèmes d'auditabilité différents. Un garde-fou validé sur une trace en anglais peut ne pas tenir sur une trace en une autre langue si la politique d'action sous-jacente diffère, même si la sortie finale est identique.

Le problème central est l'absence d'une métrique défendable pour mesurer la rétention de politique translingue : le degré auquel un agent exécute la même séquence d'actions pour des tâches sémantiquement identiques à travers différentes langues. Les mesures de similitude standards sont peu fiables en raison de cinq biais spécifiques :

Absence de référence : Les modèles ne sont pas parfaitement auto-cohérents ; un modèle interrogé deux fois sur la même question dans la même langue produit souvent des traces différentes. Sans une référence intra-langue, les différences translingues ne peuvent être isolées.
Biais de longueur de trace : Les traces plus courtes obtiennent artificiellement des scores de similitude plus élevés.
Biais de trace vide : Les traces sans aucune action obtiennent un score parfait (1,0) de similitude, faussant les résultats.
Effet de plafond : L'accord maximal possible est limité par la propre reproductibilité (auto-cohérence) du modèle.
Plancher de chance : Des traces sans rapport s'accordent par hasard plus de 50 % du temps, créant une base non nulle pour la similitude.

Méthodologie

Les auteurs proposent un protocole pour mesurer la Rétention de Politique Normalisée ( $\tilde{I}$ ) en corrigeant explicitement les cinq biais listés ci-dessus.

Configuration expérimentale :
- Modèles : 8 modèles ajustés pour l'instruction (incluant Gemma-3, Sarvam-M, Qwen3, Llama-4 et GPT-OSS) allant de 4B à 235B de paramètres, couvrant les architectures denses et les mélanges d'experts (MoE).
- Tâches : 6 benchmarks parallèles (FLORES-200, XQuAD, XNLI, Belebele, XCOPA et une suite synthétique) rendus dans 41 langues.
- Échelle : 2,38 millions de déroulements d'agents à travers 505 cellules.
- Échafaudage : Un échafaudage symbolique fixe pour l'utilisation d'outils (Pensée/Action/Fin) avec un alphabet de 5 outils partagés. Les traces sont extraites par regex ; les outils sont symboliques (analysés mais non exécutés).
Protocole de mesure :
- Réplicats : Chaque paire tâche-langue est générée deux fois dans des conditions identiques (même graine, même tâche, même budget) pour établir une référence intra-langue ( $I_{within}$ ).
- Comparaison translingue : Les traces de différentes langues sont comparées ( $I_{cross}$ ).
- Normalisation : La métrique est définie comme $\tilde{I} = I_{cross} / I_{within}$ . Cela normalise l'accord translingue par rapport au plafond d'auto-cohérence du modèle.
- Corrections :
  - Appariement de longueur dans les deux sens pour éliminer le biais de longueur de trace.
  - Exclusion des traces vides.
  - Mesure du plancher de chance par permutation plutôt que par supposition.
  - Correction de l'effet de plafond (auto-cohérence).
Interventions :
- Échelle de température : Tests à travers des températures $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ pour distinguer le bruit d'échantillonnage de la divergence structurelle.
- Ablation du pivot anglais : Retrait de l'outil Translate ou obligation de l'utiliser comme première étape pour tester la dépendance causale à l'anglais.
- Manipulation de la longueur de trace : Variation artificielle des longueurs de trace pour isoler les effets de longueur.

Résultats Clés

1. L'effet croît avec la correction

Contrairement à l'intuition selon laquelle corriger les biais réduirait l'effet observé, chaque correction appliquée (appariement de longueur, suppression des traces vides, ajustement du plancher de chance) a augmenté la divergence mesurée. L'écart brut entre les langues était une limite inférieure ; l'écart corrigé était nettement plus important.

2. Convergence à la frontière

Sous décodage glouton ( $T=0$ ), quatre modèles de pointe divers (couvrant différentes échelles, architectures et mélanges d'entraînement) ont convergé vers un taux de rétention de politique presque identique : 71–73 %.

L'identité du modèle n'expliquait que 5,7 % de la variance de cette métrique normalisée.
En revanche, à $T=0.5$ (incluant l'échantillonnage), l'identité du modèle expliquait 74,8 % de la variance, et les classements s'inversaient complètement.
Cela suggère que la rétention de politique translingue est une propriété structurelle des modèles sous décodage glouton, et non un artefact du bruit d'échantillonnage.

3. La limite de la régularité

La régularité de 71–73 % s'effondre pour les modèles de moins de 10 milliards de paramètres (10B).

Les petits modèles (4B, 8B) présentaient une grande variabilité.
L'ordre apparent des petits modèles basé sur les métriques brutes était largement un artefact du « plancher de chance » (des traces plus courtes dans les petits modèles entraînaient des scores de similitude artificiellement élevés). Une fois corrigé, le classement des petits modèles s'est inversé.

4. Le mécanisme du pivot anglais

L'étude identifie un mécanisme causal pour la divergence : les agents dirigent les tâches non anglaises vers un pivot anglais.

Translate était l'outil le plus utilisé dans chaque benchmark pour les modèles conformes.
Le texte de raisonnement était à ~99 % en ASCII, même pour les écritures non latines.
Test causal : Le retrait de l'outil Translate a réduit l'accord translingue proportionnellement à la dépendance du modèle à celui-ci. Imposer la traduction a amélioré la rétention pour les modèles ayant une « marge de progression » (faible usage de base de la traduction).
Robustesse : Donner l'instruction de raisonner dans la langue de la tâche a échoué (<1 % de conformité), indiquant que le pivot anglais est une préférence structurelle, et non un défaut stylistique qui peut être évité par un prompt.

5. Pathologie de la mesure

Le papier souligne un échec de mesure critique : une seule regex d'extraction de trace a fait apparaître un modèle compétent (GPT-OSS-120B) comme étant défaillant.

Le modèle répondait en prose (« Nous allons utiliser Translate ») plutôt qu'avec la syntaxe requise, entraînant 76,4 % de traces vides.
Comme les traces vides scorent 1,0 en similitude, le modèle semblait présenter une invariance élevée mais une précision quasi nulle.
L'ajout de deux exemples de type few-shot a restauré la capacité de parsing, augmentant la précision mesurée de 26 fois sans changer la capacité réelle du modèle, seulement sa lisibilité.

Signification et Revendications

Le papier affirme que la parité au niveau de la réponse est compatible avec une divergence comportementale significative, ce qui a des implications réelles pour le coût, la latence et la sécurité.

Contribution métrique : Les auteurs fournissent un estimand corrigé par le plafond ( $\tilde{I}$ ) et un protocole qui quantifie cinq biais spécifiques, dont deux sont établis causalement.
Aperçu structurel : La divergence translingue n'est pas un bruit aléatoire mais une propriété structurelle où les modèles conservent environ 71–73 % de leur politique d'action lorsque la langue change, à condition d'être suffisamment grands et décodés de manière gloutonne.
Mécanisme : La dépendance à un pivot anglais est un facteur causal porteur de charge que les modèles résistent à abandonner, même lorsqu'on leur en donne l'instruction explicite.
Validité : L'étude démontre que l'extraction de traces standard par regex peut fabriquer des échements multilingues apparents, nécessitant de rapporter les taux d'échec de parsing aux côtés de la précision.

Ce travail comble le fossé entre les benchmarks d'agents (qui se concentrent sur les résultats) et l'évaluation translingue (qui se concentre sur les prédictions finales), en soutenant que la politique d'action elle-même doit être l'objet mesuré pour comprendre véritablement le comportement multilingue des agents.