Skill Issue: Are Skills Language-Invariant in LLMs?

Les grands modèles de langage sont les moteurs qui propulsent bon nombre des outils d'intelligence artificielle que nous utilisons aujourd'hui, capables d'écrire des histoires, de résoudre des problèmes et de répondre à des questions dans des dizaines de langues. Depuis des années, les chercheurs savent que ces systèmes ne sont pas aussi performants dans toutes les langues ; un modèle peut être brillant pour répondre à une question d'histoire en anglais, mais peiner à trouver le même fait lorsqu'on lui pose la question en arabe ou en chinois. Cette incohérence a généralement été imputée aux données sur lesquelles les modèles ont été entraînés, supposant que certaines langues disposent simplement de moins d'informations disponibles pour enseigner à la machine. Cependant, une nouvelle ligne de recherche pose une question plus profonde : le problème est-il simplement lié à ce que le modèle sait, ou s'agit-il de ce que le modèle est réellement capable de faire ? Se pourrait-il que le même esprit artificiel possède des ensembles de compétences différents selon la langue qu'il parle, même lorsque la tâche elle-même reste exactement la même ?

Une équipe de chercheurs a entrepris de répondre à cela en traitant la langue non pas comme un sujet d'étude, mais comme une variable dans une expérience contrôlée. Ils se sont tournés vers un concept familier : le jeu. En plaçant deux copies identiques du même modèle d'intelligence artificielle dans une arène numérique pour jouer l l'une contre l'autre, ils ont créé un test de compétence parfait. Dans cette configuration, les règles du jeu, le plateau, les cartes et les coups possibles restaient figés et identiques pour les deux joueurs. La seule chose qui changeait était la langue utilisée pour décrire la situation. Un joueur recevait les instructions et voyait l'état du jeu en anglais, tandis que son adversaire voyait exactement le même plateau et les mêmes règles traduits en allemand, en hébreu, en chinois ou dans l'une des autres langues. Comme les modèles étaient identiques et que la mécanique du jeu était fixe, toute différence dans le vainqueur devait provenir de l'interface linguistique elle-même, et non d'une différence de connaissance ou d'intelligence.

Les chercheurs ont construit un terrain de test massif appelé une extension multilingue d'une plateforme de jeu connue sous le nom de TextArena, qui leur a permis de mener des milliers de matchs à travers six types de jeux différents. Ces jeux allaient de simples puzzles spatiaux comme le morpion, où les joueurs doivent visualiser une grille, à des jeux stratégiques complexes impliquant l'allocation de ressources et le bluff. Ils ont testé trois modèles open-source différents, de taille similaire, opposant chacun d'eux à sa propre version dans huit langues différentes. Les résultats ont révélé une réalité stupéfiante : le même modèle peut être un maître stratège dans une langue et un novice maladroit dans une autre. Dans certains cas, le modèle jouant en anglais battait systématiquement sa propre version jouant en hébreu ou en arabe, non pas parce qu'il en savait plus sur le jeu, mais parce que la langue elle-même semblait débloquer ou entraver sa capacité à réfléchir clairement.

La nature de ces échecs était spécifique et révélatrice. Dans les jeux nécessitant un raisonnement spatial, comme la connexion de lignes sur une grille, les modèles jouant dans des langues utilisant des scripts non latins, comme l'arabe ou l'hébreu, commettaient fréquemment des erreurs qui ressemblaient à une incompréhension fondamentale du plateau. Ils échouaient souvent à voir une ligne gagnante qui passait en diagonale ou verticalement, traitant la grille comme si les rangées étaient les seules choses importantes. Dans les jeux de hasard et de stratégie, comme une forme simplifiée de poker, les modèles changeaient de personnalité selon la langue. Un modèle pouvait jouer avec prudence et honnêteté dans une langue, mais devenir agressif et enclin à des bluffs risqués dans une autre, même si les cartes en main étaient identiques. Les chercheurs ont découvert que ces erreurs n'étaient pas aléatoires ; il s'agissait de changements de comportement systématiques qui dépendaient entièrement des mots utilisés pour cadrer le problème.

La découverte la plus surprenante fut peut-être que le problème ne concernait pas toujours la langue que le modèle lisait, mais la langue qu'il utilisait pour penser. Dans certaines expériences, les chercheurs ont maintenu les instructions du jeu dans une langue plus faible, comme l'allemand, mais ont ordonné au modèle d'effectuer son raisonnement interne en anglais. Ce simple changement a permis au modèle de récupérer une grande partie de sa performance perdue, suggérant que la barrière linguistique n'était pas seulement un problème de traduction, mais un problème cognitif. Le modèle pouvait accéder à son plein potentiel stratégique s'il était autorisé à « penser » dans une langue plus forte, même en jouant dans une langue plus faible. Cela indique que l'interface linguistique affecte les étapes mêmes de la prise de décision, de la compréhension de l'état actuel du jeu à la sélection du meilleur coup.

L'étude a également examiné si ces différences pouvaient être expliquées par la quantité de texte existant sur Internet pour chaque langue. S'il est vrai que les langues disposant de plus de données disponibles sur le web affichent généralement de meilleures performances, ce facteur ne racontait pas toute l'histoire. Certaines langues avec relativement peu de données sur le web permettaient tout de même aux modèles de très bien jouer, tandis que d'autres avec une abondance de données résultaient en de mauvaises performances. Cela suggère que le problème n'est pas seulement la quantité de matériel d'entraînement, mais la manière dont le modèle a appris à connecter les compétences à travers différents systèmes linguistiques. Les conclusions impliquent que pour que l'intelligence artificielle soit véritablement fiable et équitable, les développeurs ne peuvent pas simplement supposer que les capacités d'un modèle sont constantes à travers toutes les langues. La langue qu'un modèle parle n'est pas seulement une fenêtre sur ses connaissances ; c'est une lentille qui peut déformer ses compétences, changeant sa façon de voir le monde et sa façon de jouer le jeu.