Hidden Language Consistency Phenomena in Reasoning LLMs

Imaginez que vous soyez dans une salle de classe où l'enseignant demande à un élève de résoudre un problème de mathématiques complexe, mais avec une règle très spécifique : « Tu dois réfléchir à voix haute et écrire ta réponse entièrement en espagnol. » Dans le monde de l'intelligence artificielle, ces « élèves » sont des modèles de langage étendu (LLM) — des programmes informatiques très intelligents qui ont lu presque tout ce qui se trouve sur Internet. Lorsque nous leur demandons de résoudre des problèmes difficiles, ils utilisent souvent une technique appelée « Chaîne de pensée » (Chain-of-Thought), qui revient à un élève griffonnant son processus de réflexion étape par étape avant de donner la réponse finale. Pendant longtemps, les scientifiques ne se sont souciés que de savoir si la réponse finale était correcte. Ils traitaient le processus de réflexion comme une boîte noire, supposant que si la réponse était juste, l'élève faisait tout correctement. Mais tout comme un élève humain pourrait accidentellement commencer à parler français ou anglais en essayant de résoudre un problème en espagnol, ces modèles d'IA peuvent parfois « glisser » et changer de langue en plein milieu de leur réflexion, même lorsqu'on leur a explicitement demandé de ne pas le faire. Ce document examine précisément cela : que se passe-t-il lorsque nous demandons à ces élèves d'IA de résoudre des problèmes de mathématiques de plus en plus difficiles, et gardent-ils leur promesse linguistique, ou deviennent-ils si confus qu'ils commencent à parler une autre langue entièrement ?

Les chercheurs derrière cette étude ont décidé de mettre ces « élèves » d'IA à l'épreuve en utilisant un examen de mathématiques spécial appelé PolyMath, qui couvre huit langues différentes et quatre niveaux de difficulté, allant des mathématiques scolaires simples aux énigmes les plus complexes de niveau olympique. Ils ont examiné cinq modèles de « raisonnement » différents (IA conçues pour réfléchir profondément) et trois modèles « non-raisonnants » (IA standards) pour voir comment ils géraient la tâche. Ce qu'ils ont découvert est un peu comme regarder un élève paniquer sous la pression. Ils ont constaté qu'à mesure que les problèmes de mathématiques devenaient plus difficiles, les modèles ne se contentaient pas de devenir moins bons en mathématiques ; ils devenaient souvent moins bons pour respecter la langue qu'ils étaient censés utiliser.

L'étude a mis au jour quatre façons distinctes dont ce « faux pas » linguistique se produit. Parfois, un modèle est une star et reste dans la bonne langue, peu importe la difficulté du problème. D'autres fois, c'est un total rebelle et il refuse d'utiliser la langue demandée dès le début, s'en tenant à sa langue interne préférée (généralement l'anglais) quoi qu'il arrive. Un troisième groupe commence fort mais perd progressivement sa concentration, dérivant vers une autre langue à mesure que les problèmes deviennent plus difficiles. Mais la découverte la plus surprenante est le quatrième groupe : ces modèles sont parfaitement capables de gérer des problèmes faciles et moyens, mais dès qu'ils atteignent un niveau de difficulté « moyen », ils s'effondrent soudainement et complètement, changeant de langue de manière abrupte. Les auteurs appellent cela l'« effet de rupture de la cohérence linguistique ».

Voici le rebondissement qui rend cela vraiment intéressant : l'article a découvert que ce changement de langue n'est pas toujours une mauvaise chose pour le score. Dans certains cas, lorsqu'un modèle a cessé d'essayer de réfléchir dans la langue demandée (comme le télougou ou le swahili) et est passé à sa langue de « confort » (comme l'anglais), il a en fait obtenu plus de bonnes réponses, même si le problème était plus difficile. C'est comme si l'élève avait arrêté d'essayer de résoudre le problème en espagnol, était passé à l'anglais, et avait soudainement trouvé la bonne réponse. Cela signifie que si vous ne regardez que le score final, vous pourriez penser que l'IA devient plus intelligente, alors qu'en réalité, elle a simplement renoncé à suivre vos instructions linguistiques.

Les chercheurs ont également testé ce qui se passe lorsque nous « compressons » ces modèles pour les faire fonctionner plus rapidement sur de petits appareils (un processus appelé quantification). Ils ont découvert que cette compression est un pari. Parfois, elle aide le modèle à respecter la bonne langue, et parfois, elle le fait changer de langue encore plus vite, et cela se produit indépendamment du fait que les réponses mathématiques s'améliorent ou non. Par exemple, une méthode appelée GPTQ a souvent aidé les modèles à mieux maintenir leur cohérence linguistique qu'une autre méthode appelée AutoRound, même si AutoRound était meilleur pour maintenir l'exactitude des réponses mathématiques.

En résumé, cet article soutient que nous ne pouvons pas nous contenter de regarder si une IA obtient la bonne réponse pour juger si elle est douée en multilinguisme. Nous devons observer comment elle réfléchit et quelle langue elle utilise pendant qu'elle réfléchit. Si nous ne le faisons pas, nous risquons de manquer le fait que l'IA parle secrètement une autre langue pour résoudre le problème, ou qu'elle abandonne soudainement votre langue lorsque les choses se corsent. L'étude suggère que pour que l'IA soit réellement fiable dans un monde multilingue, nous devons mesurer non seulement la note finale, mais aussi si l'élève a réellement suivi les règles linguistiques de l'examen.