Multilingual Large Language Models do not comprehend all natural languages to equal degrees
Cette étude révèle que, bien que les modèles de langage multilingues surpassent l'anglais dans plusieurs langues romanes, ils restent systématiquement en deçà des performances humaines dans toutes les langues testées, avec des variations de compréhension influencées par des facteurs tels que la tokenisation, la taille des données d'entraînement et l'origine des communautés WEIRD ou non-WEIRD.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🌍 Le Mythe du "Super-Héros Polyglotte"
Imaginez que les Intelligences Artificielles (IA) comme ChatGPT, Grok ou DeepSeek soient de nouveaux super-héros capables de parler toutes les langues du monde. On a longtemps cru que ces héros étaient parfaitement égaux dans leur compréhension, un peu comme un chef cuisinier qui maîtriserait aussi bien la cuisine française que la cuisine japonaise, simplement parce qu'il a lu beaucoup de livres sur le sujet.
Mais cette étude, menée par une équipe de chercheurs, a décidé de mettre ces super-héros à l'épreuve. Ils ont posé des questions de compréhension (des petits énigmes logiques) à trois IA populaires dans 12 langues différentes, allant de l'anglais et l'espagnol au chinois, au japonais et à l'arabe.
Leur but ? Voir si ces IA comprennent vraiment ce qu'on leur dit, ou si elles se contentent de deviner comme des perroquets.
🏆 La Grande Surprise : L'Anglais n'est pas le Roi !
Le plus grand choc de l'étude, c'est la chute du roi.
On pensait que l'anglais était la langue préférée des IA, celle où elles étaient les plus intelligentes, un peu comme si un ordinateur était "né" en anglais et apprenait les autres langues en second.
La réalité est tout autre :
- L'anglais n'est pas la langue où les IA réussissent le mieux.
- En fait, des langues comme le français, l'italien et l'espagnol (les langues romanes) surprennent tout le monde en étant souvent plus performantes que l'anglais !
- C'est comme si un élève qui a étudié l'anglais toute sa vie réussissait mieux en mathématiques en parlant italien qu'en anglais.
📉 Le Décalage Humain vs Machine
Même si ces IA sont impressionnantes, elles ne sont pas encore des humains.
- Les humains sont comme des lecteurs experts : ils comprennent presque parfaitement les nuances, peu importe la langue (avec quelques petites variations).
- Les IA, elles, sont comme des étudiants en vacances : elles réussissent bien, mais elles font beaucoup plus d'erreurs que les humains, et cela varie énormément selon la langue.
Par exemple, dans des langues comme le japonais ou le grec, les IA ont beaucoup plus de mal à comprendre les subtilités que dans l'espagnol ou l'italien. C'est comme si l'IA avait un "brouillard" plus épais dans certaines langues que dans d'autres.
🔍 Pourquoi est-ce que ça marche mieux en espagnol qu'en anglais ?
Les chercheurs ont cherché les causes de ces différences et ont trouvé trois ingrédients principaux :
La "Cuisine" des mots (Tokenisation) :
Imaginez que les IA ne lisent pas des mots entiers, mais des morceaux de mots (comme des pièces de puzzle). Pour certaines langues (comme l'espagnol), ces pièces de puzzle s'assemblent très bien. Pour d'autres (comme le japonais ou le grec), les pièces sont plus petites ou plus compliquées, ce qui rend le puzzle plus difficile à résoudre pour l'IA.La quantité de livres dans la bibliothèque :
On pensait que plus une langue a de données sur internet, mieux l'IA la comprend. C'est vrai, mais pas tout à fait. Même avec beaucoup de données, si la "structure" de la langue est difficile à décoder pour l'IA, elle aura du mal. Les langues non-romaines (comme le chinois ou l'arabe) ont besoin de beaucoup plus de "nourriture" (données) pour atteindre le même niveau de compréhension que les langues latines.La proximité avec l'espagnol :
Curieusement, plus une langue ressemble à l'espagnol, mieux l'IA la comprend. C'est comme si l'IA avait un "réflexe" naturel vers l'espagnol, même quand on lui pose la question dans une autre langue.
⚖️ La Stabilité : Les IA sont plus calmes que nous
Il y a un autre aspect intéressant : la stabilité.
- Si vous posez la même question 10 fois à un humain, il peut changer d'avis s'il est fatigué, distrait ou s'il réfléchit différemment.
- Les IA, elles, sont comme des robots programmés : si on leur pose la même question 10 fois, elles donnent souvent la même réponse, même si cette réponse est fausse.
- Résultat : Sur la stabilité, certaines IA sont même plus constantes que les humains ! C'est un peu comme un métronome : il ne se trompe jamais de rythme, même s'il joue une fausse note.
💡 Le Message à retenir
Cette étude nous dit deux choses importantes :
- Ne faites pas confiance aveuglément à l'IA : Même les meilleures IA ne comprennent pas tout aussi bien que nous, et elles ne sont pas égales dans toutes les langues. Si vous posez une question en japonais ou en grec, soyez plus vigilant qu'en espagnol.
- Le monde est plus complexe qu'on ne le pense : L'anglais n'est pas le centre de l'univers des IA. Les langues romanes (espagnol, italien) sont souvent les "chouchous" de ces modèles, ce qui remet en question l'idée que l'IA est naturellement anglophone.
En résumé, les IA sont de puissants outils, mais elles ont encore des "oreilles" qui ne fonctionnent pas aussi bien dans toutes les langues, et elles ne remplacent pas encore la finesse de la compréhension humaine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.