mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?
Cet article introduit mmPISA-bench, un banc d'essai de raisonnement multilingue dérivé du PISA à travers 43 langues, démontrant que les LLM modernes atteignent des performances de raisonnement comparables à celles de l'humain avec une dégradation minimale due à la traduction automatique, tout en révélant des variations significatives de précision et de coûts d'inférence selon les différentes langues.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un étudiant super intelligent capable de parler presque toutes les langues. Vous voulez savoir : cet étudiant est-il aussi intelligent pour passer un examen en français qu'en anglais ? Ou, si vous lui donnez un test écrit dans une langue qu'il ne connaît pas nativement (mais traduit par un robot), obtient-il quand même les bonnes réponses ?
Ce document, appelé mmPISA-bench, est comme un bulletin scolaire multilingue massif pour deux des « étudiants » IA les plus avancés au monde (plus précisément, des modèles d'OpenAI et d'Anthropic). Voici le compte rendu de ce qu'ils ont trouvé, en utilisant quelques analogies de la vie quotidienne.
1. Le test : Un examen mondial de mathématiques et de lecture
Les chercheurs n'ont pas inventé des questions au hasard. Ils ont récupéré 25 questions réelles de l'examen PISA — le célèbre test international que passent les élèves de 15 ans du monde entier pour prouver qu'ils peuvent résoudre des problèmes mathématiques et comprendre des textes de lecture.
- La configuration : Ils ont pris ces 25 questions et les ont traduites en 43 langues différentes.
- Le rebondissement : Pour chaque langue, ils avaient deux versions :
- La version « Officielle » : Traduite par des experts humains (comme un traducteur professionnel).
- La version « Robot » : Traduite par Google Traduction (traduction automatique).
- L'objectif : Voir si l'IA pouvait résoudre ces énigmes logiques dans les 43 langues, et s'il importait que la traduction soit faite par un humain ou par un robot.
2. Les résultats : Les étudiants IA sont-ils aussi intelligents partout ?
La bonne nouvelle : Oui, pour la plupart.
Les modèles d'IA ont très bien performé dans les 43 langues. En fait, leur précision était souvent comparable à ce que l'on attendrait d'un brillant élève humain de 15 ans. Ils n'ont pas soudainement « oublié » comment faire des maths simplement parce que la question était en islandais ou en thaï.
Le bémol : Ce n'était pas parfaitement égal.
- L'effet « Dialecte » : Tout comme un humain peut être légèrement plus à l'aise pour lire une histoire dans sa langue maternelle que dans une seconde langue, l'IA était légèrement plus précise dans certaines langues que dans d'autres.
- Le mythe de la traduction par « Robot » : Vous pourriez penser : « Si la question est traduite par un robot, l'IA sera confuse. » Le document dit non. L'IA a obtenu les bonnes réponses aussi souvent avec les traductions « Robot » qu'avec les traductions « Humaines ». C'est un point important car cela signifie que nous n'avons pas toujours besoin de traducteurs humains coûteux pour tester l'IA dans de nouvelles langues ; une bonne traduction automatique convient parfaitement.
3. Le coût caché : Le prix de la « Réflexion »
C'est ici que le document devient vraiment intéressant. Il ne s'agit pas seulement d'obtenir la bonne réponse ; il s'agit de savoir combien cela coûte pour y parvenir.
Imaginez deux étudiants passant un test :
- L'étudiant A (Claude) : Écrit une explication très longue et détaillée pour chaque réponse.
- L'étudiant B (GPT) : Écrit des explications plus courtes.
Les chercheurs ont découvert que pour certaines langues, l'IA devait « réfléchir » beaucoup plus (écrire plus de texte) pour obtenir la bonne réponse, ce qui rendait le test plus coûteux à exécuter.
- Les langues « coûteuses et maladroites » : Pour certaines langues (comme le thaï pour un modèle, ou le grec pour l'autre), l'IA devait générer une énorme quantité de texte pour résoudre un problème simple. C'était comme payer un trajet en taxi de luxe juste pour aller au coin de la rue.
- Le résultat : Dans ces langues « coûteuses », l'IA était en fait moins précise et plus coûteuse en même temps. C'est un double coup dur : vous payez plus, et vous obtenez un moins bon résultat.
4. Le changement de langue secret
Les chercheurs ont également regardé sous le capot pour voir comment l'IA réfléchissait. Ils ont découvert quelque chose de surprenant :
- Parfois, lorsqu'on posait une question en kazakh à l'IA, elle ne se contentait pas de réfléchir en kazakh ou en anglais. Elle commençait en réalité à faire ses mathématiques et sa logique en russe avant de donner la réponse en kazakh.
- C'est comme une personne qui parle espagnol et anglais, mais qui, face à un problème de mathématiques difficile, bascule instinctivement vers la pensée en français parce que c'est là que réside son « cerveau mathématique ». L'IA faisait quelque chose de similaire, utilisant une « langue pivot » pour résoudre le problème.
Résumé : Qu'est-ce que cela signifie ?
- L'IA devient douée en langues : L'IA moderne peut raisonner à travers des énigmes logiques dans 43 langues presque aussi bien qu'un adolescent humain.
- La traduction automatique est correcte : Vous n'avez pas besoin de traductions humaines parfaites pour tester l'IA ; les traductions par robot fonctionnent très bien.
- La langue compte pour le coût : Certaines langues sont « plus difficiles » à traiter pour l'IA. Elles poussent l'IA à parler davantage (ce qui coûte de l'argent) et, parfois, à commettre plus d'erreurs.
- Nous devons regarder plus profondément : Pour comprendre réellement si une IA est performante, nous ne pouvons pas nous contenter de regarder le score final. Nous devons aussi regarder l'« effort » (et l'argent) qu'il a fallu pour obtenir ce score, ainsi que les langues dans lesquelles elle réfléchissait secrètement.
En bref, l'IA est un génie polyglotte, mais elle possède encore quelques « dialectes » où elle trébuche un peu et dépense beaucoup plus de son argent de poche pour accomplir la tâche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.