MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation
Cet article présente MGSM-Pro, une extension multilingue du benchmark GSM-Symbolic qui évalue la robustesse du raisonnement mathématique dans neuf langues en générant plusieurs instantiations à variation de chiffres, révélant ainsi des baisses de performance significatives dans les langues peu dotées en ressources et des résiliences variables des modèles face à de telles perturbations.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un enseignant administrant un test de mathématiques à une classe d'élèves venant de différents pays. Vous souhaitez déterminer qui est véritablement doué en mathématiques et qui se contente de mémoriser les réponses issues d'un livre d'exercices.
Ce papier présente une nouvelle méthode plus rigoureuse pour évaluer les modèles de langage de grande taille (IA) sur des problèmes de mathématiques, appelée MGSM-Pro. Voici l'histoire de leurs découvertes, expliquée simplement.
Le Problème : Le Piège du « Livre d'Exercices »
Pendant longtemps, les modèles d'IA se sont améliorés dans la résolution de problèmes de mathématiques sous forme de texte. Mais les chercheurs ont remarqué quelque chose de suspect : l'IA ne « réfléchit » peut-être pas réellement aux mathématiques. Au lieu de cela, elle pourrait mémoriser des détails spécifiques des questions de test qu'elle a rencontrées durant son entraînement.
Pensez-y comme un élève qui mémorise la réponse à un problème de texte spécifique : « Si Jean a 5 pommes et en achète 3 de plus... ». L'élève sait que la réponse est 8. Mais si vous changez la question en « Si Sarah a 5 oranges et en achète 3 de plus... », l'élève qui n'a mémorisé que le premier cas pourrait être perdu.
Récemment, les chercheurs ont découvert que même en anglais, si vous modifiez légèrement les noms ou les chiffres dans un problème de mathématiques, de nombreux modèles d'IA échouent. Ils ont réalisé que les anciens tests étaient trop faciles car ils ne vérifiaient pas si l'IA pouvait gérer ces petits changements.
La Solution : MGSM-Pro (Le Test de « Mélange »)
Les auteurs ont créé un nouvel ensemble de données appelé MGSM-Pro. Ils ont pris 250 problèmes de mathématiques et les ont transformés en 1 240 problèmes (5 versions de chacun).
Ils ont procédé en mélangeant le jeu :
- Changement de Noms : Remplacer « Jean » par « Zainabu » ou « Carla ».
- Changement de Chiffres : Remplacer « 5 pommes » par « 7 pommes ».
- Ajout de Distractions : Ajouter une phrase qui semble importante mais qui est en fait absurde (comme « Le ciel est bleu, donc Jean a acheté 5 pommes »).
Ils ont fait cela dans neuf langues différentes, allant des langues largement parlées comme l'anglais et le chinois aux langues disposant de moins de ressources numériques comme le swahili, le yoruba et l'igbo.
La Grande Découverte : La Lutte des « Faibles Ressources »
Lorsqu'ils ont effectué les tests, ils ont constaté un fossé massif entre les langues « à fortes ressources » (comme l'anglais) et les langues « à faibles ressources » (comme le twi ou l'igbo).
- Les Élèves à Fortes Ressources : Lorsque vous changiez les noms ou les chiffres en anglais ou en chinois, les modèles d'IA voyaient leur score baisser légèrement, mais ils restaient globalement sur la bonne voie. Ils ressemblaient à un élève qui comprenait réellement le concept mathématique.
- Les Élèves à Faibles Ressources : Lorsqu'ils effectuaient le même mélange pour des langues comme le twi ou l'igbo, les modèles d'IA s'effondraient. Leurs scores chutaient en flèche. C'était comme si l'élève oubliait soudainement comment compter parce que l'enseignant utilisait un nom différent pour le fruit.
L'Analogie : Imaginez un élève excellent en mathématiques en anglais mais terrible en mathématiques dans sa langue maternelle. Lorsque l'enseignant pose une question en anglais avec une variation, l'élève la résout. Mais lorsque l'enseignant pose la même question variée dans la langue maternelle de l'élève, ce dernier se fige. Le papier a révélé que les modèles d'IA font la même chose : ils sont beaucoup moins « robustes » (fiables) dans les langues pour lesquelles ils ont moins vu de données.
Qui a Réussi et Qui a Échoué ?
Le papier a testé de nombreux modèles d'IA différents (certains créés par de grandes entreprises technologiques, d'autres open-source).
- Les Robustes : Les modèles plus récents et plus intelligents, comme Gemini 3.0 Pro et GPT-OSS 120B, ont bien géré les changements. Ils ne paniquaient pas lorsque les chiffres ou les noms changeaient.
- Les Fragiles : Les modèles plus anciens ou plus petits (comme Gemma 3 4B ou Llama 3) se sont désintégrés. Ils ne pouvaient pas gérer la « variation ».
- Le Mythe de la Taille : On pourrait penser qu'un cerveau plus gros (plus de paramètres) signifie toujours un élève plus intelligent. Le papier a constaté que ce n'est pas vrai. Parfois, un modèle énorme échouait lamentablement, tandis qu'un modèle légèrement plus petit réussissait. Il ne s'agit pas seulement de la taille ; c'est de la manière dont le modèle a été entraîné.
La Leçon : Ne Testez Pas Une Seule Fois
La principale conclusion concerne la façon dont nous devrions tester l'IA à l'avenir.
Actuellement, de nombreux classements (hiérarchies des meilleures IA) testent un modèle sur une seule version d'un problème. Les auteurs disent que c'est comme donner à un élève une seule question d'exercice et le qualifier de génie s'il la répond correctement.
Leur Recommandation : Pour savoir vraiment si une IA est bonne en mathématiques, vous devez la tester sur au moins cinq versions différentes du même problème (en changeant les noms et les chiffres). Si l'IA répond correctement aux cinq, alors elle est véritablement intelligente. Si elle ne répond correctement qu'à la première, elle se contente de mémoriser.
Résumé
Le papier soutient que nous devons cesser de traiter l'IA comme parfaite simplement parce qu'elle réussit les tests faciles. En mélangeant les noms et les chiffres dans des problèmes de mathématiques à travers différentes langues, ils ont démontré que :
- L'IA est beaucoup plus faible dans les langues disposant de moins de données numériques.
- De nombreux classements actuels sont trompeurs car ils ne testent pas ce « mélange ».
- Pour obtenir une image réelle des compétences mathématiques d'une IA, nous devons la tester sur plusieurs variations du même problème, et pas seulement sur un seul.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.