GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
Cet article présente GSM-Plus-BN, un nouveau benchmark basé sur des perturbations pour le raisonnement mathématique en bengali dérivé du jeu de données anglais GSM-Plus, afin d'évaluer la robustesse et les capacités de raisonnement de six grands modèles de langage tout en mettant en évidence les écarts de performance significatifs et les défis inhérents aux contextes de langues à faibles ressources.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez les mathématiques à un robot. Vous ne lui demanderiez pas simplement de calculer ; vous voudriez savoir s'il comprend réellement pourquoi la réponse est 4, ou s'il se contente de mémoriser que "2 plus 2" est toujours égal à 4. C'est la grande question dans le monde de l'Intelligence Artificielle : les modèles de langage étendus (LLM) — ces cerveaux informatiques super intelligents derrière les chatbots — sont-ils réellement capables de "penser", ou sont-ils simplement très doués pour deviner le mot suivant dans une phrase ?
Pour le savoir, des scientifiques ont testé ces robots avec des problèmes mathématiques sous forme de problèmes de texte. Mais voici le piège : si vous posez exactement la même question à un robot mille fois, il pourrait simplement mémoriser la réponse. Pour voir s'il est vraiment intelligent, il faut le piéger. On change les nombres, on remplace les mots, ou on ajoute des détails superflus et déroutants pour voir si le robot trouve toujours la bonne réponse. C'est ce qu'on appelle la "perturbation". C'est comme demander à un élève : "Si j'ai 3 pommes et que j'en mange 1, combien en reste-t-il ?" puis, une seconde plus tard, demander : "Si j'ai 300 pommes et que j'en mange 100, combien en reste-t-il ?". Un élève intelligent sait que le calcul est le même ; un robot qui a simplement mémorisé la première réponse pourrait être confus.
Maintenant, imaginez faire tous ces tests, non pas en anglais, la langue que les robots maîtrisent le mieux, mais en bengali, une langue parlée par plus de 230 millions de personnes. Jusqu'à présent, il n'y avait presque aucun moyen de tester si ces cerveaux artificiels pouvaient gérer les pièges mathématiques en bengali. Ce document intervient pour combler ce immense fossé, en posant la question : ces modèles d'IA peuvent-ils réellement raisonner en bengali, ou trébuchent-ils dès que les mots changent ?
Les chercheurs derrière cette étude, une équipe d'universités du Bangladesh, ont décidé de construire un immense terrain de jeu complexe pour l'IA appelé GSM-PLUS-BN. Voyez cela comme un "Parcours d'obstacles mathématiques" spécifiquement conçu pour la langue bengalie. Ils ont commencé avec un ensemble de 1 000 problèmes mathématiques standards (les questions "graines") puis ont utilisé une recette ingénieuse pour créer 8 000 nouvelles versions, plus difficiles.
Comment ont-ils fabriqué ces pièges ? Ils ont utilisé huit types différents de "distorsions", comme un magicien changeant une carte dans un jeu :
- Changer les nombres : Remplacer un "3" par un "4" ou transformer un petit nombre en un nombre énorme (comme transformer 2 en 2 000).
- Changer les mathématiques : Ajouter une nouvelle étape au problème ou inverser la question (au lieu de demander "Quel est le total ?", demander "Si le total est X, quel était le nombre de départ ?").
- Changer les mots : Réécrire la phrase pour qu'elle signifie la même chose mais sonne totalement différemment.
- Le "Faux Indice" (Red Herring) : Ajouter une phrase qui semble importante mais qui est en fait inutile, comme mentionner le prix d'une chemise alors que la question porte uniquement sur le nombre de chemises nécessaires.
- La "Pièce Manquante" : Retirer une information cruciale pour voir si le robot admet qu'il ne connaît pas la réponse ou s'il devine quand même.
Ils ont testé six modèles d'IA différents sur ce parcours. Certains étaient petits et rapides (comme une calculatrice intelligente), tandis que d'autres étaient massifs et complexes (comme un cerveau de supercalculateur). Ils ont demandé aux robots de résoudre les problèmes de deux manières : d'abord, en donnant simplement une réponse directe, et ensuite, en "réfléchissant étape par étape" (une technique appelée "Chain-of-Thought", où le robot doit montrer son raisonnement).
Qu'ont-ils découvert ?
Les résultats étaient un mélange de "Waouh !" et de "Oh non !".
Premièrement, l'astuce de "réfléchir étape par étape" a fait des merveilles pour certains robots, mais a eu l'effet inverse pour d'autres. Le modèle Qwen3-32B était comme un élève qui était très mauvais en maths jusqu'à ce que le professeur dise : "Montre ton raisonnement !". Soudain, son score est passé d'un médiocre 13,98 % à un solide 76,25 %. Il semble que ce modèle avait le potentiel d'être intelligent, mais qu'il avait besoin d'un petit coup de pouce pour le débloquer.
Cependant, les plus gros robots n'ont pas toujours obtenu les plus grandes progressions. Le GPT-OSS-20B (le modèle à 20 milliards de paramètres) était en fait le meilleur pour résoudre les questions standards sans aide supplémentaire, réussissant 96,08 % des cas. Mais lorsqu'on l'a forcé à "réfléchir étape par étape", il est devenu légèrement moins performant, tombant à 87,80 %. Parallèlement, le géant massif GPT-OSS-120B a commencé avec un fort 88,03 % sur les questions standards et a également connu une légère baisse lorsqu'on lui a demandé de montrer son travail. Il semble que ces géants soient si doués pour deviner la réponse directement que les instructions supplémentaires les confondent parfois.
La découverte la plus surprenante fut la difficulté que les robots ont rencontrée face aux pièges de "Réflexion Critique". Lorsque les chercheurs ont supprimé une information clé et ont demandé : "Pouvez-vous résoudre ceci ?", presque tous les modèles ont échoué lamentablement. Même les meilleurs n'ont réussi qu'environ 33 % des cas. Cela suggère que, bien que ces modèles d'IA soient excellents pour suivre des schémas, ils ont encore du mal à réaliser qu'un problème est insoluble. Ils ont tendance à deviner malgré tout plutôt que de dire : "Je n'ai pas assez d'informations".
Une autre découverte majeure est que les mathématiques restent difficiles pour l'IA, quelle que soit la langue. Même les meilleurs modèles ont eu du mal avec les problèmes nécessitant de changer la façon dont les nombres sont écrits (comme transformer des nombres entiers en fractions) ou d'ajouter des étapes mathématiques supplémentaires. L'article suggère que ces modèles s'appuient trop sur la reconnaissance de schémas dans le texte plutôt que sur la réalisation réelle du calcul dans leur "tête".
Enfin, l'équipe a constaté que les modèles d'IA sont beaucoup plus fragiles en bengali qu'ils ne le sont en anglais. Lorsque les questions étaient légèrement modifiées, les scores des robots chutaient de manière significative. Cela nous indique que, bien que l'IA devienne plus intelligente, elle a encore un long chemin à parcourir avant de pouvoir réellement "comprendre" les mathématiques dans des langues comme le bengali, comme le fait un humain.
En résumé, ce document n'a pas seulement construit un nouveau test ; il nous a montré que, bien que l'IA puisse être étonnamment douée en mathématiques, elle est encore facilement déroutée par les pièges, surtout dans les langues qu'elle ne maîtrise pas aussi bien que l'anglais. L'astuce de "réfléchir étape par étape" aide certains, mais ce n'est pas une baguette magique qui répare tout. Les robots s'améliorent, mais ils ne sont pas encore prêts à être les ultimes génies des mathématiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.