💬 NLP

GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations

Ce papier présente GSM-SEM, un cadre stochastique qui génère des variantes de benchmark sémantiquement diversifiées et factuellement altérées pour atténuer le biais de mémorisation dans les évaluations des LLM, révélant des baisses de performance significatives des modèles les plus avancés lorsqu'ils sont testés sur ces jeux de données régénérés dynamiquement.

Auteurs originaux : Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'évaluer à quel point un élève est doué en mathématiques. Vous lui passez un test standard, comme le célèbre GSM8K (un ensemble de problèmes de mathématiques de niveau primaire sous forme d'énoncés). S'il obtient un score parfait, vous pourriez penser : « Wow, cet élève est un génie des mathématiques ! »

Mais que se passe-t-il si l'élève n'a pas réellement appris les mathématiques ? Et s'il a simplement mémorisé les réponses à ce test spécifique parce qu'il l'a vu mille fois auparavant ? Il pourrait donner la bonne réponse, mais si vous modifiez légèrement l'histoire — par exemple, en remplaçant « pommes » par « oranges » ou en changeant les chiffres — il pourrait se perdre et échouer.

C'est le problème que l'article GSM-SEM tente de résoudre.

Le Problème : L'Effet de la « Tronche »

Les modèles d'IA actuels (comme ceux qui alimentent les chatbots) deviennent incroyablement performants sur les benchmarks. Mais les auteurs soupçonnent que beaucoup de ces scores élevés sont un mirage. Les modèles ne raisonnent pas nécessairement mieux ; ils se contentent de mémoriser les questions et les réponses spécifiques des ensembles de tests sur lesquels ils ont été entraînés.

Les méthodes existantes pour remédier à cela impliquent des « perturbations », qui consistent à apporter de petits changements au test :

Paraphrase : Réécrire la phrase avec d'autres mots.
Renommage : Changer « Jean » en « Marie ».
Échange de chiffres : Remplacer 5 par 6.

L'article soutient que ces changements sont trop superficiels. C'est comme changer la police d'écriture sur une tronche ; l'élève peut toujours tricher car les faits sous-jacents et la logique restent exactement les mêmes.

La Solution : GSM-SEM (Le « Réécriveur d'Histoires »)

Les auteurs présentent GSM-SEM, un nouveau cadre qui agit comme un coach en écriture créative pour les problèmes de mathématiques. Au lieu de simplement échanger des mots, il réécrit l'histoire entière tout en maintenant la réponse mathématique exactement identique.

Voici l'analogie créative :
Imaginez qu'un problème de mathématiques soit une recette de gâteau qui rend 10 parts.

Ancienne Méthode (Paraphrase) : Vous changez le titre de la recette de « Gâteau au Chocolat » en « Gâteau au Cacao Noir » et vous remplacez « farine » par « farine de blé ». La recette fonctionne toujours de la même manière, et le modèle reconnaît simplement le motif.
Méthode GSM-SEM : Vous changez complètement l'histoire. Au lieu de faire cuire un gâteau, le problème porte désormais sur le mélange de peinture ou le calcul du carburant pour une fusée. L'histoire est totalement différente, les objets sont différents, et le contexte est nouveau. Cependant, les mathématiques nécessaires pour le résoudre (les chiffres et la réponse finale) restent identiques.

Le modèle ne peut plus se fier à la mémorisation de la « recette de gâteau ». Il doit réellement comprendre la logique de la nouvelle histoire pour donner la bonne réponse.

Comment Ils L'Ont Construit

L'équipe a développé un système qui :

Prend un problème de mathématiques et sa réponse correcte.
Demande aux modèles d'IA d'inventer une nouvelle histoire qui mène à cette même réponse. (Par exemple : « Si la réponse est 15, écrivez une histoire sur un boulanger, une fusée ou un jeu vidéo qui aboutit à 15. »)
Filtre les résultats pour s'assurer que la nouvelle histoire est réellement différente de l'originale (pas juste un léger reformulation) mais toujours résoluble.
Valide les nouveaux problèmes avec des examinateurs humains pour s'assurer qu'ils ont du sens.

Ils ont appliqué cela à trois ensembles de benchmarks différents, créant de nouvelles versions appelées GSM8K-SEM, GSM-Symbolic-SEM et GSM-Plus-SEM.

Ce Qu'ils Ont Découvert

Ils ont testé 14 des modèles d'IA les plus intelligents disponibles (y compris des modèles d'OpenAI, de Google et de Meta) sur ces nouveaux tests « réécrits en histoire ».

Les Résultats :

Les Modèles « Génies » Ont Trébuché : Lorsque les modèles ont été confrontés à ces nouvelles histoires sémantiquement différentes, leurs performances ont chuté de manière significative. En moyenne, ils ont donné 28 % de bonnes réponses en moins lorsque les changements sémantiques étaient combinés à d'autres variations difficiles.
La Mémorisation Exposée : Le fait que les modèles aient si mal échoué sur les nouvelles histoires a prouvé que leurs scores élevés précédents étaient largement dus à la mémorisation, et non à un véritable raisonnement.
L'Effet « Double Trouble » : Les modèles ont eu le plus de mal lorsque l'histoire était modifiée et que d'autres éléments (comme les chiffres ou les structures logiques) étaient également ajustés. Cela suggère que l'IA actuelle est très fragile ; elle peut gérer un type de changement, mais pas une combinaison de ceux-ci.

La Conclusion

L'article conclut que GSM-SEM est un meilleur moyen de tester si une IA « pense » réellement ou si elle se contente de « réciter ». En générant constamment de nouvelles histoires uniques qui nécessitent les mêmes mathématiques, il empêche les modèles de tricher par mémorisation.

Les auteurs ont également montré que cela fonctionne sur d'autres types de puzzles logiques (pas seulement les mathématiques), prouvant que cette approche de « réécriture d'histoire » est un outil puissant pour déterminer si l'IA est véritablement robuste ou simplement bonne en reconnaissance de motifs.

En résumé : Si vous voulez savoir si une IA est intelligente, ne lui posez pas les mêmes questions qu'elle a déjà entendues. Demandez-lui de vous raconter une nouvelle histoire qui mène à la même réponse. Si elle ne peut pas le faire, elle ne raisonne pas ; elle se souvient simplement.

Résumé Technique : GSM-SEM

Énoncé du Problème

Les benchmarks actuels pour évaluer le raisonnement mathématique dans les grands modèles de langage (LLM), tels que GSM8K, présentent des limitations significatives en matière de robustesse et de généralisation. Les scores élevés sur les classements reflètent souvent la mémorisation d'ensembles de test statiques ou l'exploitation d'artefacts spécifiques aux jeux de données plutôt que de véritables capacités de raisonnement. Les variantes de robustesse existantes (par exemple, le paraphrase, le renommage d'entités, les substitutions numériques) appliquent principalement des perturbations de surface qui préservent l'épine dorsale factuelle sous-jacente et la structure relationnelle des problèmes. Par conséquent, ces variantes testent souvent l'invariance à la forme de surface plutôt que l'adaptabilité à des conditions sémantiques significativement différentes. De plus, les versions statiques des benchmarks deviennent des cibles pour la mémorisation au fil du temps, et la génération de perturbations fraîches et comparables nécessite souvent une ré-annotation coûteuse des réponses de vérité terrain.

Méthodologie : Le Cadre GSM-SEM

Les auteurs introduisent GSM-SEM, un cadre stochastique réutilisable conçu pour générer des variantes de benchmarks sémantiquement diversifiées tout en préservant la réponse de vérité terrain originale et la logique de calcul. Le cadre fonctionne via un pipeline dual de curation et de validation :

Génération de Variantes Sémantiques : Le cadre emploie deux stratégies d'augmentation complémentaires pour générer de nouvelles variantes de questions ( $\tilde{q}$ ) à partir d'un échantillon original $(q, a)$ :
- Génération Conditionnée par la Réponse : Les LLM sont sollicités pour rétro-ingénierier une nouvelle question qui préserve le calcul numérique implicite de la réponse $a$ mais altère substantiellement la forme de surface et les faits contextuels (par exemple, changer "bactérie infecte" en "virus se propage").
- Génération Conditionnée par la Question : Les LLM sont sollicités pour maintenir toutes les valeurs numériques fixes tout en modifiant le scénario ou le thème (par exemple, changer "peste infecte" en "rumeur se propage"), augmentant ainsi la diversité sémantique sans modifier l'arithmétique requise.
- Un vérificateur basé sur des règles s'assure que toutes les valeurs numériques dans la question générée correspondent à l'originale.
Validation Automatique de la Qualité : Un LLM juge, ajusté via un examen humain de 70 variantes échantillonnées, évalue la cohérence logique et la qualité.
Élagage de Redondance Basé sur la Similarité : Les variantes sont filtrées en utilisant la similarité cosinus basée sur des vecteurs de fréquence de termes. Les candidats présentant une similarité $s(x, \tilde{x}) > 0,85$ avec l'échantillon de base ou les variantes retenues existantes sont rejetés pour assurer une divergence sémantique.
Filtrage de Sévérité : Pour contrôler la difficulté et éviter des variantes triviales, un filtre de sévérité évalue les candidats en utilisant un ensemble de modèles de référence maintenu à l'écart ( $M_{hold}$ ). Les variantes pour lesquelles les modèles montrent une justesse unanime sont considérées comme potentiellement trop faciles ou insuffisamment perturbées. Celles-ci sont davantage élaguées en fonction d'une fenêtre d'acceptation de similarité sémantique $[\alpha, \beta]$ . Cela permet la création de sous-ensembles avec des niveaux de défi variables (par exemple, le filtrage de sévérité "max" rejette tous les échantillons corrects à l'unanimité).
Validation Humaine : Les jeux de données finaux subissent un processus rigoureux d'examen humain en deux étapes pour assurer la cohérence logique et l'alignement des réponses, aboutissant à des jeux de données entièrement validés par l'humain.

Contributions Clés

Cadre GSM-SEM : Un pipeline stochastique et réutilisable pour générer des variantes de benchmarks sémantiquement diversifiées qui maintiennent les calculs et réponses originaux, permettant une évaluation réexécutable sans ré-annotation.
Jeux de Données Validés par l'Humain : Publication publique de trois jeux de données entièrement validés : GSM8K-SEM, GSM-Symbolic-SEM, et GSM-Plus-SEM. Ces jeux de données démontrent une variance sémantique plus élevée que les approches antérieures (GSM-Symbolic, GSM-Plus, et versions paraphrasées).
Évaluation Complète : Évaluation de 14 LLM de pointe (SOTA) à travers des familles de modèles, révélant une dégradation constante des performances dans les variantes SEM par rapport aux benchmarks originaux.
Applicabilité Transversale : Démonstration de l'utilité du cadre sur des jeux de données non-GSM, incluant BigBench-Hard, LogicBench, et NLR-BIRD.

Résultats

Dégradation des Performances : Sur 14 modèles SOTA, les variantes GSM-SEM sous-performent systématiquement par rapport à leurs benchmarks de base. Dans la configuration de sévérité "med", le taux de baisse de performance moyen (PDR) était d'environ 28 % pour GSM-Plus-SEM, la configuration la plus exigeante.
Perturbations Composées : La combinaison de perturbations sémantiques (GSM-SEM) avec des variations symboliques ou "plus" existantes (GSM-Symbolic-SEM, GSM-Plus-SEM) amplifie les baisses de performance. Par exemple, GSM-Plus-SEM a montré une baisse de précision moyenne de 13,53 % à travers les modèles, nettement supérieure à GSM-Plus seul.
Sensibilité Sémantique : L'analyse révèle que la précision des modèles s'améliore généralement avec une similarité sémantique plus élevée par rapport au jeu de données original. Même lorsque les calculs restent inchangés, des déplacements sémantiques substantiels entraînent des baisses de performance plus importantes, indiquant que les modèles actuels sont sensibles au contexte sémantique plutôt qu'à la simple manipulation symbolique.
Modes d'Échec : L'analyse manuelle a identifié des modes d'échec clés dans les variantes SEM, notamment :
- Une charge cognitive accrue due à l'ajout d'indirections.
- Des indices d'unités/de devises déclenchant des erreurs d'échelle (par exemple, une mauvaise interprétation des centimes par rapport aux dollars).
- Un suivi d'état déstabilisé dans les réécritures de style référence.
- Une mauvaise récupération de modèles sous de légers déplacements sémantiques.
Transfert Hors Domaine : Le cadre a généré avec succès des variantes pour des jeux de données non mathématiques. Des baisses de performance ont été observées dans des jeux de données plus anciens (BigBench-Hard, 2022), probablement dues à la mémorisation, tandis que des jeux de données plus récents (NLR-BIRD, 2025) ont montré des baisses minimales, suggérant que le cadre isole efficacement les capacités de raisonnement de la mémorisation.

Signification et Revendications

L'article postule que GSM-SEM comble le fossé critique entre les tests de robustesse de surface et l'adaptabilité sémantique véritable. En générant de nouvelles variantes sémantiquement diversifiées à chaque exécution tout en préservant les réponses de vérité terrain, le cadre réduit la dépendance aux benchmarks publics statiques et diminue le biais d'évaluation causé par la mémorisation.

Les auteurs affirment que les modèles SOTA actuels, malgré leurs capacités de raisonnement avancées, restent sensibles aux déplacements sémantiques qui altèrent le contexte narratif d'un problème, même lorsque les mathématiques sous-jacentes sont identiques. Cela suggère que les scores élevés aux benchmarks ne capturent pas pleinement une généralisation robuste. Le cadre fournit un mécanisme pour une évaluation plus rigoureuse et réexécutable, adaptable à divers jeux de données au-delà des problèmes mathématiques de style GSM, offrant une voie vers une évaluation plus fiable du raisonnement des LLM.