Résumé Technique : RIDE – Perturbation à Évolution de Difficulté avec la Théorie de la Réponse aux Items pour le Raisonnement Mathématique

1. Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré des performances élevées sur les benchmarks de raisonnement mathématique. Cependant, les auteurs soutiennent que ces résultats peuvent être gonflés par la contamination des données (mémorisation des données d'entraînement) ou par une correspondance de motifs superficielle plutôt que par de véritables capacités de raisonnement. Les méthodes d'évaluation adverses existantes, particulièrement les techniques de perturbation basées sur des règles (par exemple, la substitution numérique), souffrent de deux limitations critiques :

1. Questions mal posées : Elles génèrent souvent des questions insolubles ou ayant des solutions multiples, ce qui compromet leur validité en tant que benchmarks fiables.
2. Difficulté Statique : Elles ne parviennent pas à faire évoluer systématiquement la difficulté des questions, restant souvent au même niveau de difficulté ou échouant à capturer la complexité intrinsèque requise pour tester la robustesse du raisonnement.

Le papier identifie le besoin d'un cadre adversarial capable de générer des variations de questions bien posées et intrinsèquement plus difficiles pour mesurer rigoureusement la véritable robustesse du raisonnement.

2. Méthodologie : Le Cadre RIDE

Les auteurs proposent RIDE (RIDE: Difficulty Evolving Perturbation with Item Response Theory), un cadre de réécriture de perturbation de benchmark. L'innovation centrale réside dans l'utilisation de la Théorie de la Réponse aux Items (IRT) pour mesurer la difficulté des questions et guider un processus d'apprentissage par renforcement (RL) pour la réécriture des questions.

2.1. Estimation de la Difficulté Guidée par l'IRT

Pour quantifier la difficulté des questions mathématiques d'un point de vue centré sur le modèle (plutôt que sur la complexité cognitive humaine), les auteurs traitent 35 LLM de pointe comme des « étudiants ».

• Construction des Données : Ils échantillonnent 2 000 questions à partir du jeu de données à haute difficulté DeepMath et font résoudre ces questions par les 35 LLM, créant ainsi une matrice de réponse binaire ($Y \in \{0, 1\}^{M \times N}$).
• Estimation des Paramètres : En utilisant le modèle de Rasch (un modèle IRT à 1 paramètre), ils emploient l'inférence variationnelle (VI) pour estimer la capacité latente ($\theta$) de chaque modèle et la difficulté ($d$) de chaque question. La probabilité d'une réponse correcte est modélisée par $P(y=1|\theta, d) = \sigma(\theta - d)$.
• Classeur de Difficulté : Au lieu de régresser directement les scores de difficulté à partir d'embeddings (ce qui peut être peu fiable pour le calcul symbolique), ils entraînent un classeur de difficulté par paires. Ce modèle prend les embeddings de deux questions et prédit la probabilité que l'une soit plus difficile que l'autre, sur la base des étiquettes de difficulté estimées par l'IRT. Ce classeur sert de signal de récompense pour le modèle de réécriture.

2.2. Apprentissage par Renforcement pour l'Évolution de la Difficulté

Les auteurs entraînent un modèle de réécriture de questions (basé sur Qwen3-8B) en utilisant un processus en deux étapes :

1. Ajustement Fin Supervisé (SFT) : Le modèle est initialisé avec 2 000 questions réécrites de haute qualité distillées de GPT-5-mini pour apprendre le format et la capacité de réécriture de base.
2. Apprentissage par Renforcement (RL) : Le modèle est optimisé davantage en utilisant la Group Sequence Policy Optimization (GSPO). La fonction de récompense se compose de deux composantes :
   • Récompense de Difficulté ($R_{diff}$) : Calculée par le classeur par paires. Elle mesure la probabilité que la question réécrite ($q'$) soit plus difficile que l'originale ($q$). $R_{diff} = p(q', q) - p(q, q')$.
   • Récompense de Correction ($R_{cor}$) : Un modèle enseignant (GPT-5-mini) vérifie que la question réécrite possède une solution unique et correcte. Cela garantit que les questions perturbées restent bien posées.

Le modèle final, RIDE-8B, est conçu pour générer de manière adaptative des questions qui augmentent en difficulté tout en maintenant la cohérence logique.

3. Contributions Clés

1. Cadre Novateur : La proposition de RIDE, un cadre qui intègre l'IRT avec l'apprentissage par renforcement pour générer des perturbations adverses faisant évoluer la difficulté pour le raisonnement mathématique.
2. Classeur de Difficulté basé sur l'IRT : Le développement d'un modèle de classement par paires entraîné sur des difficultés estimées par l'IRT, qui fournit un signal de récompense robuste pour guider la réécriture de questions par RL.
3. Ressources : La publication de :
   • RIDE-8B : Le modèle de réécriture de questions entraîné.
   • RIDE-AIME & RIDE-AMC : Versions perturbées de benchmarks de niveau compétition (AIME-24 et AMC-23).
   • RIDE-DeepMath : Un jeu de données de plus de 10 000 questions réécrites pour l'entraînement et l'augmentation de données.

4. Résultats Expérimentaux

Les auteurs ont évalué RIDE sur 26 LLM (incluant des modèles propriétaires comme GPT-5, Grok-4 et des modèles open-source comme la série DeepSeek-V3.1 et Llama) à travers les benchmarks originaux et perturbés.

• Dégradation des Performances : Les benchmarks perturbés ont provoqué une chute moyenne significative des performances de 21,73 % sur tous les modèles testés. Même les modèles de pointe comme GPT-5 et DeepSeek-V3.1-Thinking ont montré des déclins, confirmant la robustesse de la méthode d'évaluation.
• Comparaison avec les Baselines : RIDE a nettement surpassé les méthodes basées sur des règles (ex: GSM-PLUS) et les stratégies de prompting contrastif en termes de « taux de victoire » (qualité des réécritures concernant l'exhaustivité, la clarté et la perturbation structurelle).
• Études d'Ablation :
  • La suppression de la récompense de difficulté ($R_{diff}$) ou de la récompense de correction ($R_{cor}$) a conduit à des réécritures de moindre qualité et à une efficacité réduite.
  • Les modèles ajustés par RL ont atteint des scores de difficulté et de correction plus élevés que les baselines SFT uniquement.
• Augmentation de Données : Lorsqu'il est utilisé pour augmenter les données d'entraînement, l'échantillonnage généré par RIDE a amélioré les performances de raisonnement mathématique des petits modèles (ex: Qwen3-0.6B et Gemma3-4B), certains modèles augmentés dépassant des modèles de base plus grands comme GPT-4o.

5. Signification et Revendications

L'article affirme que RIDE fournit une perspective d'évaluation robuste pour le raisonnement mathématique qui dépasse la simple correspondance de motifs de surface. En se concentrant sur l'« évolution de la difficulté » plutôt que sur une simple injection de bruit, RIDE expose les vulnérabilités inhérentes des LLM dans les tâches de raisonnement.

Les auteurs soulignent que les chutes de performance observées sont pilotées par la non-robustesse des modèles plutôt que par des changements dans la difficulté perçue par l'humain. L'analyse statistique (test de McNemar) a confirmé une asymétrie significative où les modèles échouent sur les questions réécrites malgré le maintien de la similitude sémantique avec les originales.

En outre, l'article positionne RIDE non seulement comme un outil d'évaluation, mais aussi comme une stratégie d'augmentation de données capable de générer des données d'entraînement de haute qualité et stimulantes pour améliorer les capacités de raisonnement mathématique des LLM. Le travail suggère que les benchmarks actuels pourraient surestimer les capacités de raisonnement et que des perturbations adverses faisant évoluer la difficulté sont nécessaires pour une évaluation plus précise des capacités des modèles.