🤖 machine learning

Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics

Ce document présente « Question Begets Question » (QbQ), un curriculum auto-évolutif qui génère de manière itérative des variantes de problèmes à partir des forces actuelles d'un modèle afin de surmonter la rareté des données et les limitations des traces de raisonnement, réussissant ainsi à briser les plateaux de performance dans l'ajustement fin de mathématiques de compétition en atteignant un score pass@1 de 16,5 % sur l'AIME.

Auteurs originaux : Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant mais inexpérimenté comment résoudre les énigmes les plus difficiles du monde. Vous disposez d'une bibliothèque d'énigmes, mais elle est minuscule, et vous ne possédez pas les corrigés avec des explications étape par étape — seulement les réponses finales. Vous tentez d'enseigner à l'étudiant en lui donnant davantage d'énigmes, mais peu importe le nombre que vous ajoutez, l'étudiant se heurte à un mur. Il stagne à un certain niveau de compétence et refuse de s'améliorer, même avec plus de pratique. C'est un casse-tête courant pour les scientifiques travaillant sur l'Intelligence Artificielle (IA). Ils veulent que l'IA apprenne des compétences complexes comme les mathématiques ou le droit, mais ils se retrouvent souvent à court de problèmes d'entraînement de qualité, manquent de « processus de pensée » détaillés pour montrer à l'IA comment réfléchir, et regardent l'IA atteindre un « plafond » frustrant où elle cesse simplement de progresser.

Ce document explore précisément ce problème. Les chercheurs ont voulu voir s'ils pouvaient briser ce plafond d'apprentissage sans avoir besoin qu'un enseignant humain rédige chaque étape de la solution. Ils ont utilisé un programme informatique intelligent (un modèle d'IA) et un ensemble de problèmes de concours de mathématiques ardus. Au lieu de simplement nourrir l'IA avec plus des mêmes problèmes, ils ont inventé une astuce ingénieuse appelée « Question-begets-Question » (La question engendre la question). Imaginez un chef cuisinier qui ne se contente pas de donner plus de recettes à son apprenti, mais qui prend une recette que l'apprenti réussit presque parfaitement et en modifie les ingrédients juste assez pour créer un nouveau plat légèrement différent. En créant constamment de nouveaux défis variés, basés sur ce que l'IA est presque en train de maîtriser, les chercheurs ont trouvé un moyen de pousser l'IA au-delà de ses limites.

L'histoire du programme auto-évolutif

Les chercheurs ont commencé avec un modèle informatique appelé Qwen2.5-Math-7B. Au début, ce modèle était très mauvais dans un type spécifique de compétition mathématique de niveau lycée appelé AIME. Il ne pouvait résoudre qu'environ 5,6 % des problèmes par lui-même. L'équipe voulait voir si elle pouvait lui apprendre à s'améliorer, mais elle faisait face à trois obstacles majeurs : le manque de problèmes d'entraînement, l'absence de « clés de réponse » détaillant le processus de réflexion, et la crainte que le modèle ne finisse par heurter un mur et cesse d'apprendre.

Pour remédier au manque de problèmes, ils ont utilisé une méthode appelée Question-begets-Question (QbQ). Imaginez que vous ayez un problème de mathématiques sur le calcul de l'aire d'un triangle. Une manière normale de créer plus de problèmes serait de simplement changer les nombres (rendre le triangle plus grand ou plus petit). Mais l'IA « enseignante » des chercheurs a fait quelque chose de plus intelligent. Elle a pris un problème que l'étudiant réussissait presque bien et a appliqué des « règles de transformation » spécifiques. Par exemple, elle pourrait transformer la question consistant à trouver l'aire en une question demandant de trouver le rayon d'un cercle inscrit dans ce même triangle, ou elle pourrait demander la réponse dans un système de numération différent. Ces nouveaux problèmes étaient frais et diversifiés, mais ils testaient exactement la même compétence fondamentale.

Cependant, le simple fait de générer une énorme pile de ces nouveaux problèmes ne suffisait pas. Lorsqu'ils ont entraîné le modèle sur un mélange statique de problèmes réels et synthétiques, le modèle a atteint un plafond. Il est passé de 5,6 % à environ 12,5 % ou 14,5 %, puis il s'est arrêté. Peu importe la quantité de données qu'ils lui injectaient, le modèle ne pouvait pas s'améliorer davantage. C'était comme un étudiant qui aurait mémorisé les réponses à un ensemble spécifique de tests d'entraînement, mais qui serait incapable de gérer une nouvelle variante de la même question.

La percée est survenue lorsqu'ils ont cessé de traiter les données d'entraînement comme un tas statique pour les traiter comme un programme auto-évolutif. Au lieu de donner au modèle un immense sac de problèmes mélangés, ils ont organisé l'entraînement en cycles. Voici comment la magie a opéré :

Le point de contrôle : À la fin de chaque cycle, ils testaient le modèle sur les problèmes qu'il venait d'apprendre.
La zone de précision : Ils cherchaient les problèmes que le modèle réussissait la plupart du temps, mais pas tout le temps. Ils ont appelé cela la zone du « presque réussi ».
La graine : Ils prenaient ces problèmes spécifiques du « presque réussi » et les utilisaient comme germes pour générer la série suivante de variantes nouvelles et légèrement plus difficiles.
La boucle : Ils entraînaient le modèle sur ce nouveau lot, vérifiaient à nouveau, trouvaient les nouveaux problèmes du « presque réussi », et répétaient le processus.

La partie la plus surprenante ? Les chercheurs ont découvert que le modèle progressait le plus vite lorsqu'il s'entraînait sur des problèmes qu'il maîtrisait déjà bien, plutôt que sur ceux où il échouait lamentablement. Habituellement, nous pensons que l'on apprend en corrigeant ses plus grosses erreurs. Mais ici, l'IA apprenait le mieux en prenant ses « quasi-réussites », en les modifiant légèrement, et en les maîtrisant. C'était comme un joueur de tennis qui s'améliore non pas en frappant la balle dans le filet encore et encore, mais en prenant un service qu'il renvoie habituellement avec succès et en y ajoutant un tout petit peu d'effet, encore et encore.

En utilisant cette boucle d'auto-évolution pendant 20 cycles, le modèle n'a pas heurté de mur. Il a continué à grimper. Alors que d'autres méthodes plafonnaient autour de 14,5 %, cette approche auto-évolutive a poussé le taux de réussite du modèle à 16,5 % (plus précisément 16,46 % lors de leurs tests finaux) sans jamais montrer de signe d'arrêt. Plus impressionnant encore, le modèle a appris à résoudre des problèmes plus difficiles qu'il n'avait jamais vus auparavant, prouvant que le « plafond » n'était pas une limite de l'intelligence du modèle, mais une limite de la manière dont l'entraînement était organisé.

Les chercheurs se sont également assurés que l'IA ne se contentait pas de copier le « processus de pensée » de l'enseignant. Ils n'ont jamais montré à l'IA le raisonnement étape par étape de l'enseignant ; ils lui ont seulement montré la question et la réponse finale. Cela signifie que l'IA a appris à penser par elle-même, et non à simplement imiter un humain. L'étude suggère que la raison pour laquelle l'IA stagne souvent n'est pas qu'elle est trop stupide pour apprendre davantage, mais que nous lui donnons souvent le mauvais type d'entraînement. En remodelant constamment le programme pour qu'il corresponde exactement à l'état actuel de l'IA, nous pouvons l'aider à briser ses propres limites.

Résumé Technique : Question Begets Question (QbQ)

Énoncé du Problème

Le document traite de trois obstacles récurrents lors de l'enseignement de nouvelles compétences complexes aux modèles de langage (LLM) :

Rareté des données : Les données d'entraînement de haute qualité pour les tâches complexes (ex. : mathématiques de compétition, raisonnement juridique) sont souvent limitées.
Absence de raisonnement de vérité terrain : Même lorsque des données existent, les traces de raisonnement étape par étape correctes (oracles) sont fréquemment indisponibles.
Plafonds d'apprentissage : Les modèles atteignent souvent un plafond de performance apparent où l'ajout de données ne produit plus aucune amélioration, quel que soit le budget d'entraînement.

Les auteurs étudient ces problèmes dans un cadre contrôlé : l'ajustement fin (fine-tuning) de Qwen2.5-Math-7B sur des problèmes AIME (American Invitational Mathematics Examination). Le modèle de base ne résout initialement que 5,6 % des problèmes (pass@1), plaçant la tâche bien au-delà de sa capacité actuelle.

Méthodologie

La solution proposée consiste en deux composantes couplées : Question-begets-Question (QbQ) pour la génération de données synthétiques et un Curriculum Auto-Évolutif pour l'organisation de l'entraînement.

1. Question-begets-Question (QbQ)

QbQ est une procédure évolutive pour générer des données d'entraînement synthétiques diversifiées sans dépendre de traces de raisonnement d'un modèle enseignant.

Processus : Un modèle enseignant (GPT-5-mini) transforme les problèmes « semences » existants en de nouvelles variantes qui sondent les mêmes compétences sous-jacentes mais avec des aspects structurels différents.
Opérateurs Structurels : Pour garantir la diversité et éviter les réécritures superficielles, l'enseignant est conditionné par cinq opérateurs conçus par l'homme :
1. Généraliser, puis spécialiser : Remplacer des quantités fixes par des paramètres.
2. Paramétrer et sommer : Introduire des indices et demander des agrégats.
3. Changer la quantité interrogée : Conserver la configuration mais interroger une valeur différente nécessitant le même lemme.
4. Problème inverse : Fixer la valeur cible et résoudre pour un paramètre.
5. Ajouter une couche de contrainte : Intégrer le calcul dans une routine supplémentaire.
Contraintes : Les variantes doivent avoir des réponses différentes de leurs parents. Le processus interdit explicitement de changer uniquement les valeurs numériques.
Diversité : QbQ atteint un score Vendi plus élevé (1,59) par rapport à l'augmentation synthétique standard (1,25), indiquant une diversité effective supérieure.

2. Curriculum Auto-Évolutif

Au lieu de s'entraîner sur un jeu de données statique, le curriculum adapte dynamiquement les données d'entraînement aux capacités évolutives du modèle sur $T$ cycles (20 cycles dans les expériences).

Auto-Évaluation : À chaque cycle $t$ $t$ , le checkpoint actuel $\pi_t$ $π_{t}$ est évalué sur les problèmes du cycle précédent. Les problèmes sont classés en quatre bandes basées sur le nombre de bonnes réponses ( $n$ $n$ ) sur $k=16$ $k = 16$ essais (rollouts) :
- Maîtrisé : $n=16$
- Plutôt réussi (Bande Semence) : $8 \le n \le 15$
- Parfois réussi : $1 \le n \le 7$
- Jamais réussi : $n=0$
Stratégie de Semence : Crucialement, le curriculum sélectionne les problèmes de la bande « Plutôt réussi » ( $8 \le n \le 15$ ) comme semences pour la génération QbQ du cycle suivant. C'est un choix de conception délibéré pour garantir que le modèle reçoive des signaux positifs fréquents pour l'apprentissage par renforcement, tout en maintenant des problèmes suffisamment difficiles pour fournir une variance de gradient.
Entraînement (GRPO) : Le modèle est entraîné en utilisant la Group Relative Policy Optimization (GRPO) sur les variantes nouvellement générées.
- Pas de Raisonnement Oracle : L'entraînement utilise uniquement les énoncés de problèmes et les réponses finales. Aucune solution étape par étape ou trace de raisonnement de l'enseignant n'est exposée au modèle, évitant ainsi les préoccupations de distillation et permettant de modéliser des contextes où les oracles sont indisponibles.
- Récompense : Récompense de correction binaire plus un petit bonus pour la conformité du format.
Évolution : Après l'entraînement, les problèmes sont réévalués. Ceux qui deviennent « Maîtrisés » sont écartés ; ceux qui restent dans la bande « Plutôt réussi » deviennent des semences pour le cycle suivant. Les problèmes tombant en dessous de la bande sont écartés. Cela garantit que la distribution d'entraînement évolue avec la compétence du modèle.

Contributions Clés

Méthode QbQ : Une méthode évolutive basée sur des opérateurs pour générer des problèmes d'entraînement synthétiques diversifiés qui évitent l'effondrement de la diversité commun à l'augmentation statique.
Identification du Plafond : Documentation du fait que l'entraînement statique (tant réel plus synthétique que QbQ non-curriculum) atteint un plateau de performance (plafonnant à environ 12,5 % et 14,5 % respectivement) malgré l'augmentation du volume de données.
Curriculum Auto-Évolutif : Un nouveau curriculum itératif qui brise le plafond de performance sous un budget de données identique, faisant passer le pass@1 de 5,6 % à 16,5 % sans signe de saturation après 20 cycles.
Principe d'Entraînement Contre-intuitif : La découverte que les modèles s'améliorent davantage lorsqu'ils sont entraînés sur des variantes de problèmes qu'ils réussissent plutôt bien (succès partiels), plutôt que sur leurs échecs les plus difficiles ou leurs problèmes maîtrisés. Cette approche permet également une généralisation à des problèmes plus difficiles jamais vus durant l'entraînement.

Résultats Expérimentaux

Les expériences ont été menées sur Qwen2.5-Math-7B en utilisant 1 005 problèmes historiques AIME pour l'entraînement et des problèmes AIME 2025/2026 hors échantillon pour les tests.

Baselines :
- Modèle de base : 5,62 % pass@1.
- Apprentissage supervisé (SFT) + GRPO sur les données originales : 11,53 % pass@1.
- Augmentation Statique (Réel + 5k synthétique) : 12,05 % pass@1.
- QbQ Non-Curriculum (6k synthétique, mélangé) : 14,44 % pass@1.
Résultat Principal (Curriculum QbQ) :
- A atteint 16,46 % ± 0,45 % pass@1.
- Contrairement aux méthodes statiques, la performance a continué de s'améliorer à travers les 3 000 mises à jour GRPO sans plafonner.
- Le gain de 2,02 points par rapport au QbQ non-curriculum (qui utilisait exactement les mêmes données et calculs) isole l'organisation par curriculum comme étant la source de l'amélioration.
Généralisation :
- Sur un sous-ensemble de 499 problèmes réels « difficiles » où le modèle initial avait une précision de 0 % et qui n'ont jamais été sélectionnés comme semences, le modèle entraîné par curriculum a amélioré le pass@1 de 0,0 % à 5,3 %.

Signification et Revendications

L'article affirme que le plafond d'apprentissage apparent observé dans le réglage fin par renforcement n'est pas intrinsèque à l'architecture du modèle, mais provient de la distribution d'entraînement. En important un curriculum basé sur les « succès partiels » et en générant des variantes diverses via QbQ, le modèle peut continuer à apprendre efficacement sans accès à des traces de raisonnement de vérité terrain.

Les auteurs soulignent que cette approche :

Évite le besoin de traces de raisonnement d'experts coûteuses ou indisponibles.
Atténue les préoccupations concernant la distillation de connaissances à partir de modèles enseignants.
Démontre que les modèles peuvent se généraliser à des problèmes plus difficiles que ceux rencontrés pendant la boucle d'entraînement.
Remet en question l'intuition prédominante selon laquelle les modèles apprennent mieux de leurs échecs les plus difficiles, suggérant plutôt que l'entraînement sur la « limite de compétence » (problèmes partiellement résolus) est plus efficace pour l'acquisition de compétences dans ce domaine.