💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

Le papier présente QuestA, une méthode d'apprentissage par renforcement qui améliore les capacités de raisonnement des grands modèles de langage en mathématiques grâce à l'augmentation de questions avec des solutions partielles, permettant d'atteindre des performances de pointe sur des benchmarks difficiles même avec des modèles de 1,5 milliard de paramètres.

Auteurs originaux : Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Publié 2026-04-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'IA qui bute sur les murs

Imaginez que vous essayez d'enseigner les mathématiques à un élève très intelligent, mais qui n'a jamais résolu de problèmes de niveau olympique. Si vous lui donnez directement un problème de niveau "Olympiades Internationales", il va probablement se planter, se frustrer et ne rien apprendre. C'est ce qui arrive aux grands modèles de langage (les IA) lorsqu'on essaie de les entraîner à raisonner sur des problèmes trop difficiles : ils n'ont pas assez de "signaux" pour savoir comment s'améliorer.

D'un autre côté, si vous ne lui donnez que des exercices très faciles (comme $2+2$ ), il va devenir très fort en $2+2$ , mais il restera bloqué face aux vrais défis. Il aura l'impression de savoir tout faire, mais en réalité, il n'a pas appris à réfléchir pour les cas complexes.

C'est le dilemme des chercheurs : comment entraîner une IA sur des problèmes difficiles sans la décourager, tout en évitant de la rendre paresseuse avec des problèmes trop faciles ?

💡 La Solution : QUESTA (L'Art de donner un petit coup de pouce)

L'équipe derrière QUESTA a trouvé une astuce géniale, un peu comme un professeur qui ne donne pas la réponse, mais qui donne le début de la solution.

Imaginez que vous devez résoudre un casse-tête géant. Au lieu de vous le donner tel quel, le professeur vous dit : "Regarde, la première pièce va ici, et la deuxième ici aussi. Maintenant, à toi de trouver le reste !"

C'est exactement ce que fait QUESTA (Question Augmentation) :

Il prend un problème très dur.
Il y ajoute un "indice" (ou une "partie de solution") qui explique les premières étapes de la logique.
Il demande à l'IA de continuer à partir de cet indice.

🏗️ L'Analogie du Scaffolding (Échafaudage)

Pensez à la construction d'un gratte-ciel. Si vous demandez à un maçon de construire tout l'immeuble d'un coup, il va probablement s'effondrer sous le poids de la tâche.

L'entraînement classique (sans QUESTA) : On lance l'IA sur le problème entier. Elle trébuche souvent, ne reçoit pas de récompense, et n'apprend rien.
L'entraînement QUESTA : On construit d'abord les fondations et les premiers étages (c'est l'indice). L'IA n'a plus qu'à construire les étages du haut. Une fois qu'elle a réussi à finir le bâtiment avec l'aide, elle comprend comment on construit.

Au fil du temps, QUESTA retire progressivement les étages inférieurs (les indices). D'abord, l'IA a 50 % de la solution, puis 25 %, et enfin, elle doit tout construire seule. C'est comme retirer l'échafaudage petit à petit une fois que le mur est solide.

🚀 Les Résultats : Une petite IA qui bat les géants

Ce qui est fou dans cette étude, c'est qu'ils ont utilisé un modèle de taille moyenne (1,5 milliard de paramètres, ce qui est "petit" pour une IA moderne) et l'ont entraîné avec cette méthode.

Le résultat ?

Cette petite IA a surpassé des modèles beaucoup plus gros (comme DeepSeek-R1-32B) sur des tests de mathématiques très difficiles (AIME, HMMT).
Elle ne se contente pas de mieux répondre : elle diversifie ses réponses. Au lieu de répéter bêtement la même erreur, elle explore plus de chemins pour trouver la solution.

🎓 En résumé, pour le grand public

Imaginez que vous voulez apprendre à jouer au tennis.

Méthode A (Classique) : On vous lance une balle à 200 km/h. Vous ratez tout. Vous ne progressez pas.
Méthode B (QUESTA) : On vous lance la balle, mais elle est ralentie et vous avez une raquette plus légère au début. Vous apprenez le geste. Ensuite, on accélère la balle et on enlève la raquette légère.
Résultat : Vous devenez un champion beaucoup plus vite que si vous aviez commencé avec la balle à 200 km/h, et vous êtes plus polyvalent que quelqu'un qui n'a jamais joué qu'avec des balles lentes.

QUESTA est cette méthode qui permet aux intelligences artificielles de passer du stade de "l'élève qui a peur des maths" à celui de "l'expert olympique", simplement en leur donnant un petit coup de main au début de l'apprentissage. C'est une preuve que parfois, pour apprendre à faire seul, il faut savoir demander de l'aide au bon moment.

1. Problématique

L'apprentissage par renforcement (RL), et plus spécifiquement le RL avec récompenses vérifiables (RLVR), est devenu la méthode de référence pour entraîner les grands modèles de langage (LLM) sur des tâches de raisonnement complexe (mathématiques, logique). Cependant, des études récentes soulignent une limitation fondamentale : le RL tend à exploiter les connaissances préexistantes du modèle de base plutôt que d'élargir sa capacité intrinsèque de raisonnement.

Deux problèmes majeurs émergent :

L'entraînement sur des problèmes faciles : Bien qu'il améliore la métrique pass@1 (réussite à la première tentative), il provoque un effondrement de l'entropie et une dégradation des performances sur des problèmes difficiles (pass@k diminue lorsque $k$ augmente). Le modèle s'adapte à des motifs superficiels sans explorer de nouvelles stratégies.
L'entraînement sur des problèmes difficiles : Bien que nécessaire pour étendre les capacités, l'apprentissage est extrêmement lent et inefficace en termes d'échantillonnage. Les signaux de récompense sont trop rares (sparse rewards), ce qui empêche le modèle de converger car il ne trouve presque jamais de solutions correctes pour mettre à jour ses poids.

Le défi consiste donc à trouver un moyen d'entraîner le modèle sur des problèmes difficiles pour améliorer son raisonnement, tout en surmontant l'inefficacité de l'apprentissage due à la rareté des récompenses.

2. Méthodologie : QUESTA

Les auteurs proposent QUESTA (Question Augmentation), une stratégie simple mais efficace qui consiste à injecter des solutions partielles (des "indices" ou hints) dans les prompts d'entraînement pendant la phase de RL.

Principe de base : Au lieu de présenter le problème brut au modèle, QUESTA ajoute un préfixe contenant les premières étapes de la solution (par exemple, les 50 % ou 25 % de la solution finale). Cela réduit la difficulté du problème pour le modèle, transformant une tâche difficile en une tâche plus abordable.
Mécanisme d'augmentation :
- Pour un problème $x$ avec une trajectoire de solution $y$ , QUESTA crée un prompt augmenté $\tilde{x}(p)$ en préfixant les $p$ premiers pourcentages de la solution.
- Le processus est appliqué uniquement aux problèmes où le modèle de base a un taux de réussite proche de zéro.
Curriculum Learning (Apprentissage par étapes) :
- Phase 1 : Entraînement avec des indices importants ( $p=50\%$ ) pour permettre au modèle de trouver des solutions et d'apprendre des signaux de récompense denses.
- Phase 2 : Réduction progressive des indices ( $p=25\%$ ) pour forcer le modèle à devenir plus autonome et à généraliser sans dépendre excessivement des indices.
Intégration : La méthode est orthogonale aux algorithmes de RL existants (comme GRPO ou DAPO). Elle ne modifie ni l'architecture du modèle ni la fonction de récompense, mais agit uniquement au niveau des données d'entrée (augmentation des prompts).

3. Contributions Clés

Analyse empirique de la difficulté : Les auteurs démontrent expérimentalement que l'entraînement RL sur des problèmes faciles réduit la capacité de raisonnement (baisse du pass@k), tandis que l'entraînement sur des problèmes difficiles est trop lent sans aide.
Proposition de QUESTA : Introduction d'un cadre d'augmentation de données qui utilise des solutions partielles pour "scaffold" (étayer) l'apprentissage sur des problèmes complexes, rendant les signaux de récompense plus denses.
Analyse théorique : Une analyse formelle (Théorème 4.4 et 4.6) montre que l'ajout d'indices réduit le budget d'échantillonnage nécessaire pour trouver une solution d'un facteur $\Theta(1/\delta_p)$ à $\Theta(1/\sqrt{\delta_p})$ . Cela prouve théoriquement que l'augmentation de la "faisabilité" (learnability) accélère considérablement la convergence du RL.
Performance record : Démonstration que des modèles de petite taille (1,5 milliard de paramètres) peuvent atteindre des performances d'État-de-l'art (SOTA) sur des benchmarks mathématiques difficiles, surpassant des modèles beaucoup plus grands.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle Nemotron-1.5B et DeepScaleR-1.5B en utilisant le jeu de données OpenR1-Math-220K.

Performances sur les Benchmarks Mathématiques :
- AIME24 : 72,50 % (gain de +10,73 % par rapport à la base).
- AIME25 : 62,29 % (gain de +12,79 %).
- HMMT25 : 41,67 % (gain de +10,11 %).
- Ces résultats surpassent non seulement les modèles de base, mais aussi des modèles distillés beaucoup plus grands comme DeepSeek-R1-Distill-32B sur plusieurs benchmarks, malgré une taille de modèle 20 fois inférieure.
Analyse Pass@k : Contrairement au RL standard qui voit ses performances chuter pour les grandes valeurs de $k$ , QUESTA maintient ou améliore le pass@k sur toute la plage, indiquant une meilleure diversité des solutions et un évitement de l'effondrement de l'entropie.
Généralisation : Le modèle entraîné avec QUESTA conserve ses capacités même lorsque les indices sont retirés lors de l'évaluation (inférence sans aide), prouvant que le modèle a réellement appris à résoudre les problèmes et n'a pas simplement mémorisé les indices.
Stabilité de l'entraînement : Les courbes d'entraînement montrent une augmentation stable de la récompense et de la longueur des réponses, sans effondrement de l'entropie, contrairement aux modèles entraînés uniquement sur des problèmes faciles.

5. Signification et Impact

Ce travail apporte une solution élégante au dilemme entre la nécessité d'entraîner sur des problèmes difficiles pour améliorer le raisonnement et l'inefficacité de l'apprentissage par renforcement sur ces mêmes problèmes.

Efficacité des petits modèles : QUESTA démontre qu'il n'est pas nécessaire d'avoir des modèles massifs pour atteindre des performances de haut niveau en raisonnement mathématique ; une stratégie d'entraînement adaptée (augmentation de données) peut compenser le manque de paramètres.
Nouveau paradigme d'entraînement : L'approche suggère que l'introduction de "scaffolding" (étayage) via des solutions partielles est une voie prometteuse pour l'entraînement RL, applicable potentiellement à d'autres domaines comme la programmation compétitive ou l'ingénierie logicielle.
Ressources Open Source : Les auteurs ont rendu publics le code, les données augmentées et les modèles, facilitant la reproduction et l'adoption de cette méthode par la communauté.

En résumé, QUESTA redéfinit la manière dont les modèles de langage apprennent à raisonner en transformant des problèmes inaccessibles en problèmes apprenables, permettant ainsi une expansion réelle des capacités de raisonnement au-delà des limites du modèle de base.