Résumé Technique : CoDiQ – Mise à l'échelle au moment de l'inférence pour la génération de questions difficiles et contrôlables

1. Énoncé du Problème

Les modèles de raisonnement de grande taille (LRM - Large Reasoning Models) ont démontré des avancées significatives dans les tâches de raisonnement complexe, particulièrement en mathématiques et en codage. Cependant, leur progression est entravée par la rareté de données d'entraînement de haute qualité et exigeantes. Les méthodes automatisées existantes pour synthétiser des questions difficiles font face à trois défis principaux :

1. Plafond de capacité du générateur : Les modèles peinent à générer des questions nettement plus difficiles que celles qu'ils peuvent résoudre de manière fiable, ce qui entraîne une stagnation de la progression.
2. Compromis Solvabilité–Complexité : Forcer la complexité produit souvent des questions « faussement difficiles » qui sont logiquement incohérentes, mal définies ou insolubles.
3. Difficulté incontrôlable : La difficulté n'est pas directement observable ou standardisée, ce qui rend difficile la mise à l'échelle de la génération de questions avec un contrôle précis de la difficulté sans dépendre de pipelines humains fragiles.

L'article vise à mettre à l'échelle la synthèse de questions de haute difficulté tout en garantissant qu'elles restent bien posées et solubles, dépassant ainsi les approches purement pilotées par l'humain ou les approches automatisées à granularité grossière.

2. Méthodologie

Les auteurs proposent CoDiQ (Controllable Difficult Question Generation), un cadre qui exploite la mise à l'échelle au moment de l'inférence (test-time scaling) pour parvenir à un contrôle fin de la difficulté. La méthodologie se compose de quatre composantes centrales :

2.1 Stratégies d'amélioration de la difficulté

Pour guider les grands modèles de langage (LLM) au-delà du simple prompting naïf (ex: « rends ceci plus difficile »), les auteurs conçoivent six stratégies systématiques qui servent d'échafaudages cognitifs :

• Dimensionnalité et Contraintes
• Abstraction Mathématique
• Inverse et Constructif
• Explosion d'États
• Déguisement de Théorèmes
• Ingénierie des Cas Limites et de la Rigueur

Ces stratégies garantissent que la difficulté provient de la profondeur du raisonnement plutôt que de modifications superficielles.

2.2 Le Pipeline CoDiQ

Le cœur du cadre est un pipeline évolutif itératif (Algorithme 1) qui transforme une question initiale $Q_0$ en une séquence de variantes de plus en plus difficiles $\{Q_1, \dots, Q_n\}$ sur un maximum de $T_{max}=8$ cycles.

• Raffinement Itératif : Le modèle est incité à « rendre la question plus difficile » à chaque étape.
• Vérification Hybride : Deux modules régulent le processus :
  • Estimation de la Difficulté : Utilise un paradigme de difficulté relative combinant le LLM-Ranking (utilisant Doubao-Seed-1.8) et le Scoring par Réseau de Valeur (utilisant les états cachés de Qwen3-8B) pour attribuer des scores de difficulté continus. Cela évite les effets de saturation observés avec le scoring absolu.
  • Vérification de la Solvabilité : Utilise Qwen3-32B pour vérifier la cohérence logique et la solvabilité, garantissant que seules les instances valides sont conservées.
• Critères de Terminaison : Le processus s'arrête si la difficulté régresse (non-monotonie) ou si la question est signalée comme insoluble.

2.3 CoDiQ-Generator (Entraînement par RL)

Pour surmonter le plafond de capacité du générateur, les auteurs entraînent un générateur spécialisé (CoDiQ-Generator) basé sur Qwen3-8B en utilisant l'apprentissage par renforcement (RL).

• Construction de Données : Le jeu de données de RL ($D_{RL}$) capture les « instances limites » où le modèle génère avec succès des questions valides pendant plusieurs cycles mais échoue au cycle suivant (en raison de l'insolvabilité ou de la stagnation de la difficulté).
• Fonction de Récompense : Une fonction de récompense sensible à la difficulté équilibre les garanties de validité avec la progression de la difficulté. Elle pénalise les sorties invalides et récompense la progression positive de la difficulté ($\Delta(D) > 0$) pondérée par la confiance.
• Optimisation : Le modèle est affiné via l'algorithme GRPO au sein du framework VeRL.

2.4 CoDiQ-Corpus

En utilisant le CoDiQ-Generator, les auteurs ont construit le CoDiQ-Corpus, un ensemble de données de 44 000 séquences de questions de mathématiques et de codage de niveau compétition. Le jeu de données est stratifié par difficulté, dérivé du budget de tokens et des scores de vérification.

3. Contributions Clés

1. Stratégies d'Amélioration de la Difficulté : Six stratégies explicites qui guident les LLM pour injecter une difficulté algorithmique de manière systématique, permettant la synthèse de questions dépassant les baselines en zero-shot.
2. Tendance de Mise à l'Échelle au Moment de l'Inférence : L'identification d'une tendance de mise à l'échelle où l'extension des budgets de tokens de raisonnement augmente la difficulté mais réduit la solvabilité. L'article caractérise la limite supérieure de la capacité d'un modèle à produire des questions de haute difficulté valides.
3. CoDiQ-Corpus : Un jeu de données de 44 000 questions de niveau compétition. Les expériences montrent que l'entraînement des LRM sur ce corpus améliore significativement les performances de raisonnement par rapport aux baselines existantes.

4. Résultats Expérimentaux

4.1 Performance de Génération

• Difficulté Maximale Solvable : Sur le CoDiQ-Bench (200 cas curatés), le modèle CoDiQ-Gen-8B a surpassé des modèles nettement plus grands (ex: Qwen3-32B) dans la génération d'instances de haute complexité. Il a maintenu des taux de validité élevés sur plus de cycles d'itération, accumulant de la complexité sans terminaison prématurée.
• Corrélation de Tokens : Une forte corrélation positive a été trouvée entre la consommation de tokens de raisonnement et les classements de difficulté (Pearson $r \approx 0,83-0,85$), confirmant que le volume de tokens est un indicateur fiable de la difficulté.
• Tendance de Mise à l'Échelle : Bien que les modèles plus grands (GLM-4.6) maintiennent une haute solvabilité, les modèles plus petits souffrent souvent d'un « effondrement de validité » sous le prompting CoDiQ. Cependant, le modèle RL-aligné CoDiQ-Gen-8B a réussi à découpler la mise à l'échelle de la difficulté de la perte de validité.

4.2 Qualité et Difficulté du Corpus

• Comparaison de Difficulté : L'évaluation humaine et le classement automatisé indiquent que les questions du CoDiQ-Corpus sont nettement plus difficiles que les benchmarks existants comme LiveCodeBench et AIME (Rang de Difficulté Moyenne : 87,1 % contre environ 51,5 % pour AIME).
• Solvabilité : Malgré la haute difficulté, l'évaluation humaine a confirmé un taux de solvabilité de 82 % pour les instances acceptées.
• Paradoxe du Vérificateur : L'analyse a révélé que certains problèmes valides ont été rejetés par le vérificateur car ils dépassaient son horizon de raisonnement, soulignant une limitation où la limite supérieure du pipeline est plafonnée par la capacité du vérificateur.

4.3 Efficacité de l'Entraînement

• Apprentissage par Curriculum : L'entraînement de modèles (CoDiQ-Li-4B) sur le CoDiQ-Corpus en utilisant un curriculum contrôlé par budget (difficulté progressive) a donné des résultats supérieurs sur MATH-500 et AIME 2024 par rapport à un entraînement RL standard sur les jeux de données originaux.
• Gains de Performance : CoDiQ-L3-4B a obtenu un score de 70,6 % sur AIME 2024, surpassant la baseline Qwen3-RL-4B (64,3 %).

5. Signification et Revendications

L'article affirme que CoDiQ fournit un cadre rigoureux pour mettre à l'échelle la difficulté des données de raisonnement synthétiques tout en maintenant la validité logique. Sa signification réside dans :

• Découplage de la Complexité et de la Curatèle : Il offre une méthode pour générer des données de supervision de niveau frontière sans dépendre de pipelines coûteux et purement humains.
• Mise à l'Échelle Contrôlable : En introduisant la mise à l'échelle au moment de l'inférence et une vérification hybride, il répond au problème du « faux difficile », garantissant que l'augmentation de la difficulté ne compromet pas la solvabilité.
• Validation Empirique : Le succès du CoDiQ-Corpus pour améliorer les capacités de raisonnement en aval vérifie que la mise à l'échelle de questions d'entraînement à difficulté contrôlée est une stratégie efficace pour améliorer les performances des LRM.

Les auteurs reconnaissent des limites, notamment la restriction aux tâches de mathématiques et de codage en anglais, le coût computationnel de la vérification, et le « Paradoxe du Vérificateur », où des problèmes valides dépassant la capacité du vérificateur peuvent être écartés. Ils mettent à disposition le corpus, le générateur et les implémentations en open-source pour soutenir les recherches futures sur les lois d'échelle et l'apprentissage de curriculum automatisé.