Résumé Technique : Efficacité Échantillonnale Démontrable du Post-Entraînement par Curriculum pour le Raisonnement des Transformers

1. Énoncé du Problème

Bien que l'apprentissage par curriculum (progression des tâches faciles vers les tâches difficiles) ait démontré un succès empirique dans l'amélioration des capacités de raisonnement des Grands Modèles de Langage (LLM) lors du post-entraînement, ses fondements théoriques restent incomplets. Les garanties théoriques existantes pour l'apprentissage par curriculum s'appliquent majoritairement au pré-entraînement ou aux entraînements à partir de zéro avec des classes de fonctions spécifiques (par exemple, régression convexe, parité). Elles n'expliquent pas directement pourquoi les stratégies de curriculum sont efficaces dans les scénarios de post-entraînement, où un modèle de base pré-entraîné performant est affiné pour généraliser un raisonnement explicite de type Chaîne de Pensée (CoT).

La question centrale abordée est : Quand, pourquoi, comment et en quel sens les stratégies de curriculum en post-entraînement peuvent-elles théoriquement améliorer les performances par rapport à un post-entraînement direct sans curriculum ? Plus spécifiquement, l'article examine si les curriculums peuvent atténuer le « goulot d'étranglement de la complexité échantillonnale » inhérent aux tâches de raisonnement à récompense sparse, où les trajectoires de raisonnement correctes sont rares sous la politique de base.

2. Méthodologie et Cadre Théorique

2.1. Cadre Abstrait : Couverture et Complexité Échantillonnale

Les auteurs formalisent le post-entraînement par curriculum en définissant la « difficulté » via le coefficient de couverture ($\|\pi^* / \pi_{ref}\|_\infty$), qui mesure la rareté d'un CoT correct sous la politique de base ($\pi_{ref}$) par rapport à la politique cible optimale ($\pi^*$).

• Post-entraînement Direct : Nécessite un échantillonnage proportionnel à la difficulté totale de la tâche cible.
• Post-entraînement par Curriculum : Découpe la tâche en $L$ sous-tâches intermédiaires.
• Insight Clé (Corollaire 1) : Le post-entraînement par curriculum produit des améliorations exponentielles de l'efficacité échantillonnale si et seulement si la difficulté cumulative des étapes du curriculum n'est pas supérieure (à des constantes près) à la difficulté de la cible finale. Spécifiquement, si la complexité échantillonnale de chaque étape évolue comme la racine $L/p$-ième de la complexité totale, le coût total évolue linéairement avec $L$, tandis que l'entraînement direct évolue exponentiellement.

2.2. Modélisation du Raisonnement : 2S-ART

Pour étayer ce cadre au sein des architectures de transformers, l'article introduit l'Arbre de Raisonnement Autorégressif Conditionné par 2 États (2S-ART).

• Structure : Le raisonnement est modélisé comme un processus autorégressif conditionné par l'état où le modèle sélectionne un index $i_\ell$ à partir d'un ensemble légal $I_\ell$ et met à jour un état de raisonnement $z_\ell$ via une fonction $\Phi_\ell(z_{\ell-1}, v_{i_\ell})$.
• Hypothèse du Modèle de Base : Le modèle de base pré-entraîné (PART) est modélisé comme un échantillonneur uniforme sur les enfants légaux à chaque profondeur. Cela conduit à une décroissance exponentielle de la probabilité de générer un CoT correct de longueur $\ell$ (évoluant comme $\Theta(d^{-(\ell+1)})$).
• Réalisation par Transformer : Les auteurs prouvent qu'une architecture transformer standard peut fidèlement répliquer ce processus de raisonnement probabiliste (Théorème 1), où les mécanismes d'attention sélectionnent les indices et les Réseaux de Neurones à Propagation Avant (FFN) effectuent les mises à jour d'état (par exemple, opérations XOR).

2.3. Stratégies de Curriculum

Deux stratégies de curriculum spécifiques sont analysées dans ce cadre :

1. Curriculum à Profondeur Croissante : Étend progressivement l'horizon de raisonnement (par exemple, entraînement sur des CoTs de longueur 1, puis 2, etc.).
2. Curriculum à Indices Décroissants : Fournit des préfixes de CoT corrects partiels (indices) et réduit progressivement leur longueur, forçant le modèle à compléter des suffixes plus longs.

2.4. Contextes d'Apprentissage

La théorie est appliquée à deux contextes :

• Affinement par RL : Optimisation d'une politique utilisant des récompenses basées sur le résultat (signaux 0/1) via REINFORCE.
• Mise à l'Échelle au Moment du Test : Identification du chemin de raisonnement correct au moment de l'inférence en utilisant des oracles de récompense.

3. Contributions Clés et Résultats Théoriques

3.1. Corollaire du Goulot d'Étranglement Général

L'article établit le Corollaire 1, une condition suffisante générale montrant que si un curriculum décompose une tâche de telle sorte que la difficulté de chaque étape est bornée par une racine de la difficulté totale, la complexité échantillonnale passe d'exponentielle à polynomiale.

3.2. Réduction Exponentielle-à-Polynomiale dans l'Affinement par RL (Théorème 2)

Pour le cadre 2S-ART (spécifiquement instancié avec le problème de la Parité Sparse) :

• Sans Curriculum : L'affinement direct nécessite une complexité échantillonnale $N_\epsilon \ge \tilde{\Omega}(d^{2k^*+2})$, où $k^*$ est la profondeur de raisonnement et $d$ la dimension d'entrée. Il s'agit d'un goulot d'étranglement exponentiel.
• Curriculum (Profondeur/Indices) : Les curriculums à profondeur croissante et à indices décroissants réduisent la complexité échantillonnale à $N_\epsilon \le \tilde{O}((k^*+1)d^2)$.
• Mécanisme : Les curriculums empêchent le modèle d'être submergé par des CoT « spurius » (piratage de récompense) qui produisent des réponses finales correctes par hasard mais suivent des chemins de raisonnement incorrects. En se concentrant sur les étapes intermédiaires, le signal de gradient reste informatif.

3.3. Réduction Exponentielle-à-Polynomiale dans la Mise à l'Échelle au Moment du Test (Théorème 3)

• Sans Curriculum : L'identification du chemin de vérité terrain en utilisant uniquement des récompenses terminales nécessite $T_{data}, T_{comp} \ge \tilde{\Omega}(d^{2k^*})$ requêtes d'oracle et échantillons de modèle.
• Curriculum : L'utilisation d'un oracle de curriculum (qui valide les étapes intermédiaires) réduit la complexité à $T_{data} \le \tilde{O}((k^*+1)d^2)$ et $T_{comp} \le \tilde{O}((k^*+1)d^3)$.

3.4. Validation Empirique

• Expériences Synthétiques : Sur la tâche de parité, les méthodes par curriculum ont convergé avec significativement moins d'échantillons (par exemple, $n \approx 76$ contre $n \approx 1,6 \times 10^6$ pour l'entraînement direct) et ont appris les dépendances d'attention correctes (relations parent-enfant), tandis que l'entraînement direct a échoué à distinguer les signaux informatifs des corrélations spurius.
• Expériences à Grande Échelle : Évaluées sur les benchmarks Countdown, MATH et Blocksworld utilisant un modèle de base Qwen2.5-1.5B-Instruct.
  • Les deux stratégies de curriculum ont généralement surpassé le modèle de base et l'affinement GRPO sans curriculum.
  • Countdown : La stratégie à indices décroissants a obtenu la meilleure moyenne globale.
  • MATH : La stratégie à profondeur croissante a obtenu la meilleure moyenne globale.
  • Blocksworld : Les gains étaient plus faibles et plus dépendants du type spécifique de curriculum, suggérant une sensibilité à la structure de la tâche.

4. Signification et Revendications

L'article revendique fournir la première compréhension théorique fondée de la raison pour laquelle le post-entraînement par curriculum améliore l'efficacité échantillonnale pour le raisonnement des transformers.

• Lacune Théorique : Il comble le fossé entre les observations empiriques de l'apprentissage par curriculum et la théorie rigoureuse, allant au-delà des bienfaits « intuitifs » pour des réductions prouvées de la complexité échantillonnale, passant de l'exponentiel au polynomiale.
• Mécanisme : Il identifie que le bénéfice principal découle de la surmonter de la rareté des trajectoires de raisonnement correctes sous la politique de base. En décomposant la tâche, les curriculums assurent que le modèle apprend la structure de dépendance correcte (par exemple, l'attention vers le token précédent correct) avant de faire face à la complexité totale du problème, évitant ainsi le phénomène de « piratage de récompense » où les modèles apprennent des raccourcis qui fonctionnent pour la réponse finale mais échouent à généraliser le processus de raisonnement.
• Généralité : Bien que les preuves soient instanciées sur 2S-ART (couvrant la parité, le compte à rebours et la traversal de graphes), les auteurs soutiennent que le mécanisme sous-jacent basé sur la couverture (Corollaire 1) suggère que ces bénéfices pourraient s'étendre à d'autres régimes de post-entraînement et architectures de modèles, y compris les modèles de langage de diffusion.

L'ouvrage ne revendique pas que les curriculums sont universellement supérieurs pour toutes les tâches ou qu'ils éliminent le besoin de données à grande échelle ; il démontre plutôt que lorsqu' une tâche peut être décomposée en une séquence de sous-tâches avec des augmentations de difficulté contrôlées, le post-entraînement par curriculum offre une voie prouvée vers un apprentissage efficace que l'entraînement direct ne peut pas atteindre.