Résumé Technique : Distillation On-Policy Multi-Roulée via les Succès et Échecs des Pairs

Énoncé du Problème

Les Modèles de Langage à Grande Échelle (LLMs) sont fréquemment post-entraînés à l'aide de l'apprentissage par renforcement avec des récompenses vérifiables (RLVR). Dans ce paradigme, les solutions échantillonnées sont notées par des vérificateurs de réponses, des tests unitaires ou des vérificateurs spécifiques à la tâche. Bien que efficaces, ces récompenses sont généralement rares : elles indiquent si une trajectoire entière réussit ou échoue, mais offrent un guidage limité quant aux tokens spécifiques ou aux étapes de raisonnement ayant causé ce résultat.

La Distillation On-Policy (OPD) résout le décalage de distribution inhérent à la distillation hors ligne en entraînant l'élève sur des trajectoires échantillonnées à partir de sa propre politique, convertissant les jugements de l'enseignant en signaux denses au niveau des tokens. Cependant, les méthodes OPD existantes souffrent d'une inefficacité critique : elles traitent chaque roulée (rollout) indépendamment. Lorsque plusieurs roulées sont générées pour le même prompt, le signal de l'enseignant pour une trajectoire est calculé sans accès aux autres tentatives échantillonnées à partir du même élève. Cette conception rejette la structure locale du groupe de roulées. Pour les tâches intensives en raisonnement, cette structure locale est hautement informative ; les roulées réussies révèlent des stratégies de solution valides, tandis que les roulées échouées exposent des chemins de raisonnement plausibles mais incorrects, des contraintes manquantes ou des erreurs d'exécution. Traiter les roulées de manière isolée empêche l'enseignant de comparer les alternatives pour identifier où une trajectoire infructueuse diverge d'une trajectoire réussie.

Méthodologie : Distillation On-Policy Multi-Roulée (MOPD)

Les auteurs proposent la Distillation On-Policy Multi-Roulée (MOPD), un cadre de distillation conditionné par les pairs qui utilise explicitement le groupe local de roulées de l'élève pour construire des signaux d'enseignant plus informatifs.

Mécanisme Central

Pour chaque prompt $x$, l'élève échantillonne un groupe de $N$ trajectoires on-policy, $Y(x) = \{y^{(i)}\}_{i=1}^N$. Celles-ci sont notées par un vérificateur $R$ et partitionnées en ensembles réussis ($Y^+$) et échoués ($Y^-$) sur la base d'un seuil $\tau$.

Lors de la supervision d'une roulée cible $y^{(i)}$, MOPD conditionne la distribution de l'enseignant $q_\phi$ non seulement sur le prompt et le préfixe de la cible, mais aussi sur les roulées pairs du même groupe (en excluant la cible elle-même). La distribution de l'enseignant devient :
$$q_{\text{pair}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
où $C_i(x)$ est le contexte pair construit à partir de $Y^+_{-i}(x)$ et $Y^-_{-i}(x)$.

Stratégies de Construction du Contexte Pair

L'article examine deux stratégies principales pour construire $C_i(x)$ :

1. Imitation Positive des Pairs : L'enseignant est conditionné uniquement sur les trajectoires pairs réussies. Cela traite les roulées réussies comme des « pairs experts », fournissant des preuves positives pour des motifs de raisonnement valides et ancrant l'élève sur plusieurs styles de dérivation valides plutôt que sur une seule référence.
2. Conditionnement Contrastif Succès-Échec : L'enseignant est conditionné à la fois sur les trajectoires pairs réussies et échouées. Les pairs réussis indiquent ce à quoi la cible devrait ressembler, tandis que les pairs échoués servent de preuves négatives structurées, identifiant les chemins de solution trompeurs à éviter. Cette approche contrastive aide l'enseignant à distinguer entre des trajectoires correctes et incorrectes superficiellement similaires, en particulier dans les tâches avec des récompenses terminales rares.

L'objectif d'entraînement minimise la divergence (KL inverse pour les mathématiques, Jensen-Shannon pour les autres) entre la distribution de l'élève et la distribution de l'enseignant conditionnée par les pairs sur la séquence de tokens.

Contributions Clés

1. Innovation de Cadre : MOPD est le premier cadre à conditionner explicitement l'enseignant sur l'espace local d'essais et d'erreurs d'un groupe de roulées multiples d'un élève, transformant la supervision de trajectoires indépendantes en un processus d'apprentissage comparatif.
2. Utilisation de Preuves Duales : La méthode exploite à la fois les pairs réussis (preuves positives) et les pairs échoués (preuves négatives). Les auteurs démontrent que les pairs échoués ne sont pas simplement du bruit, mais fournissent des signaux structurés sur des erreurs plausibles, des contraintes et des erreurs de formatage.
3. Analyse de la Qualité du Signal : L'article introduit une analyse directe de la qualité du signal auto-enseignant, mesurant dans quelle mesure différentes constructions de contexte alignent les scores de l'enseignant avec les récompenses vérificatrices de vérité terrain. Cela évite les confusions associées aux tests simples de récupération de réponse.
4. Validation Empirique : Des expériences extensives sur la programmation compétitive, le raisonnement mathématique, les QA scientifiques et l'utilisation d'outils démontrent des améliorations constantes par rapport aux bases on-policy standard (GRPO, SDPO).

Résultats Expérimentaux

Les auteurs ont évalué MOPD sur quatre familles de tâches :

• Raisonnement Mathématique (AIME2024/2025, HMMT25) : MOPD a considérablement amélioré le mean@8 par rapport à SDPO. Notamment, SDPO, qui s'appuie sur un retour d'information riche de l'environnement, a sous-performé sur les tâches mathématiques où seules des récompenses binaires de vérificateur sont disponibles, tandis que la supervision augmentée par les pairs de MOPD s'est révélée hautement efficace.
• Programmation Compétitive (LiveCodeBench v6) : MOPD a obtenu des résultats de pointe parmi les méthodes comparées, atteignant 61,82 mean@8 et 67,23 pass@8 sur Qwen3-8B, surpassant SDPO et GRPO.
• Science QA et Utilisation d'Outils : MOPD a obtenu les meilleures performances dans tous les sous-domaines (Biologie, Chimie, Physique, Matériaux) et les benchmarks d'utilisation d'outils.

Résultats Clés de l'Analyse

• Supériorité du Contexte Mixte : Le contexte « 2 Succès + 1 Échec » a constamment atteint l'alignement le plus élevé avec les récompenses du vérificateur sur les métriques de classement (Spearman, Kendall's $\tau$) et de discrimination (Précision par Paires, AUC de Succès).
• Rôle des Échecs : Bien que les pairs réussis soient le principal moteur de la qualité du signal, l'ajout d'un pair échoué à un contexte de succès uniquement affine considérablement les frontières de décision (par exemple, augmentant la Précision par Paires de 0,32 à 0,40).
• Diversité : MOPD génère des solutions avec une diversité lexicale (Distinct-1/2) et structurelle (distance Jaccard AST) significativement plus élevée par rapport aux bases, suggérant que le conditionnement par les pairs encourage l'exploration de stratégies de solution variées.
• Efficacité : La surcharge computationnelle de MOPD est modeste, avec un temps total par étape n'augmentant que de 9,1 % sur LiveCodeBench et de 33,3 % sur Science QA par rapport à SDPO.

Signification et Revendications

L'article soutient que la distillation on-policy efficace doit exploiter le comportement d'essais et d'erreurs multi-roulées de l'élève plutôt que de traiter les roulées comme des échantillons isolés. En conditionnant l'enseignant sur les succès et les échecs des pairs, MOPD transforme l'enseignant en un modèle de diagnostic local capable de reconnaître des erreurs spécifiques à l'instance et de distinguer les échecs plausibles des solutions correctes.

Les auteurs affirment que les gains proviennent d'une supervision plus fidèle et adaptative à l'instance. Le contexte mixte succès-échec aligne mieux les scores de l'enseignant avec les récompenses du vérificateur, indiquant que la méthode exploite avec succès l'information structurée disponible au sein d'un seul groupe d'échantillonnage. Cette approche comble le fossé entre l'apprentissage par renforcement (qui utilise des avantages relatifs au groupe) et la distillation (qui utilise une supervision au niveau des tokens), offrant une voie pour améliorer les capacités de raisonnement dans les modèles plus petits sans avoir besoin d'enseignants externes plus grands ou de modélisation de récompense complexe.

L'ouvrage conclut que, bien que le conditionnement par les pairs introduise une longueur de contexte supplémentaire, les améliorations résultantes en termes de justesse, de diversité et de stabilité de l'entraînement justifient le coût, en particulier dans les domaines où des récompenses vérifiables sont disponibles mais rares.