Résumé Technique : Auto-distillation Adaptative à la Direction pour le Raisonnement des LLM

1. Énoncé du Problème

L'article traite d'un mode de défaillance critique de l'Auto-distillation en Politique Unique (OPSD), un paradigme émergent de post-entraînement pour les Grands Modèles de Langage (LLM). Dans l'OPSD, un modèle agit à la fois en tant qu'élève et enseignant : l'« élève » génère des trajectoires, tandis qu'une version « privilégiée » du même modèle (conditionnée par des traces de référence, des indices ou des retours) sert d'enseignant pour fournir une supervision dense au niveau des tokens.

Bien que l'OPSD vise à combiner la supervision par les résultats de l'Apprentissage par Renforcement à partir de Récompenses Vérifiables (RLVR) avec une guidance fine, des études récentes indiquent qu'elle dégrade le raisonnement complexe. Les auteurs diagnostiquent cette dégradation comme un décalage directionnel :

• Attraction Uniforme : L'OPSD standard applique une force « attractive » uniforme, tirant l'élève vers la distribution de l'enseignant privilégié.
• La Conséquence : Cela supprime l'incertitude prédictive (marqueurs épistémiques comme « attendez », « hmm » ou « alternativement ») qui sont cruciaux pour l'exploration, la révision d'hypothèses et l'auto-correction.
• Le Paradoxe : Inverser simplement la direction (pousser l'élève loin de l'enseignant) pour restaurer l'incertitude échoue car cela corrompt les tokens d'échafaudage à faible entropie (étapes d'exécution routinières), entraînant des erreurs d'exécution.

Le problème central est qu'une seule direction de supervision (soit attraction, soit répulsion) ne peut simultanément préserver l'exploration aux points de décision à haute entropie et stabiliser l'exécution aux étapes routinières à faible entropie.

2. Méthodologie : Auto-distillation Adaptative à la Direction (DASD)

Les auteurs proposent l'Auto-distillation Adaptative à la Direction (DASD), qui reformule l'auto-distillation privilégiée d'une imitation uniforme en une supervision directionnelle routée par l'entropie. La méthode commute dynamiquement la direction de la pression de l'enseignant en fonction de l'entropie prédictive de l'élève ($H_t$) à chaque token.

Mécanisme Central

La DASD introduit un coefficient signé, $\omega_t \in [-1, 1]$, dans l'objectif d'auto-distillation. Ce coefficient détermine si l'élève est tiré vers (attractif) ou repoussé loin de (répulsif) l'enseignant privilégié.

1. Routage par l'Entropie :

   • Tokens à Haute Entropie (Fourches) : Aux points de décision où l'élève est incertain ($H_t$ est élevé), la guidance de l'enseignant privilégié est traitée comme une contrainte qui pourrait effondrer prématurément les chemins de raisonnement alternatifs. La DASD applique une pression répulsive ($\omega_t$ négatif) pour repousser l'élève loin de l'enseignant, préservant ainsi l'exploration et la capacité de réviser les hypothèses.
   • Tokens à Faible Entropie (Échafaudage) : Aux étapes d'exécution routinières où l'élève est confiant ($H_t$ est faible), l'enseignant privilégié fournit une guidance stable et correcte. La DASD applique une pression attractive ($\omega_t$ positif) pour tirer l'élève vers l'enseignant, stabilisant l'exécution au niveau des étapes et empêchant les erreurs locales.

2. Formulation Mathématique :
   L'objectif combine une ancre de vérificateur global avec un terme de distillation local et signé. La perte signée pour un token $t$ est :
   $$\tilde{D}_t^{(i)}(\theta) = \omega_t^{(i)} \cdot \text{KL}\left( \pi_\theta(\cdot | x, o_{<t}^{(i)}) \parallel \text{sg}[\pi_\theta(\cdot | x, r, o_{<t}^{(i)})] \right)$$
   Où :

   • $\omega_t^{(i)}$ est calculé à l'aide d'un routeur tanh basé sur l'écart entre l'entropie du token courant et le quantile d'entropie de la trajectoire.
   • Une porte d'écart (fonction sigmoïde) module l'amplitude en fonction de l'écart de log-vraisemblance entre l'élève et l'enseignant privilégié, garantissant que seules les désaccords fiables influencent la mise à jour.
   • Le vérificateur global (par exemple, une récompense programmatique) reste l'ancre pour la correction au niveau de la trajectoire, tandis que l'auto-enseignant fournit le signal directionnel local.

3. Dynamiques d'Entraînement :
   La méthode utilise l'Optimisation de Politique Relative par Groupes (GRPO) comme colonne vertébrale. Le terme d'avantage est ajusté pour inclure la correction directionnelle : $\hat{A}_t = A_G + \beta \omega_t \bar{\delta}_t$. Cela permet au modèle d'apprendre à partir de la trace privilégiée pendant l'entraînement sans nécessiter cette trace au moment de l'inférence.

3. Contributions Clés

L'article apporte trois contributions principales :

1. Diagnostic du Décalage Directionnel au Niveau des Tokens : Les auteurs identifient que la dégradation de l'OPSD provient de l'application d'une direction de supervision uniforme à des populations de tokens hétérogènes. Ils démontrent via des sondes que la conformité nuit aux fourches à haute entropie (en supprimant l'exploration), tandis que la déviation nuit à l'échafaudage à faible entropie (en corrompant l'exécution).
2. Proposition de la DASD : Ils introduisent un objectif routé par l'entropie qui achemine dynamiquement le signal de l'auto-enseignant privilégié : répulsif pour les fourches à haute entropie afin de préserver la recherche, et attractif pour l'échafaudage à faible entropie pour assurer la stabilité.
3. Validation Empirique : Grâce à des expériences extensives, ils montrent que la DASD améliore les performances de raisonnement en maintenant la « santé » du processus de raisonnement — réalisant simultanément une exécution rigoureuse des étapes et une auto-correction flexible.

4. Résultats Expérimentaux

Les auteurs ont évalué la DASD sur six benchmarks de raisonnement mathématique (MATH500, Minerva, HMMT25, OlympiadBench, AIME24, AIME25) à travers trois échelles de modèles (Qwen3-1.7B, 4B et 8B).

• Performance : La DASD a obtenu la meilleure moyenne macro Avg@16 sur toutes les échelles et tous les benchmarks. Les gains ont été les plus prononcés sur les benchmarks plus difficiles, de style compétition (par exemple, HMMT25, AIME25) qui nécessitent de maintenir plusieurs chemins de solution plausibles.
• Comparaison avec les Baselines : La DASD a surpassé des baselines robustes incluant GRPO, HEPO et diverses méthodes d'auto-distillation (OPSD, SDPO, RLSD, SRPO). Notamment, tandis que l'OPSD standard se situait souvent près ou en dessous du modèle de base, la DASD a constamment amélioré la baseline RLVR.
• Pass@k Scaling : La DASD a démontré une meilleure échelle Pass@k, indiquant que la méthode élargit l'ensemble des chemins de solution accessibles (diversité) plutôt que d'affiner simplement une prédiction déterministe unique.
• Santé du Raisonnement : Des métriques de diagnostic ont confirmé que la DASD préserve à la fois la Précision des Étapes (qualité d'exécution) et la Densité d'Exploration (fréquence des marqueurs épistémiques et taux de révision), alors que l'OPSD effondre l'exploration et que le GRPO manque souvent d'auto-correction suffisante.
• Généralisation : La méthode a montré des améliorations constantes dans les évaluations inter-domaines (code, raisonnement scientifique, utilisation d'outils) et inter-familles (Olmo, Llama), suggérant que le mécanisme n'est pas spécifique à l'architecture Qwen3 ou au domaine mathématique uniquement.

5. Signification et Revendications

L'article revendique que le levier productif pour le raisonnement auto-distillé est la direction de la supervision, et non simplement sa force ou son ampleur.

• Insight Mécanistique : Le travail établit que l'entropie n'est pas seulement un bouton de magnitude pour pondérer les mises à jour (comme dans les méthodes antérieures guidées par l'entropie), mais un sélecteur de signe pour la pression de l'enseignant privilégié.
• Changement de Paradigme : Il remet en question l'hypothèse selon laquelle l'auto-distillation doit être purement attractive. En permettant au modèle de « repousser » un enseignant privilégié aux points de décision critiques, la DASD résout le décalage entraînement-inférence où le modèle apprend un style conditionné par la solution qui échoue lorsque les informations privilégiées sont absentes.
• Impact Pratique : La DASD offre un moyen de tirer parti des informations privilégiées (comme les traces vérifiées) pendant l'entraînement pour améliorer la robustesse du raisonnement sans nécessiter d'enseignants externes ni sacrifier le comportement exploratoire nécessaire à la résolution de problèmes complexes.

Les auteurs concluent que, bien que la méthode hérite de l'exigence de traces vérifiées pendant l'entraînement (une propriété du paradigme d'auto-distillation privilégiée), elle découple avec succès le besoin de contexte privilégié au moment de l'inférence tout en améliorant considérablement les capacités de raisonnement.