Résumé Technique : Trouver la Preuve pour la Distillation de Raisonnement On-Policy

1. Énoncé du Problème

La distillation on-policy (OPD) est devenue un paradigme dominant pour enseigner le raisonnement aux petits modèles en fournant une supervision dense au niveau des tokens à partir d'un modèle enseignant. Cependant, les méthodes actuelles d'OPD font face à une limitation critique : elles ne parviennent pas à distinguer les différents types de connaissances au sein des chaînes de raisonnement. L'entraînement sur tous les tokens dilue le signal d'apprentissage, tandis que les récentes méthodes de sélection basées sur l'entropie (par exemple, Wang et al., 2026) ne capturent que les « tokens de décision » (où l'étudiant est incertain) mais manquent les « tokens de preuve ».

Le papier identifie un angle mort structurel dans les méthodes existantes :

• Tokens de Décision : Positions où l'étudiant fait face à une véritable incertitude (ex: points de bifurcation, choix de stratégie). Ils sont naturellement identifiés par une entropie élevée de l'étudiant.
• Tokens de Preuve : Étapes intermédiaires qui justifient les décisions (ex: dérivations, substitutions de variables). Ceux-ci apparaissent souvent là où l'étudiant est confiant mais erroné. Parce que l'étudiant est confiant, l'entropie est faible, rendant ces tokens invisibles pour les sélecteurs basés sur l'entropie. Par conséquent, une connaissance substantielle du raisonnement reste non transférée, menant à des étudiants qui savent quand bifurquer mais échouent sur la manière de comment exécuter la bifurcation correctement.

2. Méthodologie : DEAR (Decision-Evidence Aware Reasoning Distillation)

Les auteurs proposent DEAR, un mécanisme de sélection de tokens en deux étapes conçu pour récupérer à la fois les tokens de décision et de preuve pour l'entraînement OPD.

Étape 1 : Identification des Décisions

La méthode identifie d'abord les tokens de décision en utilisant l'entropie de l'étudiant ($H^S_t$). Les top-$p\%$ de tokens ayant l'entropie la plus élevée sont sélectionnés comme l'ensemble de décision ($D$). Ces tokens marquent le « squelette » du processus de raisonnement où l'étudiant doit faire un choix.

Étape 2 : Découverte de la Preuve

Pour trouver les tokens de preuve qui soutiennent les décisions et que l'entropie manque, DEAR exploite la relation entre les décisions et leur contexte environnant :

1. Similarité Contextuelle : La méthode extrait les états cachés de l'étudiant ($h^L_t$) de la couche la plus profonde du transformer. Pour chaque token non-décision, elle calcule la similarité cosinus par rapport à l'ancre de décision la plus proche (tout token appartenant à l'ensemble $D$). Une similarité élevée indique que le token participe au même contexte de raisonnement (c'est-à-dire qu'il fait partie de la dérivation soutenant une décision).
2. Boost de l'Écart de Connaissance : Tous les tokens contextuellement similaires ne nécessitent pas de correction. Pour prioriser les tokens où l'étudiant manque de connaissances, la méthode incorpore la divergence enseignant-étudiant ($\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$).
3. Scoring : Un Score de Saillance de la Preuve ($s_j$) est calculé pour les tokens de non-décision :
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   Où $\hat{a}_j$ est la similarité cosinus normalisée (agissant comme une porte pour filtrer le bruit) et $\hat{\delta}_j$ est la divergence normalisée (boostant les tokens avec de grands écarts de connaissances).
4. Sélection : Les top-$q\%$ des tokens de non-décision ayant les scores les plus élevés forment l'ensemble de preuve ($E$).

Objectif d'Entraînement Final

L'ensemble d'entraînement final $S$ est l'union des décisions et des preuves ($S = D \cup E$). La perte OPD est calculée exclusivement sur ces tokens sélectionnés, garantissant que le modèle apprend à la fois la stratégie de bifurcation et les étapes de raisonnement substantielles.

3. Principales Contributions

1. Décomposition des Chaînes de Raisonnement : Le papier démontre empiriquement que les chaînes de raisonnement consistent en deux types de connaissances distinctes nécessitant des mécanismes de découverte différents : les décisions (haute entropie) et les preuves (basse entropie, haute divergence).
2. Mécanisme de Découverte : Il introduit une méthode pour découvrir les tokens de preuve « confiants mais erronés » en combinant la similarité cosinus des états cachés (pour lier les tokens aux décisions) avec le boost de divergence (pour prioriser les écarts de connaissances). Cela surmonte l'impossibilité structurelle de la sélection basée sur l'entropie de trouver ces tokens.
3. Gains de Performance : DEAR surpasse systématiquement l'OPD standard et la distillation hors-ligne (offline) sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les auteurs ont évalué DEAR à travers trois configurations étudiant-enseignant (variant les familles de modèles et les tailles) sur six benchmarks de raisonnement mathématique et trois benchmarks de génération de code.

• Raisonnement Mathématique :
  • DEAR a obtenu jusqu'à +2,5 points de pourcentage (pp) d'amélioration sur les mathématiques de niveau compétition (ex: AIME) par rapport à l'OPD standard.
  • Les gains étaient plus prononcés dans la distillation « cross-family » (Configuration B : étudiant Qwen2.5-1.5B, enseignant Qwen3-4B), où l'écart de connaissance est le plus grand.
  • Sur AIME 2024 (Configuration A), DEAR atteint 4,58 % de précision contre 2,08 % pour l'OPD standard (une amélioration de 2,2$\times$).
• Génération de Code :
  • DEAR a amélioré les taux de réussite de +5,74pp sur MBPP, +2,13pp sur HumanEval, et +2,56pp sur APPS.
  • Notamment, l'OPD standard a dégradé les performances sur MBPP par rapport au modèle de base, alors que DEAR a résolu cela, suggérant qu'il filtre efficacement le bruit dans la génération de code.
• Analyse du Signal :
  • La sélection basée uniquement sur l'entropie n'a capturé qu'environ 39 % de la masse totale du gradient.
  • L'inclusion des tokens de preuve par DEAR a augmenté la capture de la masse du gradient à ~76%, doublant presque le signal d'apprentissage effectif.
  • L'analyse a confirmé que les tokens de preuve sont concentrés dans la région « basse entropie, haute divergence », que les méthodes basées sur l'entropie ignorent systématiquement.

5. Signification et Revendications

Le papier affirme que la distillation complète du raisonnement nécessite de transférer non seulement où décider, mais aussi la connaissance qui justifie ces décisions.

• Au-delà de l'Entropie : Ce travail remet en question l'hypothèse prédominante selon laquelle les tokens à haute entropie sont les seuls porteurs de capacité de raisonnement. Il démontre que les « erreurs confiantes » contiennent des connaissances critiques non transférées.
• Insight Structurel : En identifiant que les tokens de preuve se regroupent autour des décisions dans l'espace des états cachés, le papier fournit un mécanisme pour récupérer des étapes de raisonnement substantielles qui étaient auparavant invisibles pour les algorithmes de sélection.
• Scalabilité : Les gains augmentent avec la difficulté des problèmes ; les problèmes plus difficiles avec des chaînes de preuves plus longues bénéficient le plus du mécanisme de découverte de preuves.

Les auteurs maintiennent une position modeste, notant que la structure décision-preuve a été vérifiée principalement en mathématiques et en code, et que la classification actuelle des tokens repose sur des heuristiques de surface plutôt que sur une intervention causale. Ils suggèrent que des travaux futurs pourraient explorer l'ordonnancement adaptatif des ratios de sélection ($p, q$) au fur et à mesure de l'entraînement.