🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

Le document introduit DASH (Divergence-Adaptive Supervision Horizons), une méthode qui améliore l'auto-distillation on-policy pour les modèles de raisonnement en ajustant de manière adaptative les poids de supervision au niveau des jetons en fonction de l'évolution temporelle des divergences enseignant-élève, améliorant ainsi les performances sur les bancs d'essai mathématiques sans nécessiter de passes avant supplémentaires.

Auteurs originaux : ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Publié 2026-08-07

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs apprennent à résoudre des énigmes complexes, comme des problèmes mathématiques avancés ou l'écriture de code informatique, en s'entraînant encore et encore. Ce domaine est appelé l'Apprentissage par Renforcement (Reinforcement Learning), où l'ordinateur (l'« étudiant ») essaie différentes réponses et reçoit un simple « oui » ou « non » à la toute fin pour savoir s'il a raison. Le problème, c'est que si l'étudiant prend un chemin long et sinueux pour y arriver, ce unique « oui » ou « non » ne lui indique pas quels pas spécifiques étaient bons ou mauvais. C'est comme recevoir un « B » à un examen final sans savoir quelles questions on a manquées. Pour corriger cela, les chercheurs utilisent une astuce appelée « Auto-distillation On-Policy ». Considérez cela comme l'étudiant qui demande à un « enseignant privilégié » (qui possède la clé de réponse secrète) de noter chaque étape de son parcours au fur et à mesure qu'il avance. Cela lui donne un flux dense de commentaires plutôt qu'un simple résultat à la fin. Mais il y a un piège : la méthode standard d'utilisation de cet enseignant traite chaque étape de feedback exactement de la même manière, comme si une erreur commise au tout début était aussi importante qu'une erreur commise à la toute fin, sans tenir compte de l'évolution des performances de l'étudiant.

Ce document présente une nouvelle méthode appelée DASH (Divergence-Adaptive Supervision Horizons) pour corriger ce point aveugle. Les chercheurs ont découvert que l'approche standard est trop rigide ; elle ne prête pas attention à l'histoire des erreurs de l'étudiant. Parfois, une petite erreur tôt dans le processus peut mener à un désastre total plus tard, tandis qu'une erreur similaire plus tard peut être sans conséquence. DASH agit comme un éditeur intelligent qui examine l'ensemble de la séquence de feedback. Si l'étudiant s'éloigne de l'avis de l'enseignant d'une manière qui suggère un problème croissant, DASH amplifie le poids de ces signaux pour corriger la trajectoire. Si l'étudiant se porte bien, il les atténue. Le document montre qu'en effectuant ces ajustements, DASH aide l'étudiant à apprendre beaucoup plus vite et mieux qu'auparavant, améliorant ses scores de raisonnement mathématique sur différents modèles sans nécessiter de puissance de calcul supplémentaire ou un enseignant plus intelligent.

Le Problème : Le correcteur « Taille Unique »

Dans le monde de l'entraînement de l'IA au raisonnement, nous avons un modèle étudiant et un modèle enseignant. L'étudiant génère une longue chaîne de pensée (un « déroulement » ou « rollout ») pour résoudre un problème. L'enseignant, qui a accès à la solution correcte, observe l'étudiant et dit : « Hé, à ce mot spécifique, tu aurais dû choisir ce mot plutôt ». C'est ce qu'on appelle la supervision au niveau du jeton (token-level supervision).

La méthode standard, appelée OPSD (On-Policy Self-Distillation), collecte tous ces petits signaux « tu as tort » de l'enseignant et en fait la moyenne. C'est comme si un professeur donnait à un étudiant un bulletin où chaque erreur compte exactement de la même manière, peu importe quand elle s'est produite.

Les auteurs ont réalisé que c'est un peu absurde. Imaginez un étudiant résolvant un problème de mathématiques.

Scénario A : L'étudiant fait une petite erreur de calcul à l'étape 1, mais se rattrape et se corrige à l'étape 2. La « divergence » (l'écart entre l'étudiant et l'enseignant) a été élevée un instant, mais elle a disparu.
Scénario B : L'étudiant commet exactement la même petite erreur à l'étape 1, mais continue de l'aggraver, s'enfonçant dans une spirole de mauvaises réponses jusqu'à l'étape 10.

Dans l'OPSD standard, les deux scénarios reçoivent exactement la même « pénalité » pour cette première étape. Le système ne réalise pas que dans le Scénario B, cette première erreur était le début d'un accident de train, alors que dans le Scénario A, c'était juste un léger trébuchement. La méthode standard traite l'erreur locale de manière isolée, ignorant l'histoire de la performance de l'étudiant menant à ce point et le futur vers lequel cette erreur pourrait mener.

La Solution : DASH, le coach adaptatif

Les auteurs proposent DASH pour donner au système de notation une mémoire et un sens du contexte. Au lieu de simplement moyenner les erreurs, DASH demande : « Comment cette erreur spécifique s'inscrit-elle dans l'histoire de la réponse complète ? »

Voici comment fonctionne DASH, en utilisant une analogie simple :

Imaginez que l'étudiant suit un chemin, et que l'enseignant tient une corde attachée à la taille de l'étudiant. La « divergence » est la distance dont l'étudiant s'éloigne de la trajectoire idéale de l'enseignant.

Mesurer l'écart : DASH observe la distance entre l'étudiant et l'enseignant à chaque étape.
Le mécanisme de « Porte » (Gate) : Au lieu de simplement tirer l'étudiant en arrière avec la même force à chaque fois, DASH utilise une « porte » spéciale.
- Si l'étudiant fait pire que la moyenne (l'écart s'agrandit), la porte s'ouvre largement. Cela signifie que le feedback de l'enseignant pour les étapes futures reçoit un signal plus fort pour ramener l'étudiant fermement sur le droit chemin. Cela dit : « Hé, c'est une mauvaise tendance ! Nous devons accorder une attention particulière pour corriger cette trajectoire. »
- Si l'étudiant fait mieux que la moyenne (l'écart est faible), la porte se ferme un peu. Le feedback de l'enseignant est toujours là, mais il ne crie pas aussi fort car l'étudiant est déjà sur la bonne voie.
Regarder en arrière : DASH utilise une astuce ingénieuse appelée « agrégation vers l'arrière » (backward aggregation). Il commence à la fin de la réponse et remonte vers le début. Il demande : « Si je regarde la fin de ce chemin, à quel point cette étape spécifique a-t-elle contribué au désastre (ou au succès) final ? » Il ajuste ensuite le poids du feedback pour cette étape en fonction de ce qui s'est passé après.

Cela crée un système dynamique où l'« importance » d'une erreur n'est pas fixe. Une erreur qui mène à une longue série d'errements reçoit un poids lourd. Une erreur qui est corrigée rapidement reçoit un poids plus léger.

Ce qu'ils ont trouvé

Les chercheurs ont testé cette idée sur trois tailles différentes de modèles d'IA (1,7 milliard, 4 milliards et 8 milliards de paramètres) en utilisant trois benchmarks mathématiques difficiles (AIME 2024, AIME 2025 et HMMT February 2025).

Les Résultats : DASH a systématiquement battu la méthode standard (OPSD) sur tous les tableaux. Pour le plus petit modèle (1,7B), la précision moyenne est passée de 41,87 % à 45,07 %. Pour les modèles plus grands, les gains étaient également clairs, le modèle 8B passant de 64,80 % à 66,40 %.
Le « Pourquoi » : À travers une série d'expériences, ils ont prouvé que l'amélioration n'était pas due à l'ajout de plus de « bruit » ou à un changement mathématique aléatoire. Ils ont testé ce qui se passerait si on utilisait une porte fixe (comme l'ancienne méthode) par rapport à une porte intelligente et changeante. La porte intelligente (DASH) a gagné. Ils ont également vérifié si la direction de la logique importait (par exemple, faut-il punir davantage les grands écarts ou moins ?). Ils ont trouvé que leur logique spécifique — punir les grands écarts en ouvrant la porte plus largement pour laisser entrer plus de correction — était la clé.
Efficacité : Le meilleur aspect est que DASH n'a pas besoin d'un enseignant super-intelligent ou de puissance de calcul supplémentaire. Il réutilise simplement les informations que la méthode standard calculait déjà, mais les traite de manière plus intelligente. C'est comme prendre un tas de données brutes et les organiser mieux, plutôt que de collecter plus de données.

La Conclusion

Le document suggère que lorsqu'on enseigne le raisonnement à une IA, nous ne devrions pas seulement compter les erreurs ; nous devrions comprendre l'histoire des erreurs. En rendant la supervision « adaptative » — en changeant la façon dont nous écoutons l'enseignant en fonction de la progression de l'étudiant au fil du temps — nous pouvons aider l'IA à apprendre beaucoup plus efficacement. DASH montre qu'un peu de contexte fait une grande différence, transformant un système de notation rigide en un coach flexible et intelligent qui sait quand être strict et quand être indulgent.

Résumé Technique : DASH - Horizons de Supervision Adaptatifs à la Divergence pour l'Auto-Distillation On-Policy de Modèles de Raisonnement

1. Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) a amélioré les capacités de raisonnement des Grands Modèles de Langage (LLM) en utilisant des signaux automatiquement vérifiables (par exemple, l'exactitude de la réponse). Cependant, le RLVR standard repose sur des récompenses éparses au niveau de la séquence, ce qui crée un défi d'« attribution de crédit temporel » où il est difficile de distinguer la contribution des décisions individuelles au niveau du jeton (token) par rapport au résultat final.

Pour atténuer cela, l'Auto-Distillation On-Policy (OPSD) a été introduite. Dans l'OPSD, un modèle étudiant génère une réponse, tandis que ce même modèle, conditionné par des informations privilégiées (telles qu'une solution de référence), agit comme un enseignant pour fournir une supervision distribuée dense au niveau du jeton.

La Limite Fondamentale : Bien que l'OPSD atténue la parcité du signal, l'article identifie que l'OPSD standard (« vanilla ») sous-utilise la structure temporelle de la génération (rollout). L'OPSD standard agrège les écarts de distribution locaux (divergences) en utilisant des coefficients uniformes ( $1/T$ ) pour chaque jeton, sans tenir compte de :

La position du jeton.
L'historique des divergences menant à ce jeton.

Les auteurs soutiennent que dans la génération autorégressive, la même magnitude de divergence locale peut se produire dans des contextes temporels très différents (par exemple, après une longue histoire de raisonnement correct par rapport à une série d'erreurs). Puisque la magnitude scalaire locale seule ne peut pas distinguer ces contextes, l'attribution d'un poids uniforme empêche le signal de supervision de s'adapter à la séquence de divergence réalisée.

2. Méthodologie : Horizons de Supervision Adaptatifs à la Divergence (DASH)

Pour remédier à l'incapacité de l'OPSD standard à s'adapter aux profils de divergence temporelle, les auteurs proposent DASH. La méthode introduit un mécanisme pour ajuster dynamiquement les poids de supervision par jeton en fonction de l'évolution des divergences locales pendant la génération.

Composants Clés

Écarts de Divergence Relatifs à la Séquence :
Au lieu d'utiliser directement les valeurs de divergence locale brute ( $d_t$ ), DASH calcule l'écart entre le signal de distillation local et la moyenne de la séquence ( $\bar{r}$ ) :
$g_t = r_t - \bar{r}$
où $r_t$ est la divergence KL locale tronquée à l'étape $t$ .
Portes de Propagation Adaptatives ( $\lambda_t$ ) :
Ces écarts sont projetés sur des portes de propagation adaptatives à l'aide d'une fonction sigmoïde avec un paramètre de sensibilité $\kappa$ :
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$

Logique : Si la divergence locale est inférieure à la moyenne de la séquence ( $g_t < 0$ ), la porte $\lambda_t$ est plus grande, permettant aux signaux futurs de se propager plus loin vers l'arrière. Si la divergence est supérieure à la moyenne ( $g_t > 0$ ), la porte est plus petite, restreignant la propagation. Cela crée un « horizon de supervision » qui s'adapte à la séquence.

Agrégation Multi-Étapes vers l'Arrière :
DASH remplace l'agrégation uniforme de l'OPSD standard par une récursion vers l'arrière qui construit un signal agrégé dépendant du chemin parcouru ( $A_t$ ) :
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{pour } t = T-1, \dots, 1$
La perte finale est la moyenne de ces signaux agrégés :
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

Insight Structurel

Les auteurs dérivent une décomposition de gradient à horizon fixe pour l'objectif attendu, montrant que le gradient exact contient un terme de trajectoire où les coefficients dépendent des divergences futures. Bien que DASH n'estime pas explicitement les divergences futures et n'utilise pas de gradients de fonction de score, il imite cette structure dépendante de l'ordre en utilisant la séquence de divergence réalisée pour conditionner les poids du terme de distillation directe.

3. Principales Contributions

L'article expose trois contributions primaires :

Identification d'un Écart Temporel : Les auteurs caractérisent une limitation de l'OPSD standard où l'attribution de poids uniformes aux divergences locales rend l'objectif invariant aux différents arrangements temporels des mêmes valeurs de divergence, empêchant l'adaptation à la structure temporelle.
Proposition de DASH : Une nouvelle méthode qui utilise les écarts de divergence relatifs à la séquence pour construire des portes de propagation adaptatives. Cela permet une supervision de distillation dense pour exploiter l'évolution temporelle des écarts de distribution locaux via une agrégation multi-étapes.
Validation Empirique : Des expériences exhaustives sur trois benchmarks de raisonnement mathématique (AIME 2024, AIME 2025, HMMT 2025) et trois échelles de modèles (Qwen3-1.7B, 4B, 8B) démontrent que DASH surpasse systématiquement les exécutions correspondantes de l'OPSD standard et d'autres bases de distillation récentes.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences sur les modèles Qwen3 Instruct (1.7B, 4B, 8B) pour des tâches de raisonnement mathématique.

Gains de Performance : DASH a obtenu les scores les plus élevés dans les neuf configurations benchmark-modèle par rapport aux bases (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD).
- Sur Qwen3-1.7B, DASH a amélioré la précision moyenne de 41,87 % (OPSD) à 45,07 % (+3,20 points).
- Sur Qwen3-4B, il est passé de 63,60 % à 65,00 % (+1,40 point).
- Sur Qwen3-8B, il est passé de 64,80 % à 66,40 % (+1,60 point).
Études d'Ablation :
- Adaptatif vs Fixe : Le remplacement des portes adaptatives par des coefficients fixes ( $\lambda$ ) améliorait les performances par rapport à l'OPSD standard mais restait inférieur à DASH, confirmant que l'adaptation à la séquence spécifique de divergence est cruciale.
- Direction de la Porte : Inverser le signe de la fonction de la porte (écart inverse) entraînait de mauvaises performances, validant l'hypothèse de conception spécifique selon laquelle la propagation doit rester ouverte après de faibles écarts et se restreindre après de grands écarts.
- Allocation de Coefficient vs Échelle : Le désencapsulage du profil de coefficient relatif de l'échelle moyenne a montré que les gains principaux proviennent de l'allocation conditionnée par la divergence, et non simplement d'une augmentation de l'échelle globale de supervision.
Choix de Conception :
- Sensibilité ( $\kappa$ ) : Une sensibilité modérée ( $\kappa=5$ ) a donné les meilleurs résultats, équilibrant une adaptation insuffisante et une réponse trop abrupte.
- Métrique de Divergence : La divergence KL directe a surpassé la JSD symétrique et la KL inverse.
- Support du Vocabulaire : Le support complet du vocabulaire était optimal ; la compression aux top-1 tokens entraînait des baisses de performance significatives.

5. Signification et Revendications

L'article affirme que DASH offre une amélioration significative de l'auto-distillation on-policy en exploitant la structure temporelle des écarts enseignant-étudiant sans nécessom de surcharge de calcul supplémentaire.

Efficacité : DASH réutilise les distributions de l'enseignant et de l'étudiant déjà calculées par l'OPSD standard. Il ne nécessite aucun passage forward supplémentaire de l'enseignant ou de l'étudiant, rendant les gains efficaces sur le plan computationnel.
Généralisabilité : Les améliorations ont été constantes à travers différentes échelles de modèles et différents benchmarks, suggérant que la méthode n'est pas confinée à des capacités ou des jeux de données spécifiques.
Insight : Ce travail apporte de nouvelles perspectives sur la manière dont une supervision dense doit être allouée dans le raisonnement à long horizon, allant au-delà du pondération uniforme pour une approche à horizons adaptatifs et conscients de la séquence.

Les auteurs concluent qu'en adaptant les poids par jeton à la séquence de divergence réalisée, DASH répond efficacement au défi de l'attribution de crédit temporel inhérent aux approches standard de RLVR et d'OPSD.