💻 computer science

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

Ce document présente DASD-4B-Thinking, un modèle de raisonnement léger et open-source qui atteint des performances de pointe en abordant les limitations critiques de la distillation actuelle au niveau de la séquence grâce à un nouveau pipeline d'entraînement qui aligne mieux les distributions enseignant-élève et atténue le biais d'exposition, tout en utilisant nettement moins d'échantillons d'entraînement.

Auteurs originaux : Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Publié 2026-01-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un professeur brillant, de classe mondiale (le Professeur) capable de résoudre des problèmes mathématiques incroyablement difficiles, d'écrire du code complexe et de répondre à des questions scientifiques ardues. Maintenant, imaginez que vous avez un étudiant brillant mais de petite taille (l'Étudiant) qui veut apprendre du professeur, bien qu'il n'ait pas la même puissance cérébrale ni la même mémoire.

L'objectif de ce document est d'apprendre à l'étudiant de petite taille à penser comme le grand professeur, même si l'étudiant est beaucoup plus petit. L'équipe d'Alibaba Cloud a créé une nouvelle façon de faire cela appelée DASD-4B-Thinking.

Voici comment ils ont procédé, expliqué à travers des analogies simples :

L'ancienne méthode : Juste copier les devoirs

Auparavant, les chercheurs essayaient d'enseigner à l'étudiant en lui donnant les réponses finies des devoirs du professeur. L'étudiant se contentait de mémoriser ces réponses.

Le problème : Parfois, les réponses du professeur étaient trop parfaites et rares, et parfois elles étaient désordonnées. Si l'étudiant choisissait simplement de copier des devoirs au hasard, il pouvait manquer les leçons les plus importantes ou être confus par les plus désordonnées. De plus, l'étudiant n'apprenait à copier que lorsque le professeur était juste à côté de lui (en train de regarder la réponse), mais dans le monde réel, l'étudiant doit résoudre des problèmes seul. C'est comme un étudiant qui ne peut écrire une dissertation que si l'enseignant lui murmure le mot suivant ; quand il essaie d'écrire seul, il reste bloqué.

La nouvelle méthode : Un camp d'entraînement plus intelligent

Les auteurs ont réalisé qu'ils avaient besoin d'un meilleur plan de formation. Ils ont introduit trois "super-pouvoirs" principaux pour corriger les anciens problèmes :

1. La stratégie d'« Échauffement » et de « Sprint » (Apprentissage par planification de la température)

Imaginez que le professeur donne un cours.

L'ancienne erreur : L'enseignant donnait parfois à la classe des réponses très faciles et évidentes, et d'autres fois des réponses sauvages, confuses ou rares. L'étudiant était confus en essayant d'apprendre à partir des réponses sauvages avant d'avoir compris les bases.
La nouvelle correction : L'équipe a créé un programme en deux étapes.
- Étape 1 (Échauffement) : D'abord, ils ont donné à l'étudiant les réponses les plus claires et les plus sûres du professeur (température basse). Cela a aidé l'étudiant à construire une base solide et à apprendre les schémas de base rapidement.
- Étape 2 (Sprint) : Une fois que l'étudiant était confiant, ils ont introduit des réponses plus diverses et plus complexes (température haute). Cela a exposé l'étudiant à une plus grande variété de styles de résolution de problèmes, le rendant plus flexible et robuste.
- Résultat : L'étudiant a appris les bases d'abord, puis a élargi ses horizons, plutôt que d'être immédiatement submergé.

2. Le filtre « Repérer la différence » (Échantillonnage conscient de la divergence)

Lorsque le professeur et l'étudiant regardent un problème, ils pensent parfois différemment.

L'ancienne erreur : L'étudiant était forcé de copier chaque réponse donnée par le professeur, même si l'étudiant était déjà confiant d'une manière différente (mais erronée). Cela confondait le cerveau de l'étudiant.
La nouvelle correction : L'équipe a construit un filtre qui examine les réponses et demande : "Où le professeur pense-t-il que c'est une excellente idée, alors que l'étudiant pense que c'est une mauvaise idée ?"
- Ils se sont concentrés sur ces moments spécifiques. Ce sont les leçons à "haute valeur ajoutée" où l'étudiant est le plus susceptible d'apprendre quelque chose de nouveau et de corriger ses erreurs.
- Ils ont ignoré les réponses où le professeur et l'étudiant étaient déjà d'accord (parce que l'étudiant le savait déjà) ou là où l'étudiant était sûre de lui mais dans une erreur qui ne pouvait pas être corrigée facilement.
- Résultat : L'étudiant a passé son temps d'étude uniquement sur les leçons qui nécessitaient réellement d'être apprises, rendant son temps d'étude beaucoup plus efficace.

3. L'exercice de « Mise en pratique » (Distillation de politique mixte)

Cela corrige le problème de l'étudiant ayant besoin que l'enseignant lui murmure le mot suivant.

L'ancienne erreur : L'étudiant s'exerçait en copiant les réponses complètes de l'enseignant. Mais lors du véritable test, l'enseignant n'est pas là. L'étudiant commençait à écrire, se retrouvait bloqué, puis paniquait parce qu'il n'avait jamais pratiqué la fin d'une phrase par lui-même.
La nouvelle correction : Ils ont créé un "exercice de pratique".
- Ils ont laissé l'étudiant essayer de résoudre un problème par lui-même.
- Si l'étudiant commençait à s'écarter de la trajectire ou se retrouvait bloqué, ils arrêtaient l'étudiant au milieu de la phrase.
- Ensuite, le professeur intervenait pour terminer la phrase correctement.
- L'étudiant apprenait alors de cette réponse "moitié écrite, moitié corrigée".
- Résultat : L'étudiant a appris à se remettre de ses propres erreurs et à terminer la tâche sans aide, ce qui le rend beaucoup plus fiable dans le monde réel.

Les résultats incroyables

En utilisant ce camp d'entraînement intelligent, l'équipe a créé un modèle minuscule (seulement 4 milliards de paramètres, ce qui est très petit dans le monde de l'IA) qui peut réfléchir aussi bien, voire mieux, que des modèles beaucoup plus grands (certains faisant 32 milliards de paramètres).

Efficacité : Ils ont obtenu ces résultats en utilisant seulement 448 000 exemples d'entraînement. D'autres équipes utilisent souvent des millions ou même des dizaines de millions d'exemples pour obtenir des résultats similaires. C'est comme obtenir un doctorat avec une fraction du temps d'étude.
Performance : Lors de compétitions mathématiques difficiles (comme l'AIME), de défis de codage et de questions scientifiques, ce petit modèle a battu beaucoup de "géants" du domaine.

Résumé

Ce document montre que vous n'avez pas besoin d'une quantité massive de données ou d'un ordinateur géant pour créer une IA intelligente. Au lieu de cela, vous avez besoin d'une manière plus intelligente d'enseigner. En enseignant à l'étudiant par étapes, en se concentrant sur les bonnes leçons et en pratiquant la façon de terminer les tâches par lui-même, une petite IA peut devenir un champion du raisonnement.

L'équipe a partagé son "manuel" (le jeu de données) et son "étudiant diplômé" (le modèle) avec le monde entier afin que d'autres puissent apprendre de leur méthode.

Résumé technique : Distillation de séquences alignée sur la distribution pour un raisonnement Long-CoT supérieur

1. Énoncé du problème

L'article traite des limites du paradigme actuel prédominant pour améliorer les capacités de raisonnement des petits modèles de langage : la distillation de séquence via le réglage fin supervisé (SFT) sur des réponses générées par un modèle enseignant. Bien que des travaux récents (par exemple, la distillation de DeepSeek-R1) aient démontré que le SFT sur des sorties d'enseignants de haute qualité peut produire de solides performances de raisonnement, les auteurs soutiennent que cette approche est fondamentalement ancrée dans une perspective de SFT plutôt que dans les principes fondamentaux de la distillation de connaissances.

Les auteurs identifient trois limitations critiques dans les pratiques existantes :

Représentation inadéquate de la distribution de l'enseignant : Les méthodes actuelles reposent souvent sur un échantillonnage aléatoire avec un filtrage heuristique, ce qui ne parvient pas à couvrir de manière adéquate l'intégralité du support de la distribution de sortie de séquence de l'enseignant. Cela conduit à une mauvaise couverture des modes ou à l'inclusion de séquences bruitées et de faible probabilité qui sont difficiles à apprendre pour les modèles étudiants plus petits.
Désalignement de la capacité d'apprentissage : Le SFT standard augmente la probabilité des jetons de vérité de terrain (ground-truth) mais peut générer des gradients trompeurs. Spécifiquement, si un étudiant attribue une probabilité élevée à un jeton auquel l'enseignant attribue une faible probabilité, le SFT pousse l'étudiant à s'éloigner davantage de la distribution de l'enseignant. Les méthodes existantes manquent de mécanisme pour identifier les distributions cibles qui s'alignent mieux avec la capacité d'apprentissage de l'étudiant.
Biais d'exposition : Les modèles entraînés avec le forçage de l'enseignant (teacher forcing — exposés aux préfixes de l'enseignant) souffrent de décalages de distribution lors de l'inférence autorégressive, où ils doivent s'appuyer sur leurs propres prédictions. Ce décalage entraîne une accumulation d'erreurs et des déviations composées, particulièrement dans les tâches de raisonnement de type Chaîne de Pensée (CoT) longue.

2. Méthodologie

Les auteurs proposent DASD (Distillation de Séquence Alignée sur la Distribution), un pipeline d'entraînement conçu pour imposer explicitement l'interaction enseignant-étudiant et répondre aux trois limitations ci-dessus. Le pipeline se compose de trois innovations centrales :

A. Apprentissage à température programmée (Temperature-Scheduled Learning)

Pour traiter le compromis entre stabilité de l'apprentissage et couverture de la distribution, les auteurs proposent un programme d'entraînement en deux étapes :

Étape 1 (Basse Température) : L'étudiant est d'abord entraîné sur des échantillons à haute confiance et à basse température (ex: $T=0.6$ ). Ces échantillons présentent des motifs cohérents et permettent une convergence rapide et stable.
Étape 2 (Haute Température) : L'entraînement se poursuit avec des échantillons à haute température (ex: $T=1.0$ ). Bien que ces échantillons soient plus difficiles à apprendre en raison de leur diversité et de leur bruit accrus, ils couvrent une gamme plus large des modes de sortie de l'enseignant.
Justification : Ce curriculum "du facile au difficile" (ou annulation de température inverse) permet à l'étudiant de saisir d'abord les motifs cohérents avant de tenter d'apprendre l'information latente plus riche et plus diversifiée présente dans la distribution complète de l'enseignant.

B. Échantillonnage sensible à la divergence (Divergence-Aware Sampling - DAS)

Pour identifier une distribution de séquence cible qui soutient un apprentissage efficace, les auteurs introduisent un cadre de décomposition de la distribution. Ils analysent les écarts de probabilité entre l'enseignant ( $p_T$ ), l'étudiant pré-distillation ( $p_S$ ) et l'étudiant post-distillation ( $p_D$ ) à travers des segments de phrases des réponses.

Classification : Les réponses sont catégorisées en quatre types : Phrases de l'Enseignant ( $p_T \gg p_S$ ), Phrases de l'Étudiant ( $p_S \gg p_T$ ), Phrases Partagées (probabilités similaires), et Phrases Boostées ( $p_T, p_S$ similaires mais $p_D$ plus élevé).
Stratégie de sélection : L'analyse empirique révèle que les Phrases de l'Enseignant (où l'enseignant attribue une haute confiance et l'étudiant une faible probabilité) sont les plus fortement corrélées à l'amélioration des performances sur l'ensemble de test. Ces instances fournissent des gradients clairs et non trompeurs.
Implémentation : La stratégie d'échantillonnage donne la priorité aux exemples riches en Phrases de l'Enseignant. Contrairement à la distillation de logits, cette méthode ne nécessite que les probabilités par jeton de l'enseignant et de l'étudiant, ce qui la rend compatible avec des modèles ayant des tokenizers et des architectures différents.

C. Distillation à politique mixte (Mixed-Policy Distillation)

Pour atténuer le biais d'exposition, les auteurs introduisent une étape légère de politique mixte suivant le SFT hors-politique initial :

Processus : Le modèle étudiant entraîné génère des réponses à un sous-ensemble de questions d'entraînement. Pour les réponses qui divergent significativement de l'enseignant (par exemple, tronquées ou incorrectes), la génération de l'étudiant est tronquée à un point aléatoire, et le modèle enseignant est sollicité pour compléter la séquence.
Entraînement : Seules les continuations de l'enseignant qui passent les filtres de qualité sont conservées pour le réglage fin. Cela crée un ensemble de données hybride contenant à la fois des préfixes forcés par l'enseignant et des préfixes générés par l'étudiant, permettant au modèle d'apprendre à corriger ses propres erreurs et réduisant le décalage de distribution entre l'entraînement et l'inférence.

3. Contributions Clés

Modèle DASD-4B-Thinking : Un modèle de raisonnement de 4 milliards de paramètres entièrement open-source qui atteint des performances de pointe (SOTA) parmi les modèles open-source de taille comparable.
Innovations Méthodologiques : La proposition d'un pipeline à trois composants (Apprentissage à température programmée, Échantillonnage sensible à la divergence et Distillation à politique mixte) qui redéfinit la distillation de séquence en se concentrant sur l'alignement de la distribution plutôt que sur le simple SFT.
Efficacité des Données : Le modèle atteint ses performances en utilisant seulement 448K échantillons d'entraînement, soit un ordre de grandeur de moins que la plupart des efforts open-source existants (qui utilisent souvent des millions d'échantillons).
Validation Cross-Architecture : Le pipeline est démontré comme étant efficace à travers diverses familles de modèles (par exemple, distiller de gpt-oss-120b vers Qwen3-4B) et échelles (validé sur une variante MoE de 30B, DASD-30B-A3B-Thinking-Preview).

4. Résultats Expérimentaux

Le modèle a été évalué sur cinq benchmarks exigeants : AIME24, AIME25, LiveCodeBench (v5/v6), et GPQA-Diamond.

Raisonnement Mathématique : DASD-4B-Thinking a obtenu 88.5 sur AIME24 et 83.3 sur AIME25. Ces scores surpassent des modèles nettement plus grands, incluant les modèles d'échelle 32B tels que Qwen3-32B (81.4/72.9) et GLM-Z1-32B (80.8/63.6), ainsi que le DeepSeek-R1-0528-Qwen3-8B de 8B (86.0/76.3).
Génération de Code : Sur LiveCodeBench v5, le modèle a obtenu un score de 69.3, surpassant Qwen3-32B (65.7) et NVIDIA-OpenReasoning-Nemotron-7B (63.9).
Raisonnement Scientifique : Sur GPQA-Diamond, il a atteint 68.4, égalant la performance du modèle 32B Qwen3-32B et approchant le NVIDIA-Nemotron-Ultra-253B de 253B (76.0).
Études d'Ablation : Les résultats confirment que chaque composant contribue de manière incrémentale. L'entraînement à basse température établit une base solide, l'entraînement à haute température étend la capacité, et la distillation à politique mixte fournit une robustesse finale contre le biais d'exposition.

5. Signification et Revendications

L'article affirme que DASD-4B-Thinking démontre que les capacités de raisonnement complexes peuvent être transférées efficacement de grands modèles enseignants vers des étudiants légers grâce à un pipeline de distillation raffiné. Les auteurs soulignent que leur approche :

Redéfinit la Distillation : Elle dépasse la "perspective SFT" pour aborder explicitement le principe central de la distillation — apprendre la distribution de sortie complète de l'enseignant.
Défie les Lois d'Échelle (Scaling Laws) : Elle atteint des performances comparables ou supérieures à des modèles 8 à 60 fois plus grands, suggérant que la qualité des données et la stratégie de distillation sont plus critiques que le simple nombre de paramètres pour les tâches de raisonnement.
Favorise la Reproductibilité : En ouvrant les sources du modèle, du jeu de données d'entraînement et de la méthodologie, les auteurs visent à favoriser la recherche communautaire sur les modèles de raisonnement efficaces et transparents.

Les auteurs concluent que leur travail offre une nouvelle perspective pour le développement de modèles de raisonnement compacts et performants, tout en reconnaissant que des travaux futurs sont nécessaires pour affiner davantage la repondération sensible à la distribution et intégrer des capacités agentiques.