💻 computer science

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

Dieses Paper stellt DASD-4B-Thinking vor, ein leichtgewichtiges Open-Source-Reasoning-Modell, das durch die Adressierung kritischer Einschränkungen aktueller Sequenz-Ebene-Destillation mittels einer neuartigen Trainingspipeline, welche die Lehrer-Schüler-Verteilungen besser abgleicht und den Exposure Bias mildert, bei gleichzeitig signifikant geringerer Anzahl an Trainingsproben eine State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Veröffentlicht 2026-01-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, weltklasse Professor (den Lehrer), der unglaublich schwierige mathematische Probleme lösen, komplexen Code schreiben und schwierige wissenschaftliche Fragen beantworten kann. Nun stellen Sie sich vor, Sie hätten einen klugen, aber kleinen Schüler (den Schüler), der von diesem Professor lernen möchte, aber nicht über die gleiche Geisteskraft oder das gleiche Gedächtnis verfügt.

Das Ziel dieses Papers ist es, dem kleinen Schüler beizubringen, wie der große Professor zu denken, obwohl der Schüler viel kleiner ist. Das Team bei Alibaba Cloud hat einen neuen Weg entwickelt, dies zu tun, genannt DASD-4B-Thinking.

Hier ist die Erklärung, wie sie es gemacht haben, verdeutlicht durch einfache Analogien:

Der alte Weg: Nur die Hausaufgaben abschreiben

Früher versuchten Forscher, den Schüler zu lehren, indem sie ihm die fertigen Hausaufgabenlösungen des Professors gaben. Der Schüler hat diese Antworten einfach nur auswendig gelernt.

Das Problem: Manchmal waren die Antworten des Professors zu perfekt und selten, und manchmal waren sie chaotisch. Wenn der Schüler einfach zufällig Hausaufgaben zum Abschreiben auswählte, könnte er die wichtigsten Lektionen verpassen oder durch die chaotischen Aufgaben verwirrt werden. Außerdem lernte der Schüler nur dann zu kopieren, wenn der Professor direkt neben ihm stand (und die Antwort ansah), aber in der realen Welt muss der Schüler Probleme alleine lösen. Das ist wie ein Schüler, der einen Aufsatz nur schreiben kann, wenn der Lehrer ihm das nächste Wort zuflüstert; wenn er versucht, alleine zu schreiben, bleibt er stecken.

Der neue Weg: Ein intelligenteres Trainingslager

Die Autoren erkannten, dass sie einen besseren Trainingsplan brauchten. Sie führten drei Haupt-"Superkräfte" ein, um die alten Probleme zu beheben:

1. Die "Aufwärm-" und "Sprint"-Strategie (Temperature-Scheduled Learning)

Stellen Sie sich vor, der Professor unterrichtet eine Klasse.

Der alte Fehler: Der Lehrer gab der Klasse manchmal sehr einfache, offensichtliche Antworten und andere Male wilde, verwirrende oder seltene Antworten. Der Schüler wurde verwirrt, als er versuchte, aus den wilden Antworten zu lernen, bevor er die Grundlagen verstanden hatte.
Die neue Lösung: Das Team entwickelte einen zweistufigen Zeitplan.
- Schritt 1 (Aufwärmen): Zuerlich gab sie dem Schüler die klarsten, selbstbewusstesten Antworten des Professors (niedrige Temperatur). Dies half dem Schüler, ein starkes Fundament aufzubauen und die grundlegenden Muster schnell zu lernen.
- Schritt 2 (Sprint): Sobald der Schüler selbstbewusst war, führte man vielfältigere und kniffligere Antworten ein (hohe Temperatur). Dies setzte den Schüler einer größeren Vielfalt an Problemlösungsstilen aus, was ihn flexibler und robuster machte.
- Ergebnis: Der Schüler lernte zuerst die Grundlagen und erweiterte dann seinen Horizont, anstatt sofort überfordert zu werden.

2. Der "Finde den Unterschied"-Filter (Divergence-Aware Sampling)

Wenn der Professor und der Schüler sich ein Problem ansehen, denken sie manchmal unterschiedlich.

Der alte Fehler: Der Schüler war gezwungen, jede Antwort des Professors zu kopieren, selbst wenn der Schüler bereits von einer anderen (falschen) Art und Weise überzeugt war. Dies verwirrte das Gehirn des Schülers.
Die neue Lösung: Das Team baute einen Filter, der die Antworten prüft und fragt: "Wo hält der Professor dies für eine großartige Idee, aber der Schüler hält es für eine schlechte Idee?"
- Sie konzentrierten das Training auf genau diese Momente. Dies sind die "hochwertigen" Lektionen, in denen der Schüler am wahrscheinlichsten etwas Neues lernt und seine Fehler korrigiert.
- Sie ignorierten die Antworten, bei denen sich der Schüler und der Professor bereits einig waren (weil der Schüler das bereits wusste) oder bei denen der Schüler auf eine Weise sicher falsch lag, die nicht leicht zu korrigieren war.
- Ergebnis: Der Schüler verbrachte seine Lernzeit nur mit den Lektionen, die tatsächlich gelernt werden mussten, was seine Lernzeit viel effizienter machte.

3. Die "Übungsrunde"-Drill (Mixed-Policy Distillation)

Dies behebt das Problem, dass der Schüler den Lehrer braucht, um ihm das nächste Wort zuzuflüstern.

Der alte Fehler: Der Schüler übte, indem er die vollständigen Antworten des Lehrers kopierte. Aber beim echten Test war der Lehrer nicht da. Der Schüler begann zu schreiben, blieb stecken und geriet dann in Panik, weil er nie geübt hatte, einen Satz alleine zu beenden.
Die neue Lösung: Sie erstellten eine "Übungsdrill".
- Sie ließen den Schüler versuchen, ein Problem alleine zu lösen.
- Wenn der Schüler vom Weg abkam oder stecken blieb, stoppten sie den Schüler mitten im Satz.
- Dann griff der Professor ein, um den Satz korrekt zu beenden.
- Der Schüler lernte dann aus dieser "halb geschriebenen, halb korrigierten" Antwort.
- Ergebnis: Der Schüler lernte, wie er sich von seinen eigenen Fehlern erholt und die Aufgabe ohne Hilfe zu Ende bringt, was ihn in der realen Welt viel zuverlässiger macht.

Die erstaunlichen Ergebnisse

Durch die Nutzung dieses intelligenten Trainingslagers schuf das Team ein winziges Modell (nur 4 Milliarden Parameter, was in der Welt der KI sehr klein ist), das so gut oder sogar besser denken kann als viel größere Modelle (einige mit 32 Milliarden Parametern).

Effizienz: Sie erreichten diese Ergebnisse mit nur 448.000 Trainingsbeispielen. Andere Teams nutzen oft Millionen oder sogar Zehntausende von Millionen Beispielen, um ähnliche Ergebnisse zu erzielen. Es ist, als würde man mit einem Bruchteil der Lernzeit einen PhD erlangen.
Leistung: Bei schwierigen Mathematik-Wettbewerben (wie AIME), Programmier-Herausforderungen und wissenschaftlichen Fragen schlug dieses kleine Modell viele der "Riesen" auf diesem Gebiet.

Zusammenfassung

Das Paper zeigt, dass man keine riesigen Mengen an Daten oder einen gigantischen Computer braucht, um eine intelligente KI zu erschaffen. Stattdessen braucht man eine intelligentere Art zu lehren. Indem man den Schüler in Phasen unterrichtet, sich auf die richtigen Lektionen konzentriert und das Beenden von Aufgaben trainiert, kann ein kleines KI-Modell zu einem Reasoning-Champion werden.

Das Team hat sein "Lehrbuch" (den Datensatz) und den "Absolventen" (das Modell) mit der Welt geteilt, damit andere von ihrer Methode lernen können.

Technisches Resümee: Distributions-ausgerichtete Sequenz-Destillation für überlegenes Long-CoT-Reasoning

1. Problemstellung

Das Paper adressiert die Einschränkungen des derzeit vorherrschenden Paradigmas zur Verbesserung der Reasoning-Fähigkeiten kleiner Sprachmodelle: Sequenz-basierte Destillation mittels Supervised Fine-Tuning (SFT) auf von Lehrer-Modellen generierten Antworten. Während jüngste Arbeiten (z. B. DeepSeek-R1 Destillation) gezeigt haben, dass SFT auf hochwertigen Outputs von Lehrer-Modellen eine starke Reasoning-Leistung bewirken kann, argumentieren die Autoren, dass dieser Ansatz fundamental aus einer SFT-Perspektive und nicht aus den Kernprinzipien der Wissensdestillation heraus betrachtet wird.

Die Autoren identifizieren drei kritische Einschränkungen bestehender Praktiken:

Unzureichende Repräsentation der Lehrer-Distribution: Aktuelle Methoden verlassen sich oft auf zufälliges Sampling mit heuristischer Filterung, was die volle Unterstützung (Support) der Sequenz-basierten Output-Distribution des Lehrers nicht adäquat abdeckt. Dies führt zu einer schlechten Moden-Abdeckung oder zum Einschluss von verrauschten, niederwahrscheinlichen Sequenzen, die für kleinere Schüler-Modelle schwer zu erlernen sind.
Fehlende Ausrichtung der Lernkapazität: Standardmäßiges SFT erhöht die Wahrscheinlichkeit von Ground-Truth-Token, kann aber irreführende Gradienten erzeugen. Speziell: Wenn ein Schüler einem Token eine hohe Wahrscheinlichkeit zuweist, das der Lehrer mit einer niedrigen Wahrscheinlichkeit bewertet, drängt SFT den Schüler weiter von der Lehrer-Distribution weg. Bestehende Methoden verfügen über keinen Mechanismus, um Ziel-Distributionen zu identifizieren, die besser mit der Lernkapazität des Schülers korrespondieren.
Exposure Bias: Modelle, die mit Teacher Forcing (Exposition gegenüber Lehrer-Präfixen) trainiert werden, leiden unter Distributionsverschiebungen während der autoregressiven Inferenz, bei der sie auf ihre eigenen Vorhersagen angewiesen sind. Diese Diskrepanz führt zu Fehlerakkumulation und kompoundierenden Abweichungen, insbesondere bei komplexen Long-Chain-of-Thought (CoT) Reasoning-Aufgaben.

2. Methodik

Die Autoren schlagen DASD (Distribution-Aligned Sequence Distillation) vor, eine Trainings-Pipeline, die darauf ausgelegt ist, die Interaktion zwischen Lehrer und Schüler explizit zu erzwingen und die oben genannten drei Einschränkungen zu adressieren. Die Pipeline besteht aus drei Kerninnovationen:

A. Temperatur-gesteuertes Lernen (Temperature-Scheduled Learning)

Um den Trade-off zwischen Lernstabilität und Distributionsabdeckung zu adressieren, schlagen die Autoren einen zweistufigen Trainingsplan vor:

Stufe 1 (Niedrige Temperatur): Der Schüler wird zuerst auf hochkonfidenten, niedrig-temperierten Samples trainiert (z. B. $T=0.6$ ). Diese Samples weisen konsistente Muster auf und ermöglichen eine schnelle, stabile Konvergenz.
Stufe 2 (Hohe Temperatur): Das Training wird mit hoch-temperierten Samples fortgesetzt (z. B. $T=1.0$ ). Diese Samples sind aufgrund höherer Diversität und Rauschen schwerer zu lernen, decken jedoch einen breiteren Bereich der Output-Moden des Lehrers ab.
Rationale: Dieses „Easy-to-Hard“-Curriculum (oder umgekehrte Temperatur-Annealing) ermöglicht es dem Schüler, zuerst konsistente Muster zu erfassen, bevor er versucht, die reichhaltigeren, diverseren latenten Informationen der vollständigen Lehrer-Distribution zu erlernen.

B. Divergenz-bewusstes Sampling (Divergence-Aware Sampling, DAS)

Um eine Ziel-Sequenz-Distribution zu identifizieren, die effektives Lernen unterstützt, führen die Autoren ein Framework zur Distributions-Dekomposition ein. Sie analysieren die Wahrscheinlichkeitsdiskrepanzen zwischen dem Lehrer ( $p_T$ ), dem Prä-Destillations-Schüler ( $p_S$ ) und dem Post-Destillations-Schüler ( $p_D$ ) über Satz-Ebenen der Antworten hinweg.

Klassifizierung: Antworten werden in vier Typen kategorisiert: Lehrer-Sätze ( $p_T \gg p_S$ ), Schüler-Sätze ( $p_S \gg p_T$ ), Gemeinsame Sätze (ähnliche Wahrscheinlichkeiten) und Gesteigerte Sätze (ähnliche $p_T, p_S$ , aber höheres $p_D$ ).
Selektionsstrategie: Die empirische Analyse zeigt, dass Lehrer-Sätze (bei denen der Lehrer eine hohe Konfidenz und der Schüler eine niedrige Wahrscheinlichkeit zuweist) am stärksten mit einer verbesserten Test-Set-Performance korrelieren. Diese Instanzen liefern klare, nicht irreführende Gradienten.
Implementierung: Die Sampling-Strategie priorisiert Beispiele, die reich an Lehrer-Sätzen sind. Im Gegensatz zur Logit-Destillation benötigt diese Methode nur Token-Wahrscheinlichkeiten vom Lehrer und dem Schüler, was sie kompatibel mit Modellen mit unterschiedlichen Tokenizern und Architekturen macht.

C. Mixed-Policy Distillation

Um den Exposure Bias zu mildern, führen die Autoren eine leichtgewichtige Mixed-Policy-Phase nach dem initialen Off-Policy SFT ein:

Prozess: Das trainierte Schüler-Modell generiert Antworten auf eine Teilmenge von Trainingsfragen. Für Antworten, die signifikant von der Lehrer-Antwort abweichen (z. B. abgebrochen oder inkorrekt), wird die Generierung des Schülers an einem zufälligen Punkt abgeschnitten, und das Lehrer-Modell wird aufgefordert, die Sequenz zu vervollständigen.
Training: Nur die Fortsetzungen des Lehrers, die Qualitätsfilter bestehen, werden für das Fine-Tuning beibehalten. Dies erzeugt einen hybriden Datensatz, der sowohl Lehrer-erzwungene Präfixe als auch Schüler-generierte Präfixe enthält, wodurch das Modell lernt, seine eigenen Fehler zu korrigieren und die Distributionsverschiebung zwischen Training und Inferenz zu reduzieren.

3. Kernbeiträge

DASD-4B-Thinking Model: Ein vollständig Open-Source-fähiges, 4-Milliarden-Parameter-Reasoning-Modell, das eine State-of-the-Art (SOTA) Performance unter den Open-Source-Modellen vergleichbarer Skalierung erreicht.
Methodische Innovationen: Der Vorschlag einer dreiteiligen Pipeline (Temperature-Scheduled Learning, Divergence-Aware Sampling und Mixed-Policy Distillation), welche die Sequenz-basierte Destillation neu definiert, indem sie sich auf die Distributions-Ausrichtung statt auf einfaches SFT konzentriert.
Dateneffizienz: Das Modell erreicht seine Leistung mit nur 448.000 Trainingsbeispielen, eine Größenordnung weniger als die meisten existierenden Open-Source-Bemühungen (die oft Millionen von Samples nutzen).
Cross-Architektur-Validierung: Die Pipeline wird über diverse Modellfamilien hinweg als effektiv demonstriert (z. B. Destillation von gpt-oss-120b zu Qwen3-4B) und skaliert (validiert auf einer 30B MoE-Variante, DASD-30B-A3B-Thinking-Preview).

4. Experimentelle Ergebnisse

Das Modell wurde auf fünf anspruchsvollen Benchmarks evaluiert: AIME24, AIME25, LiveCodeBench (v5/v6) und GPQA-Diamond.

Mathematisches Reasoning: DASD-4B-Thinking erreichte 88,5 auf AIME24 und 83,3 auf AIME25. Diese Werte übertreffen signifikant größere Modelle, einschließlich der 32B-Skala Qwen3-32B (81,4/72,9) und GLM-Z1-32B (80,8/63,6), sowie des 8B DeepSeek-R1-0528-Qwen3-8B (86,0/76,3).
Code-Generierung: Auf LiveCodeBench v5 erzielte das Modell 69,3 und übertraf damit Qwen3-32B (65,7) und NVIDIA-OpenReasoning-Nemotron-7B (63,9).
Wissenschaftliches Reasoning: Auf GPQA-Diamond erreichte es 68,4, was der Performance von 32B Qwen3-32B entspricht und sich dem 253B NVIDIA-Nemotron-Ultra-253B (76,0) nähert.
Ablationsstudien: Die Ergebnisse bestätigen, dass jede Komponente inkrementell beiträgt. Das Training mit niedriger Temperatur etabliert eine starke Baseline, das Training mit hoher Temperatur erweitert die Kapazität, und die Mixed-Policy Distillation sorgt für die finale Robustheit gegen den Exposure Bias.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DASD-4B-Thinking demonstriert, dass komplexe Reasoning-Fähigkeiten durch eine verfeinerte Destillations-Pipeline effizient von großen Lehrer-Modellen auf leichte Schüler-Modelle übertragen werden können. Die Autoren betonen, dass ihr Ansatz:

Destillation neu definiert: Er geht über die „SFT-Perspektive“ hinaus und adressiert explizit das Kernprinzip der Destillation – das Erlernen der vollständigen Output-Distribution des Lehrers.
Scaling Laws herausfordert: Es erreicht eine Performance, die mit Modellen vergleichbar oder besser ist, die 8- bis 60-mal größer sind, was darauf hindeutet, dass Datenqualität und Destillationsstrategie für Reasoning-Aufgaben entscheidender sind als die reine Parameteranzahl.
Reproduzierbarkeit fördert: Durch die Open-Source-Veröffentlichung des Modells, des Trainingsdatensatzes und der Methodik zielen die Autoren darauf ab, die Forschung der Community an effizienten, transparenten Reasoning-Modellen zu fördern.

Die Autoren schließen, dass ihre Arbeit eine neue Perspektive für die Entwicklung kompakter, leistungsstarker Reasoning-Modelle bietet, räumen jedoch ein, dass weitere Arbeit nötig ist, um die distributions-bewusste Gewichtung weiter zu verfeinern und agentische Fähigkeiten zu integrieren.