🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

Das Papier stellt DASH (Divergence-Adaptive Supervision Horizons) vor, eine Methode, welche die On-Policy-Selbstdistillation für Reasoning-Modelle verbessert, indem sie die Token-Ebene-Supervisionsgewichte basierend auf der zeitlichen Entwicklung der Teacher-Student-Divergenzen adaptiv anpasst und dadurch die Leistung über mathematische Benchmarks hinweg verbessert, ohne zusätzliche Forward-Passes zu erfordern.

Ursprüngliche Autoren: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Veröffentlicht 2026-08-07

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer lernen, komplexe Rätsel zu lösen, wie etwa fortgeschrittene mathematische Probleme oder das Schreiben von Computercode, indem sie immer und immer wieder üben. Dieses Feld wird als Reinforcement Learning bezeichnet, bei dem der Computer (der „Schüler“) verschiedene Antworten ausprobiert und am Ende ein einfaches „Ja“ oder „Nein“ erhält, um zu sehen, ob er richtig lag. Das Problem ist: Wenn der Schüler einen langen, gewundenen Pfad nimmt, um dorthin zu gelangen, sagt ihm dieses einzelne „Ja“ oder „Nein“ nicht, welche spezifischen Schritte gut und welche schlecht waren. Es ist, als würde man eine „Zwei“ in einer Abschlussprüfung bekommen, ohne zu wissen, welche Fragen man falsch beantwortet hat. Um dies zu beheben, verwenden Forscher einen Trick namens „On-Policy Self-Distillation“. Betrachten Sie dies als einen Schüler, der einen „privilegierten Lehrer“ (der den geheimen Lösungsschlüssel kennt) bittet, jeden einzelnen Schritt seiner Reise während des Prozesses zu bewerten. Dies gibt dem Schüler einen dichten Strom von Feedback anstatt nur eines am Ende. Aber hier ist der Haken: Die Standardmethode, den Lehrer zu verwenden, behandelt jedes einzelne Feedback-Signal exakt gleich, als wäre ein Fehler, der ganz am Anfang gemacht wurde, genauso wichtig wie ein Fehler am Ende, ungeachtet dessen, wie sich die Leistung des Schülers im Laufe der Zeit verändert hat.

Dieses Paper stellt eine neue Methode namens DASH (Divergence-Adaptive Supervision Horizons) vor, um diese blinden Flecken zu beheben. Die Forscher fanden heraus, dass der Standardansatz zu starr ist; er achtet nicht auf die Geschichte der Fehler des Schülers. Manchmal kann ein kleiner Fehler am Anfang zu einer totalen Katastrophe später führen, während ein ähnlicher Fehler später harmlos sein kann. DASH fungt wie ein intelligenter Editor, der den gesamten Ablauf des Feedbacks betrachtet. Wenn der Schüler in einer Weise vom Rat des Lehrers abdriftet, die auf ein wachsendes Problem hindeutet, verstärkt DASH das Gewicht dieser Signale, um den Kurs zu korrigieren. Wenn der Schüler gut zurechtkommt, dämpft es sie ab. Das Paper zeigt, dass DASH dem Schüler hilft, viel schneller und besser zu lernen als zuvor, indem es die mathematischen Denkleistungen über verschiedene Modellgrößen hinweg verbessert, ohne dass zusätzliche Rechenleistung oder ein klügerer Lehrer benötigt wird.

Das Problem: Der „Einheitsmaß“-Bewertungsmodus

In der Welt des Trainings von KI zur logischen Schlussfolgerung haben wir ein Schüler-Modell und ein Lehrer-Modell. Der Schüler generiert eine lange Kette von Gedanken (einen „Rollout“), um ein Problem zu lösen. Der Lehrer, der Zugang zur korrekten Lösung hat, beobachtet den Schüler und sagt: „Hey, bei diesem spezifischen Wort hättest du dieses andere Wort wählen sollen.“ Dies wird als Token-Level-Supervision bezeichnet.

Die Standardmethode, genannt OPSD (On-Policy Self-Distillation), sammelt all diese kleinen „Du liegst falsch“-Signale vom Lehrer und bildet deren Durchschnitt. Es ist, als würde ein Lehrer einem Schüler ein Zeugnis ausstellen, in dem jeder einzelne Fehler exakt gleich viel zählt, egal wann er passiert ist.

Die Autoren erkannten, dass dies etwas töricht ist. Stellen Sie sich vor, ein Schüler löst eine Matheaufgabe:

Szenario A: Der Schüler macht einen winzigen Rechenfehler in Schritt 1, fängt sich aber in Schritt 2 selbst wieder und korrigiert ihn. Die „Divergenz“ (die Lücke zwischen Schüler und Lehrer) war für einen Moment hoch, verschwand dann aber wieder.
Szenario B: Der Schüler macht exakt denselben winzigen Fehler in Schritt 1, macht ihn aber in den folgenden Schritten immer schlimmer und steuert bis Schritt 10 auf ein völlig falsches Ergebnis zu.

In der Standard-OPSD erhalten beide Szenarien exakt dieselbe „Strafe“ für diesen ersten Schritt. Das System erkennt nicht, dass in Szenario B dieser erste Fehler der Beginn eines Desasters war, während es in Szenario A nur ein kleiner Stolperer war. Die Standardmethode behandelt den lokalen Fehler isoliert und ignoriert dabei die Historie, wie der Schüler bis zu diesem Punkt performt hat, sowie die Zukunft, wohin dieser Fehler führen könnte.

Die Lösung: DASH, der adaptive Coach

Die Autoren schlagen DASH vor, um dem Bewertungssystem ein Gedächtnis und ein Gefühl für den Kontext zu geben. Anstatt nur die Fehler zu mitteln, fragt DASH: „Wie passt dieser spezifische Fehler in die Geschichte der gesamten Antwort?“

So funktioniert DASH, unter Verwendung einer einfachen Analogie:

Stellen Sie sich vor, der Schüler geht einen Pfad entlang und der Lehrer hält ein Seil, das an der Taille des Schülers befestigt ist. Die „Divergenz“ ist das Maß dafür, wie weit sich der Schüler vom idealen Pfad des Lehrers entfernt.

Messung der Lücke: DASH betrachtet, wie weit der Schüler bei jedem einzelnen Schritt vom Lehrer entfernt ist.
Der „Gate“-Mechanismus: Anstatt den Schüler jedes Mal mit der gleichen Kraft zurückzuziehen, verwendet DASH ein spezielles „Gate“ (ein Tor).
- Wenn der Schüler schlechter als der Durchschnitt abschneidet (die Lücke wird größer), öffnet sich das Gate weit. Das bedeutet, dass das Feedback des Lehrers für zukünftige Schritte ein stärkeres Signal erhält, um den Schüler hart zurückzuziehen. Es sagt: „Hey, das ist ein schlechter Trend! Wir müssen besonders darauf achten, diesen Pfad zu korrigieren.“
- Wenn der Schüler besser als der Durchschnitt abschneidet (die Lücke ist klein), schließt sich das Gate ein wenig. Das Feedback des Lehrers ist zwar noch da, aber es schreit nicht so laut, weil der Schüler bereits auf dem richtigen Weg ist.
Rückwärtsgerichtete Betrachtung: DASH nutzt einen cleveren Trick namens „Backward Aggregation“. Es beginnt am Ende der Antwort und arbeitet sich zurück zum Anfang. Es fragt: „Wenn ich mir das Ende dieses Pfades ansehe, wie sehr hat dieser spezifische Schritt zu dem endgültigen Chaos (oder Erfolg) beigetragen?“ Es passt dann das Gewicht des Feedbacks für diesen Schritt basierend darauf an, was danach passiert ist.

Dies schafft ein dynamisches System, in dem die „Wichtigkeit“ eines Fehlers nicht feststeht. Ein Fehler, der zu einer langen Kette von Fehlern führt, erhält ein schweres Gewicht. Ein Fehler, der schnell korrigiert wird, erhält ein leichteres Gewicht.

Was sie herausgefunden haben

Die Forscher testeten diese Idee an drei verschiedenen Größen von KI-Modellen (1,7 Milliarden, 4 Milliarden und 8 Milliarden Parameter) mit drei anspruchsvollen Mathematik-Benchmarks (AIME 2024, AIME 2025 und HMMT Februar 2025).

Die Ergebnisse: DASH war über alle Bereiche hinweg konsistent besser als die Standardmethode (OPSD). Für das kleinste Modell (1,7B) sprang die durchschnittliche Genauigkeit von 41,87 % auf 45,07 %. Auch bei den größeren Modellen waren die Gewinne deutlich, wobei das 8B-Modell von 64,80 % auf 66,40 % stieg.
Das „Warum“: Durch eine Reihe von Experimenten bewiesen sie, dass die Verbesserung nicht nur dadurch zustande kam, dass sie mehr „Rauschen“ hinzufügten oder die Mathematik zufällig änderten. Sie testeten, was passieren würde, wenn sie ein festes Gate (wie die alte Methode) gegenüber einem smarten, sich verändernden Gate verwenden würden. Das smarte Gate (DASH) war der Gewinner. Sie prüften auch, ob die Richtung der Logik eine Rolle spielte (z. B. sollten wir große Lücken mehr oder weniger bestrafen?). Sie fanden heraus, dass ihre spezifische Logik – nämlich große Lücken zu bestrafen, indem man das Gate weiter öffnet, um mehr Korrektur zuzulassen – der entscheidende Faktor war.
Effizienz: Das Beste daran ist, dass DASH keinen superintelligenten Lehrer oder zusätzliche Rechenleistung benötigt. Es nutzt lediglich die Informationen, die die Standardmethode ohnehin schon berechnet, bereitet sie aber intelligenter auf. Es ist, als würde man einen Haufen Rohdaten nehmen und sie besser organisieren, anstatt mehr Daten zu sammeln.

Das Fazit

Das Paper legt nahe, dass wir beim Lehren von KI zur logischen Schlussfolgerung nicht nur Fehler zählen sollten, sondern die Geschichte der Fehler verstehen müssen. Indem wir die Supervision „adaptiv“ gestalten – also das Maß, in dem wir dem Lehrer zuhören, basierend darauf, wie der Schüler über die Zeit performt – können wir der KI helfen, wesentlich effektiver zu lernen. DASH zeigt, dass ein wenig Kontext einen großen Unterschied macht und ein starres Bewertungssystem in ein flexibles, intelligentes Coaching verwandelt, das weiß, wann es streng und wann es nachgiebig sein muss.

Technisches Resümee: DASH – Divergenz-adaptive Supervisionshorizonte für On-Policy Selbst-Distillation von Reasoning-Modellen

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat die Denkfähigkeiten von Large Language Models (LLMs) verbessert, indem es automatisch verifizierbare Signale (z. B. Korrektheit der Antwort) nutzt. Das Standard-RLVR stützt sich jedoch auf spärliche, sequenzbasierte Belohnungen, was eine Herausforderung bei der „temporalen Kreditzuweisung“ (Temporal Credit Assignment) schafft, da es schwierig ist, den Beitrag einzelner Token-basierter Entscheidungen zum Endergebnis zu unterscheiden.

Um dies zu mildern, wurde die On-Policy Selbst-Distillation (OPSD) eingeführt. Bei OPSD generiert ein Student-Modell eine Antwort, während dasselbe Modell, konditioniert auf privilegierten Informationen (wie einer Referenzlösung), als Lehrer fungiert, um dichte, auf Token-Ebene basierende distributionale Supervision bereitzustellen.

Die Kernlimitierung: Während OPSD die Signalspärlichkeit lindert, identifiziert das Paper, dass standardmäßiges („Vanilla“) OPSD die temporale Struktur des Rollouts unzurendend ausnutzt. Vanilla OPSD aggregiert lokale distributionale Diskrepanzen (Divergenzen) unter Verwendung von uniformen Koeffizienten ( $1/T$ ) für jeden Token, ungeachtet dessen:

der Position des Tokens.
der Historie der Diskrepanzen, die bis zu diesem Token geführt haben.

Die Autoren argumentieren, dass in der autoregressiven Generierung dieselbe lokale Divergenzmagnitude in völlig unterschiedlichen temporalen Kontexten auftreten kann (z. B. nach einer langen Geschichte korrekter Argumentation vs. nach einer Serie von Fehlern). Da der lokale Skalar allein diese Kontexte nicht unterscheiden kann, verhindert die Zuweisung eines uniformen Gewichts, dass das Supervisionssignal auf die realisierte Diskrepanzsequenz adaptiert.

2. Methodik: Divergenz-adaptive Supervisionshorizonte (DASH)

Um die Unfähigkeit von Vanilla OPSD zu adressieren, an temporale Divergenzprofile zu adaptieren, schlagen die Autoren DASH vor. Die Methode führt einen Mechanismus ein, um die Token-basierte Supervisionsgewichte dynamisch anzupassen, basierend darauf, wie sich lokale Divergenzen während der Generierung entwickeln.

Kernkomponenten

Sequenz-relative Divergenzlücken:
Anstatt die rohen lokalen Divergenzwerte ( $d_t$ ) direkt zu verwenden, berechnet DASH die Lücke zwischen dem lokalen Distillationssignal und dem Sequenz-Mittelwert ( $\bar{r}$ ):
$g_t = r_t - \bar{r}$
wobei $r_t$ die geclipte lokale KL-Divergenz zum Schritt $t$ ist.
Adaptive Propagations-Gates ( $\lambda_t$ ):
Diese Lücken werden unter Verwendung einer Sigmoid-Funktion mit einem Sensitivitätsparameter $\kappa$ auf adaptive Propagations-Gates abgebildet:
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$
- Logik: Wenn die lokale Divergenz unter dem Sequenzmittelwert liegt ( $g_t < 0$ ), ist das Gate $\lambda_t$ größer, was es ermöglicht, dass zukünftige Signale weiter zurück propagiert werden. Wenn die Divergenz über dem Mittelwert liegt ( $g_t > 0$ ), ist das Gate kleiner, was die Propagation einschränkt. Dies erzeugt einen „Supervisionshorizont“, der sich an die Sequenz anpasst.
Backward Multi-Step Aggregation:
DASH ersetzt die uniforme Aggregation von Vanilla OPSD durch eine Rückwärts-Rekursion, die ein pfadabhängiges, aggregiertes Signal ( $A_t$ ) konstruiert:
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{für } t = T-1, \dots, 1$
Der finale Verlust ist der Durchschnitt dieser aggregierten Signale:
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

Strukturelle Einsicht

Die Autoren leiten eine Fixed-Horizon Gradient Decomposition für die erwartete Zielgröße ab und zeigen, dass der exakte Gradient einen Trajektorien-Term enthält, bei dem die Koeffizienten von zukünftigen Divergenzen abhängen. Obwohl DASH zukünftige Divergenzen nicht explizit schätzt oder Score-Function-Gradienten verwendet, imitiert es diese ordnungsabhängige Struktur, indem es die realisierte Diskrepanzsequenz zur Konditionierung der Gewichte des direkten Distillations-Terms nutzt.

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

Identifizierung einer temporalen Lücke: Die Autoren charakterisieren eine Limitierung in Vanilla OPSD, bei der die Zuweisung uniformer Gewichte an lokale Divergenzen die Zielgröße invariant gegenüber verschiedenen temporalen Anordnungen derselben Divergenzwerte macht, was eine Adaptation an die temporale Struktur verhindert.
Vorschlag von DASH: Eine neue Methode, die sequenz-relative Divergenzlücken verwendet, um adaptive Propagations-Gates zu konstruieren. Dies ermöglicht es, dass die dichte Distillations-Supervision die temporale Entwicklung lokaler Diskrepanzen durch Multi-Step-Aggregation ausnutzt.
Empirische Validierung: Umfassende Experimente über drei mathematische Reasoning-Benchmarks (AIME 2024, AIME 2025, HMMT 2025) und drei Modellskalierungen (Qwen3-1.7B, 4B, 8B) zeigen, dass DASH konsistent die gematchten Vanilla OPSD-Wiederholungen und andere aktuelle Distillations-Baselines übertrifft.

4. Experimentelle Ergebnisse

Die Autoren führten Experimente mit Qwen3 Instruct Modellen (1.7B, 4B, 8B) auf mathematischen Reasoning-Aufgaben durch.

Leistungssteigerungen: DASH erzielte in allen neun Benchmark-Modell-Konfigurationen die höchsten Werte im Vergleich zu den Baselines (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD).
- Bei Qwen3-1.7B verbesserte DASH die durchschnittliche Genauigkeit von 41,87 % (OPSD) auf 45,07 % (+3,20 Punkte).
- Bei Qwen3-4B verbesserte es sich von 63,60 % auf 65,00 % (+1,40 Punkte).
- Bei Qwen3-8B verbesserte es sich von 64,80 % auf 66,40 % (+1,60 Punkte).
Ablationsstudien:
- Adaptiv vs. Fixiert: Das Ersetzen der adaptiven Gates durch fixe Koeffizienten ( $\lambda$ ) verbesserte die Leistung gegenüber Vanilla OPSD, blieb jedoch hinter DASH zurück, was bestätigt, dass die Adaptation an die spezifische Diskrepanzsequenz entscheidend ist.
- Gate-Richtung: Die Umkehrung des Vorzeichens der Gate-Funktion (Inverse-Gap) führte zu einer schlechten Performance, was die spezifische Design-Hypothese validiert, dass die Propagation nach kleinen Diskrepanzen offen bleiben und nach großen Diskrepanzen eingeschränkt werden sollte.
- Koeffizienten-Allokation vs. Skalierung: Die Entkopplung des relativen Koeffizientenprofils von der durchschnittlichen Skalierung zeigte, dass die primären Gewinne aus der diskrepanz-konditionierten Allokation stammen und nicht bloß aus einer Erhöhung der gesamten Supervisionsskala.
Design-Entscheidungen:
- Sensitivität ( $\kappa$ ): Eine moderate Sensitivität ( $\kappa=5$ ) lieferte die besten Ergebnisse und balancierte zwischen unzureichender Adaptation und zu scharfen Reaktionen.
- Divergenz-Metrik: Die Forward KL-Divergenz übertraf die symmetrische JSD und die Reverse KL.
- Vokabular-Unterstützung: Volle Vokabular-Unterstützung war optimal; die Komprimierung auf Top-1 Tokens führte zu signifikanten Leistungseinbußen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DASH eine signifikante Verbesserung der On-Policy Selbst-Distillation bietet, indem es die temporale Struktur von Teacher-Student-Diskrepanzen nutzt, ohne zusätzlichen Rechenaufwand zu erfordern.

Effizienz: DASH nutzt die bereits durch Standard-OPSD berechneten Teacher- und Student-Distributionen wieder. Es erfordert keine zusätzlichen Teacher- oder Student-Forward-Passes, was die Gewinne recheneffizient macht.
Generalisierbarkeit: Die Verbesserungen waren über verschiedene Modellskalierungen und Benchmarks hinweg konsistent, was darauf hindeutet, dass die Methode nicht auf spezifische Modellkapazitäten oder Datensätze beschränkt ist.
Erkenntnis: Die Arbeit liefert neue Einblicke darin, wie dichte Supervision in Langzeit-Reasoning-Szenarien (Long-Horizon Reasoning) eingesetzt werden sollte, indem sie über die uniforme Gewichtung hinaus zu einer sequenz-bewussten, adaptiven Gewichtung übergeht.

Die Autoren kommen zu dem Schluss, dass DASH durch die Anpassung der Token-Gewichte an die realisierte Diskrepanzsequenz die Herausforderung der temporalen Kreditzuweisung, die in Standard-RLVR- und OPSD-Ansätzen inhärent ist, effektiv adressiert.