💬 NLP

Distribution Corrected Offline Data Distillation for Large Language Models

Dieser Artikel schlägt ein prinzipiengeleitetes Framework für das Offline-Reasoning-Distillation vor, das den distributionellen Drift zwischen von Lehrern und von Schülern generierten Präfixen korrigiert und dadurch die Genauigkeit und Stabilität kleinerer Sprachmodelle bei komplexen mathematischen Reasoning-Aufgaben verbessert, ohne dass kostspielige Online-Rollouts erforderlich sind.

Ursprüngliche Autoren: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Lehrling (dem Schüler) beizubringen, komplexe Mathe-Rätsel zu lösen, indem er einem Meisterkoch (dem Lehrer) beim Kochen zuschaut.

Das Problem: Die „Kopier-Versteckung"

Normalerweise zeigen wir dem Lehrling, wenn wir ihn unterrichten, ein Video des Meisterkochs, der ein perfektes Gericht zubereitet. Der Lehrling schaut sich das Video an und versucht, jede Bewegung exakt zu kopieren. Dies nennt man Offline-Distillation.

Allerdings gibt es einen versteckten Fehler in dieser Methode:

Im Video: Der Meisterkoch beginnt mit frischen Zutaten und folgt einem perfekten Weg.
Im echten Leben: Der Lehrling muss von Grund auf kochen. Wenn er früh einen winzigen Fehler macht (wie etwa eine Zwiebel leicht falsch zu schneiden), muss er basierend auf diesem Fehler weiterkochen.
Das Ergebnis: Da der Lehrling nur darauf trainiert wurde, das perfekte Video zu kopieren, weiß er nicht, wie er sich erholen soll, wenn er einen Fehler macht. Während er versucht, ein langes, komplexes Problem zu lösen, häufen sich seine kleinen Fehler an, und das Endgericht wird schrecklich. Dies nennt man Distribution Drift (Verteilungsdrift).

Andere Methoden versuchen, dies zu beheben, indem sie dem Lehrling erlauben, selbstständig zu kochen (Online-Lernen), aber dies ist langsam, teuer, und der Lehrling kocht oft schreckliche Gerichte, während er noch lernt.

Die Lösung: Der „Schlaue Trainer" (DISCORD)

Die Autoren dieses Papiers schlagen eine neue Lehrmethode namens DISCORD (Distribution-Corrected Distillation) vor.

Anstatt dem Lehrling nur zu sagen, er solle das Video „kopieren", agiert DISCORD wie ein Schlauer Trainer, der das Video und das aktuelle Können des Lehrlings gleichzeitig beobachtet.

So funktioniert es mit einer einfachen Analogie:

Das Video (Lehrer-Daten): Das perfekte Rezept des Meisterkochs wird aufgezeichnet.
Der Könnens-Check: Bevor ein bestimmter Schritt gelehrt wird, fragt der Trainer: „Wie wahrscheinlich ist es, dass der Lehrling diesen Schritt, wenn er ihn jetzt kochen würde, korrekt ausführt?"
Die gewichtete Lektion:
- Wenn der Schritt etwas ist, das der Lehrling wahrscheinlich selbst korrekt ausführen kann, sagt der Trainer: „Toll! Beobachte genau, wie der Meister diesen Teil macht. Das ist eine Lektion mit hohem Wert."
- Wenn der Schritt etwas ist, das der Lehrling unwahrscheinlich korrekt ausführen kann (weil es zu fortgeschritten oder zu seltsam für seinen aktuellen Stil ist), sagt der Trainer: „Mach dir keine zu großen Sorgen darum, diese genaue Bewegung perfekt zu kopieren. Es ist kein Schritt, dem du wahrscheinlich in deinem eigenen Kochstil begegnen wirst, also konzentrieren wir uns auf die Teile, die du tatsächlich meistern kannst."

In technischen Begriffen nennt das Papier dies Umgewichtung. Es passt die Bedeutung der Anweisungen des Lehrers basierend darauf an, was der Schüler tatsächlich bewältigen kann. Es lenkt die Aufmerksamkeit des Schülers auf die Teile des Denkens des Lehrers, die zum eigenen „Stil" und den Fähigkeiten des Schülers passen.

Die Ergebnisse: Bessere Gerichte, weniger Verschwendung

Die Forscher testeten diese Methode an Mathe-Problemen (wie sie in Schulwettbewerben und Olympiaden vorkommen).

Bessere Genauigkeit: Die Schüler, die mit DISCORD trainiert wurden, erhielten mehr korrekte Antworten als diejenigen, die den Lehrer blind kopierten.
Stabiles Denken: Selbst wenn die Schüler früh in ihrem Denkprozess kleine Fehler machten, gerieten sie nicht in Chaos. Sie blieben besser auf Kurs.
Keine zusätzlichen Kosten: Im Gegensatz zur Methode „selbstständig üben" benötigte DISCORD nicht, dass die Schüler Tausende zusätzlicher Übungsprobleme generierten. Es nutzte dasselbe feste Video des Lehrers, lehrte die Lektion jedoch intelligenter.

Das Fazit

Denken Sie an DISCORD als Übersetzer zwischen der perfekten Logik des Lehrers und der unvollkommenen Realität des Schülers. Anstatt den Schüler zu zwingen, einen perfekten Weg nachzuahmen, den er nicht gehen kann, hebt es die Teile des Weges hervor, die er gehen kann, und stellt sicher, dass er die nützlichsten Fähigkeiten lernt, ohne sich in Details zu verlieren, für die er noch nicht bereit ist.

Dies ermöglicht es kleineren, günstigeren KI-Modellen, beim Schlussfolgern viel schlauer zu werden, ohne teure und zeitaufwändige Trainingsphasen zu benötigen.

Technische Zusammenfassung: Distribution Corrected Offline Data Distillation für Large Language Models

Problemstellung

Der Artikel adressiert die Herausforderung, komplexe Schlussfolgerungsfähigkeiten von großen, leistungsstarken „Lehrer"-Large Language Models (LLMs) auf kleinere, ressourcenbeschränkte „Schüler"-Modelle zu übertragen. Während Offline-Distillation (das Training eines Schülers auf festen, von einem Lehrer generierten Schlussfolgerungspfaden) probe-effizient ist und hochwertige Überwachung bietet, leidet sie unter einer fundamentalen Verteilungsdrift.

Während des Trainings wird das Schülermodell auf von einem Lehrer generierte Präfixe konditioniert. Während der Inferenz muss das Schülermodell jedoch autoregressiv seine eigenen Präfixe generieren. Da die vom Schüler generierten Tokens von der Trajektorie des Lehrers abweichen, gerät es in Bereiche des Token-Raums, die in den Trainingsdaten unterrepräsentiert sind. Dies führt zu akkumulierenden Fehlern und unzuverlässigem Verhalten über lange Schlussfolgerungspfade hinweg, eine Einschränkung, die bestehende verfeinerte Distillationsziele (z. B. Minimierung der bidirektionalen KL-Divergenz) nicht vollständig auflösen, da sie weiterhin gegen eine vom Lehrer bereitgestellte Verteilung optimieren.

Im Gegensatz dazu mildern On-Policy-Methoden (z. B. GRPO, RLHF) diese Drift, indem sie auf selbstgenerierten Daten trainieren, verursachen jedoch hohe Rechenkosten für Online-Sampling und kämpfen oft mit Daten von geringer Qualität in frühen Trainingsphasen.

Methodik: DISCORD

Die Autoren schlagen DISCORD (Distribution-Corrected Distillation) vor, ein prinzipiengeleitetes Offline-Framework, das die Effizienz von vom Lehrer bereitgestellten Daten beibehält und gleichzeitig die Verteilungsabweichung korrigiert. Der Kernmechanismus umfasst die adaptive Neugewichtung der Lehrer-Token-Überwachung basierend auf der aktuellen Unterstützung des Schülers (seine Wahrscheinlichkeit, dieses Token zu generieren).

Wichtige technische Komponenten:

Schüler-unterstützungsbewusste Neugewichtung:
Die Methode führt ein Dichteverhältnis ein, um Trainingspfade $\{x, y \sim \pi_T(x; c)\}$ neu zu gewichten:
$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$
wobei $\pi_\theta$ der Schüler, $\pi_T$ der Lehrer ist und der Strich einen Stop-Gradienten-Operation bezeichnet. Dieses Verhältnis priorisiert Lehrer-Tokens, auf die der Schüler während der Inferenz wahrscheinlich trifft.
Stabilisierte Transformation:
Die direkte Anwendung des Dichteverhältnisses führt zu Trainingsinstabilität aufgrund unbeschränkter Werte und hoher Varianz über lange Sequenzen hinweg. Die Autoren wenden zwei Stabilisierungen an:
- Sigmoid-Transformation: Das Log-Dichteverhältnis wird durch eine Sigmoid-Funktion $\sigma(\tau \cdot \log(\dots))$ geleitet, um die Korrektur in einen beschränkten Bereich $(0, 1)$ abzubilden, wobei die Reihenfolge des Verhältnisses erhalten bleibt, während ein Explodieren verhindert wird.
- Token-Level-Näherung: Um eine Längenverzerrung zu mildern (bei der längere Sequenzen größere aggregierte Gewichte akkumulieren), wird die Korrektur auf Token-Ebene angewendet. Für jedes Token $y_t$ in einem Pfad ist das Gewicht:
  $r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$
  Dieses Gewicht wird als Gradientenmultiplikator während des Trainings der Basiszielfunktion (z. B. SFT oder KL-Divergenz) angewendet.
Interpretation:
Das Korrekturgewicht $r_t$ (mit $\tau=1$ ) wird als Posterior-Wahrscheinlichkeit interpretiert, dass ein Token aus der Schülerverteilung statt aus der Lehrerverteilung gezogen wurde, unter der Annahme einer uniformen Prior-Verteilung. Dies verbindet die Methode mit Prinzipien des kontrastiven Decodierens, wendet sie jedoch während des Trainings an, um das Lernen in Bereichen zu priorisieren, die der Schüler zuverlässig bewohnen kann.

Wichtige Beiträge

Ein prinzipiengeleitetes Offline-Framework: DISCORD ist die erste Methode, die die Verteilungsdrift zwischen Lehrer und Schüler effektiv korrigiert, indem sie ausschließlich Offline-Daten verwendet, die vom Lehrer bereitgestellt werden, und damit die Notwendigkeit kostspieliger Online-Schüler-Rollouts eliminiert.
Flexible Integration: Der Token-Level-Neugewichtungsmechanismus ist mit verschiedenen Offline-Distillations-Backbones kompatibel, einschließlich standardmäßiger Supervised Fine-Tuning (SFT) und KL-Divergenz-basierter Zielfunktionen.
Stabilisierungstechniken: Die Einführung der Sigmoid-Transformation und der Token-Level-Näherung adressiert die Varianz- und Instabilitätsprobleme, die in Dichteverhältnis-basierten Korrekturen für lange Sequenzen inhärent sind.

Experimentelle Ergebnisse

Die Methode wurde an Benchmarks für mathematisches Schlussfolgern (GSM8K, MATH, MATH500) und schwierigeren, zurückgehaltenen wettbewerbsähnlichen Aufgaben (AMC, AIME, OlympiadBench, Omni-Math) unter Verwendung von Qwen2.5- und Llama-3.2-Modellen evaluiert.

Leistungssteigerungen: DISCORD übertrifft konsistent starke Offline-Baselines (SFT, ToDi, Symmetric KL) bei In-Domain- und Out-of-Domain (OOD)-Aufgaben. Beispielsweise verbesserte DISCORD bei der Distillation von Qwen2.5-7B $\to$ 3B die MATH500-Genauigkeit um 4,60 Punkte gegenüber dem Standard-SFT und um 2,60 Punkte gegenüber Symmetric KL.
Robustheit gegenüber Präfix-Drift: Evaluierungen mittels ExAccErr (Verteilungsdivergenz) zeigen, dass während die Leistung des Standard-SFT signifikant abnimmt, wenn die Präfixlänge zunimmt (von Schülern generierte Präfixe weichen vom Lehrer ab), DISCORD eine stabile Leistung aufrechterhält, was auf reduzierte akkumulierende Fehler hindeutet.
Effizienz im Vergleich zu Online-Methoden: DISCORD erreicht eine Leistung, die mit Online-Schüler-Rollout-Methoden (wie GKD) vergleichbar ist, jedoch mit deutlich niedrigeren Rechenkosten. Im Setting 7B $\to$ 3B benötigte DISCORD nur 3,12 GPU-Stunden im Vergleich zu 49,56 GPU-Stunden für GKD, wobei keine Online-Schüler-Tokens verwendet wurden.
Qualität des Schlussfolgerns: Qualitative Analysen zeigen, dass DISCORD sauberere, prägnantere und logisch kohärentere Pfade erzeugt. Es reduziert gängige Fehlermodi wie Wiederholungen, Fortsetzungen nach der Antwort und mehrere unterschiedliche Endantworten. Entscheidend bewahrt DISCORD in „Fehler-Wiederherstellungs"-Fällen die zugrunde liegende mathematische Struktur der Lösung des Lehrers, selbst wenn es nicht die oberflächliche Formatierung des Lehrers nachahmt.

Bedeutung und Behauptungen

Der Artikel behauptet, dass leichtgewichtiges, verteilungskorrekturbewusstes Training die Offline-Reasoning-Distillation erheblich stärken kann, ohne Online-Interaktion zu erfordern.

Überbrückung der Lücke: Die Arbeit zeigt, dass es möglich ist, die Leistungslücke zwischen Offline- und Online-Distillationsmethoden zu verringern, indem bestehende Offline-Daten intelligent neu gewichtet werden, anstatt neue Daten zu generieren.
Generalisierbarkeit: Während sich die Experimente auf mathematisches Schlussfolgern konzentrieren, gehen die Autoren davon aus, dass die Methode auf andere Langzeit-Generierungsszenarien anwendbar ist, einschließlich Code-Generierung und wissenschaftliches Schlussfolgern.
Praktische Bereitstellung: Durch die Vermeidung der hohen Rechenkosten des Online-Samplings bietet DISCORD einen gangbaren Weg für den Einsatz leistungsfähiger Schlussfolgerungsmodelle in ressourcenbeschränkten Umgebungen.

Die Autoren bleiben bescheiden und stellen fest, dass ihre Methode zwar die vorherigen Offline-Baselines verbessert, Online-Methoden wie GKD jedoch aufgrund ihrer direkten Beobachtung der Schüler-Rollout-Verteilung in einigen spezifischen In-Domain-Benchmarks immer noch einen Vorteil haben. DISCORD bietet jedoch einen überlegenen Kompromiss zwischen Leistung und Recheneffizienz.