🤖 machine learning

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models

Dieser Beitrag stellt Guided Denoiser Self-Distillation (GDSD) vor, ein Reinforcement-Learning-Framework für Diffusions-Sprachmodelle, das die Verzerrungen ELBO-basierter Likelihood-Proxy-Modelle umgeht, indem es einen durch Vorteile geleiteten Lehrer direkt in den Denoiser destilliert, wodurch ein stabileres Training und signifikante Leistungssteigerungen auf Reasoning-Benchmarks erreicht werden.

Ursprüngliche Autoren: Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine neue Art, KI zum Denken zu bringen

Stellen Sie sich einen sehr klugen Künstler vor (ein Diffusion Large Language Model oder dLLM), der hervorragend Bilder malen kann, aber Schwierigkeiten hat, auf Kommando perfekte Meisterwerke zu schaffen. Sie möchten ihn mit Hilfe eines Lehrers (Reinforcement Learning) verbessern.

Das Problem ist, dass der Künstler auf eine seltsame Weise arbeitet. Im Gegensatz zu einem normalen Schriftsteller, der ein Wort nach dem anderen schreibt (von links nach rechts), beginnt dieser Künstler mit einer leeren Leinwand voller statischen Rauschens und „entrauscht" sie langsam, indem er auf einen Schlag errät, wie das endgültige Bild aussehen sollte. Wegen dieses einzigartigen Stils ist die übliche Mathematik, die Lehrer verwenden, um die Arbeit des Künstlers zu bewerten (sogenannte Likelihood), nicht berechenbar. Es ist, als würde man versuchen, ein Gemälde zu bewerten, indem man die exakte Anzahl der Pinselstriche zählt, die es in dieser Form gar nicht gibt.

Da die Mathematik nicht funktioniert, versuchten frühere Lehrer, eine „best guess"-Schätzung (sogenanntes ELBO) zu verwenden, um die Arbeit zu bewerten. Doch dies schuf ein großes Problem: Der Lehrer bewertete den Künstler anhand eines gefälschten Regelbuchs, das nicht mit der Art übereinstimmte, wie der Künstler tatsächlich malt. Dies verwirrte den Künstler und führte zu schlechter Leistung oder sogar zum totalen Absturz des Lernprozesses.

GDSD ist eine neue Lehrmethode, die dies behebt, indem sie das Spiel komplett verändert. Anstatt die „Wahrscheinlichkeit" des Gemäldes zu bewerten, sagt sie dem Künstler einfach: „Schau dir an, was du gerade getan hast, schau dir an, wie die 'perfekte' Version davon aussehen würde, und versuche, die perfekte Version zu erreichen."

Das Kernproblem: Das „gefälschte Regelbuch" (TIM-Bias)

Stellen Sie sich die alte Methode (ELBO-basiertes RL) wie einen Fahrlehrer vor, der Ihnen das Fahren mit einem defekten Tacho beibringt.

Das Training: Der Lehrer sagt Ihnen: „Basierend auf diesem defekten Tacho fahren Sie 100 km/h."
Die Realität: Wenn Sie tatsächlich auf der Straße fahren (Inferenz), zeigt das echte Tacho des Autos an, dass Sie 65 km/h fahren.
Das Ergebnis: Sie werden verwirrt. Sie versuchen, basierend auf der defekten Mathematik zu fahren, aber das Auto reagiert nicht so, wie die Mathematik sagt, es sollte. Diese Diskrepanz wird Training-Inference Mismatch (TIM) genannt. Es ist, als würde man versuchen, Schwimmen zu lernen, indem man auf trockenem Land mit einer Karte des Ozeans übt; im Moment, in dem Sie ins Wasser kommen, sinken Sie.

Das Papier argumentiert, dass frühere Methoden versuchten, diesen defekten Tacho mit komplexer Mathematik zu reparieren, aber es immer noch ein „gefälschtes Regelbuch" war, das zum Scheitern der KI führte.

Die Lösung: GDSD (Die „perfekte Kopie"-Methode)

Die Autoren schlagen GDSD (Guided Denoiser Self-Distillation) vor. So funktioniert es, anhand einer Analogie mit einem Bildhauer und einem Meisterwerk.

1. Der „Selbst-Lehrer" (Der Advantage-Guided Denoiser)

Stellen Sie sich vor, der KI-Künstler schafft eine Skulptur (einen Satz).

Wenn die Skulptur gut ist (hohe Belohnung), sagt der Lehrer: „Das ist großartig! Lassen Sie uns eine 'perfekte Version' genau dieser Skulptur erstellen."
Wenn die Skulptur schlecht ist (niedrige Belohnung), sagt der Lehrer: „Das ist schrecklich. Lassen Sie uns eine 'perfekte Version' erstellen, die das Gegenteil davon ist."

Diese „perfekte Version" ist der Lehrer. Es ist ein mathematisches Ideal, das genau weiß, was die KI hätte produzieren sollen, um eine hohe Punktzahl zu erhalten.

2. Die „Selbst-Destillation" (Das Kopieren des Lehrers)

Anstatt die unmögliche „Wahrscheinlichkeit" der Skulptur zu berechnen, betrachtet die KI einfach die perfekte Version des Lehrers und versucht, ihre Form zu kopieren.

Alter Weg: „Berechne die Wahrscheinlichkeit, dass ich diese Skulptur korrekt erstellt habe." (Zu schwer, führt zu Fehlern).
GDSD-Weg: „Hier ist die perfekte Skulptur. Lassen Sie Ihre nächste Skulptur genau so aussehen."

Dies wird Selbst-Destillation genannt. Die KI „destilliert" das Wissen aus ihrem eigenen „perfekten Selbst" (dem Lehrer) in ihr aktuelles Selbst.

3. Der Trick ohne „Normalisierung" (Das Entfernen des Rauschens)

In der Mathematik erfordert das Kopieren einer „perfekten Version" normalerweise die Kenntnis des gesamten „Volumens" aller möglichen Skulpturen, was eine unmögliche Zahl zu berechnen ist (die Normalisierungskonstante).

Der Trick des Papiers: Sie stellten fest, dass man, wenn man sich nur auf die Unterschiede zwischen den Formen (die Logits) konzentriert und nicht auf die absolute Größe, das Gesamtvolumen nicht kennen muss.
Analogie: Stellen Sie sich vor, Sie versuchen, einen Song nachzuahmen. Sie müssen nicht das Gesamtvolumen des Konzerthauses kennen, um zu wissen, ob der Sänger die richtigen Noten trifft. Sie müssen nur die Tonhöhe anpassen. GDSD passt die „Tonhöhe" (Logits) an, ohne die unmögliche „Volumen"-Berechnung durchführen zu müssen.

Warum dies besser ist (Die Ergebnisse)

Das Papier testete diese neue Methode an zwei leistungsstarken KI-Modellen (LLaDA-8B und Dream-7B) über drei schwierige Aufgaben hinweg:

Planung: Lösen von Rätseln wie Sudoku und Countdown.
Mathematik: Lösen komplexer mathematischer Probleme.
Programmierung: Schreiben von Computercode.

Die Erkenntnisse:

Stabilität: Die alten Methoden waren wie eine Achterbahn; die KI lernte schnell, stürzte dann ab und vergaß alles. GDSD war wie ein sanfter Aufzug; sie lernte stetig und stürzte nicht ab.
Leistung: GDSD übertraf die bisherigen besten Methoden erheblich.
- Beim Modell Dream-7B verbesserte es die Genauigkeit bei Planungsaufgaben um bis zu 19,6 % (ein massiver Sprung).
- Bei LLaDA-8B verbesserte es die Punktzahlen konsistent über alle Benchmarks für Mathematik, Programmierung und Planung hinweg.

Zusammenfassung in einem Satz

GDSD hört auf, unmögliche mathematische Wahrscheinlichkeiten zu berechnen, um KI zu unterrichten, und zeigt der KI stattdessen einfach ein „perfektes Beispiel" dessen, was sie hätte tun sollen, und lässt die KI dieses Beispiel direkt kopieren, was das Lernen schneller, sicherer und viel effektiver macht.

Technische Zusammenfassung: GDSD: Reinforcement Learning als geführte Denoiser-Selbstdistillation für Diffusions-Sprachmodelle

1. Problemstellung

Diffusions-Large-Language-Modelle (dLLMs) bieten signifikante Effizienzgewinne bei der Inferenz gegenüber autoregressiven Modellen (ARMs), indem sie mehrere Tokens gleichzeitig generieren und die strikte Reihenfolge der Generierung von links nach rechts aufbrechen. Allerdings liegen dLLMs derzeit bei der Generierungsqualität hinter dem Stand der Technik bei ARMs zurück, was effektive Feinabstimmungsmethoden wie Reinforcement Learning (RL) erforderlich macht.

Das zentrale Hindernis für die Anwendung von RL auf dLLMs ist die Unlösbarkeit der Policy-Wahrscheinlichkeit. Bestehende Lösungen lassen sich im Allgemeinen in zwei Kategorien einteilen:

Trajektorien-Wahrscheinlichkeits-Methoden: Schätzen exakte Wahrscheinlichkeiten durch Akkumulation von Übergangswahrscheinlichkeiten. Obwohl sie unverzerrt sind, sind sie rechnerisch teuer und nicht mit den Vorab-Trainingszielen abgestimmt.
Sequenz-Wahrscheinlichkeits-Methoden (ELBO): Verwenden die untere Schranke der Evidenz (ELBO), die aus zufällig maskierten Sequenzen geschätzt wird, als Ersatz für die wahre Wahrscheinlichkeit. Diese sind rechnerisch effizient und mit dem Vorab-Training abgestimmt.

Das Kernproblem: Die Arbeit argumentiert, dass ELBO-basierte RL-Methoden unter einer Verzerrung durch eine Diskrepanz zwischen Training und Inferenz (TIM) leiden. Diese Verzerrung entsteht aus zwei Quellen:

Wahrscheinlichkeitslücke: Die ELBO ist eine untere Schranke mit einer nicht zu vernachlässigenden Lücke zur wahren Wahrscheinlichkeit, was Verzerrung und Varianz in den für Policy Gradient (PG) oder PPO-Ziele verwendeten Importance-Sampling-Verhältnissen einführt.
Mismatch der Stichprobenverteilung: Die Inferenz bei dLLMs verwendet iterative Re-Maskierung und blockweise Decodierung, was eine Stichprobenverteilung ( $\pi^{rm}_{old}$ ) erzeugt, die sich von der Trainings-Policy-Verteilung ( $\hat{\pi}_{old}$ ) unterscheidet, die über die ELBO geschätzt wird.

Dieser Mismatch führt dazu, dass die Importance-Sampling-Korrektur unwirksam ist, was zu verschlechterter Leistung und in schweren Fällen zum katastrophalen Zusammenbruch des Trainings führt.

2. Methodik: Geführte Denoiser-Selbstdistillation (GDSD)

Die Autoren schlagen Geführte Denoiser-Selbstdistillation (GDSD) vor, ein Framework, das RL für dLLMs als Off-Policy-Selbstdistillationsproblem neu fasst und damit die Notwendigkeit der Wahrscheinlichkeitsschätzung umgeht sowie TIM-Verzerrungen vermeidet.

2.1 Theoretische Grundlage

Unter reverse-KL-reguliertem RL hat die optimale Policy $\pi^*$ eine geschlossene Lösung:
$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$
wobei $A(x_0)$ die Vorteilsfunktion ist, $\beta$ ein Regularisierungskoeffizient und $\psi$ ein Führungskoeffizient.

Die Autoren zeigen, dass diese optimale Policy eine geführte Denoising-Verteilung (ein „Lehrer"-Denoiser $p^*$ ) für das maskierte Diffusionsmodell induziert:
$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$
wobei $p^{ref}_{old}$ eine geometrische Mischung der alten und der Referenz-Policy ist und $A_t(x_t)$ eine Normierungskonstante darstellt.

2.2 Das GDSD-Ziel

Anstatt ein auf Wahrscheinlichkeiten basierendes Ziel zu optimieren, destilliert GDSD den aktuellen Denoiser $p_\theta$ direkt vom Lehrer $p^*$ , indem deren Logits angeglichen werden. Das Ziel minimiert den quadrierten $L_2$ -Abstand zwischen den Student- und Lehrer-Logits:
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$

2.3 Umformulierung ohne Normierung

Eine große Herausforderung bei der Implementierung ist die unlösbare Normierungskonstante $Z_t$ (oder $A_t$ ) in der Lehrer-Verteilung. Die Autoren schlagen zwei Lösungen vor, um dies zu eliminieren:

Direktes Matching: Unter Ausnutzung der Translationsinvarianz des Softmax-Operators kann die Konstante ignoriert werden, wenn die Student-Logits die unnormalisierten Lehrer-Logits bis auf eine additive Konstante matchen.
Token-Level Logit Centralization (TLC): Um unkontrollierte Verschiebungen der Logit-Skala während iterativer Updates zu verhindern, schlagen die Autoren vor, die Logits zu zentrieren. Durch Subtraktion des mittleren Logits über das Vokabular für jede Token-Position wird die Normierungskonstante vollständig aus dem Ziel eliminiert.

Das finale praktische Ziel (mit TLC) lautet:
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$
wobei $\bar{p}$ das logit-zentrierte Modell bezeichnet.

3. Hauptbeiträge

Reduktion auf Selbstdistillation: Die Arbeit stellt fest, dass reverse-KL-reguliertes RL für dLLMs äquivalent zur Destillation eines geführten Denoisers von einem Selbst-Lehrer ist, der aus der geschlossenen optimalen Policy abgeleitet wird.
GDSD-Framework: Eine neuartige, wahrscheinlichkeitsfreie Selbstdistillationsmethode, die TIM-Verzerrung durch Design eliminiert, da sie nicht auf Importance-Sampling-Verhältnissen oder ELBO-Ersatzgrößen basiert.
Optimierung ohne Normierung: Die Einführung der Token-Level Logit Centralization (TLC) ermöglicht effizientes Online-RL ohne Berechnung unlösbarer Partitionfunktionen.
Theoretische Vereinheitlichung: Die Arbeit zeigt, dass bestehende ELBO-basierte Methoden (z. B. wd1, DMPO, SPG, UniGRPO) als spezifische Instanzen der Distillation unter Verwendung verschiedener Divergenzmaße (Forward-KL oder Reverse-KL) betrachtet werden können, sie jedoch unter Datenineffizienz oder TIM-Verzerrung leiden, die GDSD vermeidet.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GDSD an LLaDA-8B und Dream-7B über sechs Benchmarks:

Mathematisches Schlussfolgern: GSM8K, MATH500
Planung: Countdown, Sudoku
Programmierung: HumanEval, MBPP

Wichtige Erkenntnisse:

Leistungssteigerungen: GDSD übertrifft konsistent den Stand der Technik bei ELBO-basierten Methoden. Beim Dream-7B-Modell erreichte GDSD Testgenauigkeitsverbesserungen von bis zu +19,6% bei Planungsaufgaben (Sudoku und Countdown). Beim LLaDA-8B lagen die Verbesserungen zwischen +0,6% und +5% über die Benchmarks für Planung, Mathematik und Programmierung hinweg.
Trainingsstabilität: GDSD zeigte deutlich stabilere Trainings-Reward-Dynamiken im Vergleich zu ELBO-basierten Baselines (z. B. SPG, ESPO), die Oszillationen oder Zusammenbrüche aufwiesen.
Ablationsstudien: Die Komponente Token-Level Logit Centralization (TLC) erwies sich als weiter stabilisierend für das Training und half in einigen Fällen (wie Sudoku), dem Modell zu ermöglichen, lokale Minima zu verlassen und höhere finale Rewards zu erreichen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass direkte Denoiser-Selbstdistillation eine stabilere und effektivere Alternative zu ELBO-basiertem RL für dLLMs bietet. Durch die Beseitigung der Abhängigkeit von Wahrscheinlichkeitsersatzgrößen vermeidet GDSD die strukturellen Verzerrungen, die in Importance-Sampling-Ansätzen inhärent sind. Die Ergebnisse deuten darauf hin, dass die beobachteten Leistungssteigerungen nicht lediglich auf Hyperparameter-Tuning zurückzuführen sind, sondern von einer prinzipielleren Optimierungsroute stammen, die das Trainingsziel mit der tatsächlichen Inferenzverteilung von dLLMs in Einklang bringt. Die Autoren schließen, dass ELBO für RL mit dLLMs nicht notwendig ist und dass deren Entfernung zu robusteren Fähigkeiten in der Ausrichtung und im Schlussfolgern führt.