💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

Dieser Beitrag stellt das Latent Diffusion Language Model (LDLM) vor, das einen latenten Encoder, ein Diffusionsmodell und einen Decoder gemeinsam trainiert, um einen hochwertigen kontinuierlichen latenten Raum zu schaffen, der eine überlegene Textgenerierungsleistung und im Vergleich zu bestehenden diskreten und kontinuierlichen Diffusionsmodellen deutlich schnellere Inferenzgeschwindigkeiten erreicht.

Ursprüngliche Autoren: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Geschichte zu schreiben. Der alte Weg (genannt „autoregressiv") ist wie ein Schüler, der einen Satz Wort für Wort von links nach rechts schreibt. Wenn er früh einen Fehler macht, kann er nicht zurückgehen und ihn korrigieren, ohne das Ganze neu zu schreiben. Außerdem kann er nur ein Wort auf einmal schreiben, was langsam ist.

Die neue Methode in diesem Papier, genannt LDLM, ist wie ein Bildhauer, der an einem Marmorblock arbeitet. Anstatt ein Wort nach dem anderen zu meißeln, beginnt der Bildhauer mit einem groben, verrauschten Steinblock (einer „verrauschten" Version der Geschichte) und meißelt das Rauschen schrittweise heraus, um die endgültige Form freizulegen. Er kann den gesamten Block auf einmal betrachten und ihn parallel verfeinern, Fehler in der gesamten Geschichte sofort korrigierend.

Es gibt jedoch einen Haken: Um effektiv zu schnitzen, benötigen Sie die richtige Art von Marmor. Ist der Stein zu hart oder zu weich, kann der Bildhauer seine Arbeit nicht verrichten. In KI-Terminologie wird dieser „Marmor" als latenter Raum bezeichnet – eine verborgene, mathematische Darstellung des Textes, mit der das Modell arbeitet, bevor es ihn wieder in Wörter umwandelt.

Das Problem: Der „eingefrorene" Bauplan

Frühere Versuche mit dieser „Schnitz"-Methode verwendeten einen vorgefertigten Bauplan für den Marmor. Sie nahmen ein intelligentes, vortrainiertes Sprachmodell (wie ein Wörterbuch, das bereits weiß, wie Wörter zusammenpassen) und frier es ein. Sie versuchten, den Text unter Verwendung dieses festen Bauplans zu schnitzen.

Die Autoren dieses Papiers erkannten, dass dies wie der Versuch war, eine Statue mit einem Bauplan zu schnitzen, der für eine andere Steinart entworfen wurde. Das vortrainierte Modell war nicht für den „Schnitz"-Prozess (Diffusion) optimiert, sodass die Ergebnisse holprig, langsam oder von geringer Qualität waren.

Die Lösung: Gemeinsames Training (Das „Team-Up")

Die Autoren bauten ein neues System namens LDLM (Latent Diffusion Language Model). Anstatt einen eingefrorenen Bauplan zu verwenden, schufen sie ein Dreier-Team, das von Grund auf gemeinsam lernt:

Der Encoder: Ein Übersetzer, der Wörter in den „Marmor" (latenter Raum) verwandelt.
Der Bildhauer (Diffusionsmodell): Der Teil, der das Rauschen entfernt, um die Geschichte zu verfeinern.
Der Decoder: Ein Übersetzer, der den verfeinerten Marmor zurück in lesbare Wörter verwandelt.

Das Magische ist, dass alle drei gemeinsam lernen. Wenn der Bildhauer besser darin wird, Rauschen zu entfernen, sagt er dem Encoder: „Hey, ich brauche, dass der Marmor so geformt ist, damit es besser funktioniert." Der Encoder passt dann seine Form an, um dem Bildhauer zu helfen. Es ist eine Feedback-Schleife, in der sich das gesamte Team entwickelt, um perfekt aufeinander abzustimmen.

Das „Rezept" für Erfolg

Die Autoren stellten fest, dass das bloße Zusammenstellen dieser drei nicht sofort funktionierte; das Team würde streiten und nichts lernen. Sie mussten ein spezifisches „Rezept" befolgen, um sie zur Zusammenarbeit zu bewegen:

Das Warm-up: Ganz am Anfang ließen sie Encoder und Decoder Wörter übersetzen, ohne dass der Bildhauer eingriff. Dies gibt dem Encoder die Chance, ein stabiles Fundament zu legen, bevor der Bildhauer beginnt, ihn zu formen. Es ist wie einem Musiker zu erlauben, sein Instrument zu stimmen, bevor die Band zu spielen beginnt.
Der „Rauschen"-Trick: Während des Trainings fügten sie absichtlich ein wenig statisches Rauschen zum Eingang des Decoders hinzu. Dies zwingt den Encoder, robust zu sein und Informationen effizient zu speichern, anstatt sich auf perfekte, zerbrechliche Signale zu verlassen. Es ist wie das Trainieren eines Läufers mit einem schweren Rucksack, damit er sich ohne ihn leicht und schnell fühlt.
Intelligente Timing: Sie trainieren das Modell nicht mit konstanter Geschwindigkeit. Sie passen wann sie üben, basierend darauf, wie schwierig die Aufgabe in diesem Moment ist, und stellen sicher, dass das Modell die schwierigsten Teile genauso gut lernt wie die leichten.

Die Ergebnisse: Schneller und intelligenter

Als sie dieses neue Team an großen Textdatensätzen (wie Nachrichtenartikeln und Büchern) testeten:

Qualität: Die generierten Geschichten waren kohärenter und vielfältiger als bei früheren Methoden.
Geschwindigkeit: Da das Modell am „Marmor" (der verborgenen Mathematik) arbeitet, anstatt bei jedem einzelnen Schritt einzelne Wörter aus einem riesigen Wörterbuch auswählen zu müssen, ist es 2 bis 13 Mal schneller als die Konkurrenz.
Effizienz: Es erreicht ein besseres Gleichgewicht zwischen dem Schreiben hochwertiger Texte und der Vielfalt des Textes (nicht repetitiv).

Zusammenfassung

Kurz gesagt führt dieses Papier eine neue Methode ein, um KI das Schreiben beizubringen, indem der „Übersetzer", der „Bildhauer" und der „Verfeinerer" als eine einzige Einheit gemeinsam lernen, anstatt ein vorgefertigtes, eingefrorenes Werkzeug zu verwenden. Durch die Befolgung eines spezifischen Trainingsrezepts schufen sie ein System, das besseren Text schreibt, und zwar viel schneller als zuvor.

Technische Zusammenfassung: Wie man sein latentes Diffusions-Sprachmodell gemeinsam mit dem latenten Raum trainiert

Problemstellung

Autoregressive Modelle dominieren derzeit die Textgenerierung, sind jedoch durch ihre sequenzielle Natur von links nach rechts eingeschränkt, was eine parallele Generierung und Korrektur vorheriger Fehler verhindert. Diffusions-Sprachmodelle bieten eine Alternative, indem sie Text durch iterative Verfeinerung parallel generieren. Allerdings stoßen bestehende Ansätze auf erhebliche Hürden:

Diskrete Diffusion: Operiert direkt im Token-Raum, leidet jedoch unter faktorisierten gemeinsamen Verteilungen, bei denen Tokens in jedem Schritt unabhängig voneinander vorhergesagt werden. Dies begrenzt die Fähigkeit, mehrere Tokens gleichzeitig zu generieren, und macht eine hochwertige Generierung in wenigen Schritten schwierig.
Kontinuierliche Diffusion: Operiert in einem latenten Raum und ermöglicht eine schrittweise Verfeinerung aller Positionen. Obwohl sie diskreten Methoden überlegen ist, verlassen sich aktuelle kontinuierliche Ansätze auf eingefrorene vortrainierte Encoder (z. B. Transformer-basierte Encoder), um den latenten Raum zu konstruieren. Diese Encoder sind für Surrogataufgaben (wie die Vorhersage des nächsten Tokens) trainiert und nicht für die spezifischen Anforderungen des Diffusions-Denoising-Prozesses optimiert. Umgekehrt liefern flache Token-Embeddings (One-Hot oder feste Vektoren) suboptimale latente Räume, selbst wenn sie für die Diffusion abgestimmt werden.

Die Kernherausforderung besteht darin, einen latenten Raum zu konstruieren, der gleichzeitig decodierbar (in Tokens zurückabbildbar) und diffusionsfreundlich (leicht zu denoisen) ist, ohne die Diskrepanz, die durch die Trennung des Encoder-Trainings vom Diffusionstraining entsteht.

Methodik: LDLM

Die Autoren schlagen das Latent Diffusion Language Model (LDLM) vor, ein Framework, bei dem der latente Encoder, das Diffusionsmodell und der Decoder gemeinsam trainiert werden. Dies ermöglicht es, dass das Diffusionsziel den latenten Raum direkt formt.

Architektur

Zweistufige Kodierung:
- Eingefrorener Token-Encoder: Eingabetokens $w$ werden zunächst von einem eingefrorenen vortrainierten Token-Encoder (GPT-2) verarbeitet, um kontextuelle versteckte Zustände $h$ zu extrahieren.
- Trainierbarer latenter Encoder: Ein trainierbarer Encoder $E_\theta^z$ bildet diese versteckten Zustände $h$ in den Diffusions-latenten Raum $z_0$ ab. Dies formt die Repräsentation so um, dass sie für die Diffusion geeignet ist, während die Decodierbarkeit erhalten bleibt.
Zweistufige Dekodierung:
- Latenter Decoder: Ein trainierbarer Decoder $D_\theta^h$ bildet den latenten Raum $z_0$ (der während des Trainings durch Rauschen gestört wurde) zurück auf versteckte Zustände $\hat{h}$ ab.
- Token-Decoder: Ein Token-Decoder $D_\theta^w$ wandelt $\hat{h}$ in Tokens $w$ um.
Trainingsziele:
Das Modell minimiert einen kombinierten Verlust: $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ .
- $L_{diff}$ : Standardverlust für kontinuierliche Diffusion (MSE), um saubere latente Werte aus verrauschten Beobachtungen wiederherzustellen.
- $L_h$ (MSE der versteckten Zustände): Rekonstruiert die versteckten Zustände $h$ des eingefrorenen Encoders aus dem latenten Raum. Entscheidend ist, dass hier der Mittlere Quadratische Fehler (MSE) anstelle der Kreuzentropie (CE) verwendet wird.
- $L_w$ (Token-CE): Rekonstruiert Tokens aus den versteckten Zuständen. Gradienten werden an den rekonstruierten versteckten Zuständen gestoppt, um zu verhindern, dass der latente Encoder beeinflusst wird.

Wichtige Trainingsrezeptur (Die „Vier-Teile"-Lösung)

Die Autoren stellen fest, dass naives gemeinsames Training scheitert (es erzeugt Generierungen mit geringer Vielfalt), und schlagen ein spezifisches Rezept vor, um es funktionsfähig zu machen:

MSE-Decoder-Verlust: Im Gegensatz zu früheren Arbeiten, die Kreuzentropie verwenden, nutzt LDLM MSE zur Rekonstruktion versteckter Zustände. CE zwingt latente Werte dazu, gut getrennt zu sein, um Tokens zu unterscheiden, was der für die Diffusion erforderlichen glatten Geometrie widerspricht. MSE ist weniger streng und erlaubt es latenten Werten, nahe beieinander zu liegen, wenn ihre zugrunde liegenden versteckten Zustände ähnlich sind; dies verhindert den Kollaps des latenten Raums und erhält gleichzeitig eine glatte Mannigfaltigkeit.
Diffusion-zu-Encoder-Warmup: Zu Beginn des Trainings ziehen der Rekonstruktionsverlust (der große latente Beträge fördert) und der Diffusionsverlust (der kleine Beträge fördert, um das Denoising zu vereinfachen) den Encoder in entgegengesetzte Richtungen. Die Autoren implementieren ein Warmup, bei dem der Diffusionsgradient mit einem Koeffizienten $\gamma(s)$ skaliert wird, der nahe bei 0 beginnt und auf 1 ansteigt. Dies ermöglicht es dem Encoder, zunächst einen decodierbaren latenten Raum zu lernen, bevor das Diffusionsziel ihn formt.
Adaptive Timestep-Sampling: Da sich der latente Raum während des Trainings entwickelt, ist ein festes Rauschschema suboptimal. Die Autoren passen die Verteilung der Timestep-Sampling dynamisch an, um sicherzustellen, dass der Denoising-Verlust linear mit dem Timestep wächst, sodass alle Timesteps gleichermaßen zur Unsicherheitsreduktion beitragen.
Rauschen am Decoder-Eingang: Während des Trainings wird Gaußsches Rauschen ( $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ) in den Eingang des latenten Decoders injiziert. Dies dient drei Zwecken:
- Es ermutigt den Encoder, Informationen effizient zu speichern (verhindert, dass ungenutzte Dimensionen das Signal korruptieren).
- Es fungiert als Datenverstärkung und macht den Decoder robust gegenüber Diffusionsfehlern.
- Es stabilisiert die Varianz der latenten Koordinaten und verbessert die Parametrisierung der Diffusion.

Ergebnisse

Die Autoren bewerten LDLM auf OpenWebText (OWT) und LM1B und vergleichen es mit state-of-the-art diskreten (MDLM, Duo) und kontinuierlichen (CANDI, FLM) Diffusions-Baselines.

Qualitäts-Vielfalt-Abwägung: LDLM erreicht die beste Pareto-Frontier zwischen Generativer Perplexität (Gen. PPL) und Entropie. Es übertrifft die Baselines bei vergleichbaren Entropieniveaus erheblich in der Gen. PPL und nähert sich der Qualität von echtem Text an.
Vergleich des latenten Raums: Ablationsstudien zeigen, dass die gemeinsam gelernten latenten Werte von LDLM folgende übertreffen:
- Flache Embeddings (von Grund auf trainiert oder eingefroren).
- Kontextuelle Embeddings von eingefrorenen Encodern (im Stil von TEncDM).
- Latente Werte von Autoencodern, die mit expliziten Glättungszielen trainiert wurden (im Stil von COSMOS).
  Dies bestätigt, dass der latente Raum spezifisch für das Diffusionsziel abgestimmt werden muss.
Rechenleistung: LDLM ist während des Samplings 2–13× schneller als konkurrierende Methoden. Im Gegensatz zu Diffusionsmodellen auf Token-Ebene, die bei jedem Schritt auf das Vokabular projizieren, operiert LDLM während des gesamten Generierungsprozesses in einem niedrigdimensionalen latenten Raum und projiziert erst am Ende einmal auf Tokens.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das gemeinsame Lernen des latenten Raums ein kritischer, bisher unbehandelter Schritt ist, um latente Diffusion für die Textgenerierung wettbewerbsfähig zu machen.

Überwindung naiven gemeinsamen Trainings: Die Arbeit zeigt, dass das einfache gemeinsame Trainieren eines Encoders und eines Diffusionsmodells nicht ausreicht; spezifische Techniken (MSE-Verlust, Warmup, adaptive Sampling, Decoder-Rauschen) sind erforderlich, um das Training zu stabilisieren und hohe Qualität zu erreichen.
Überlegenheit kontextueller latenter Werte: Die Ergebnisse deuten darauf hin, dass hochrangige Sequenzinformationen (erfasst durch den eingefrorenen GPT-2-Encoder) essenziell sind, sie jedoch von einem trainierbaren Encoder speziell für die Diffusion umgeformt werden müssen.
Effizienz: Durch die Vermeidung von Vokabular-Projektionen pro Schritt bietet LDLM eine erhebliche Beschleunigung und adressiert einen großen Engpass bei der diffusionsbasierten Textgenerierung.

Die Autoren schließen, dass die direkte Formung des latenten Raums durch das Denoising-Ziel entscheidend ist, um effektive latente Textdiffusionsmodelle zu erstellen, die state-of-the-art Generierungsqualität bei überlegener Inferenzgeschwindigkeit erreichen.