💬 NLP

Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner

Dieses Papier schlägt Coevolutionary Continuous Discrete Diffusion (CCDD) vor, ein neuartiges Framework, das kontinuierliche und diskrete Diffusionsprozesse innerhalb eines einzigen Modells vereint, um die Trainierbarkeit und Dekodierungsprobleme kontinuierlicher Diffusion zu überwinden und gleichzeitig deren überlegene theoretische Ausdruckskraft für eine verbesserte Leistung bei der Sprachmodellierung zu nutzen.

Ursprüngliche Autoren: Cai Zhou, Chenxiao Yang, Yi Hu, Chenyu Wang, Chubin Zhang, Muhan Zhang, Lester Mackey, Tommi Jaakkola, Stephen Bates, Dinghuai Zhang

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Cai Zhou, Chenxiao Yang, Yi Hu, Chenyu Wang, Chubin Zhang, Muhan Zhang, Lester Mackey, Tommi Jaakkola, Stephen Bates, Dinghuai Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zwei Denkrichtungen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Geschichte zu schreiben. Es gibt derzeit zwei Hauptmethoden, dies zu tun, und beide haben einen gravierenden Mangel:

Der „Schritt-für-Schritt"-Schreiber (Autoregressive Modelle): Dieser Roboter schreibt ein Wort nach dem anderen, von links nach rechts. Es ist wie ein Mensch, der einen Satz schreibt, der nicht zurückgehen und das erste Wort ändern kann, sobald er das zehnte geschrieben hat. Es ist schnell, hat aber Schwierigkeiten mit komplexen Rätseln (wie Sudoku), da er nicht leicht „vorausdenken" oder „zurückgehen" kann.
Der „Kritzeln-und-umschreiben"-Künstler (Diffusionsmodelle): Dieser Roboter beginnt mit einer Seite voller statisches Rauschen (oder leeren Stellen) und verfeinert sie langsam zu einer Geschichte. Er kann die ganze Seite auf einmal betrachten, Fehler korrigieren und Dinge neu anordnen.
- Der diskrete Künstler: Arbeitet mit tatsächlichen Wörtern. Er ist gut darin, spezifische Wörter zu korrigieren, gerät aber manchmal in eine Schleife oder verliert die „große Bild"-Bedeutung.
- Der kontinuierliche Künstler: Arbeitet mit „Vibes" oder „Gefühlen" (mathematischen Zahlen) statt mit spezifischen Wörtern. Er ist unglaublich mächtig im Verständnis komplexer Logik und Planung, aber sehr schwer zu trainieren, da diese „Vibes" zurück in tatsächliche, lesbare Wörter umzuwandeln ein chaotischer, schwieriger Prozess ist.

Das Dilemma: Der „kontinuierliche Künstler" hat ein größeres Gehirn (mehr theoretische Kraft), ist aber beim eigentlichen Job des Schreibens von Wörtern ungeschickt. Der „diskrete Künstler" ist gut im Schreiben von Wörtern, hat aber ein kleineres Gehirn für komplexes Schlussfolgern.

Die Lösung: Das „ko-evolutionäre" Team

Die Autoren dieses Papiers schlagen eine neue Methode vor, die CCDD (Coevolutionary Continuous Discrete Diffusion) genannt wird.

Stellen Sie sich CCDD als ein Zwei-Personen-Schreibteam vor, das gleichzeitig an demselben Dokument arbeitet:

Person A (Der diskrete Token): Diese Person hält eine Liste tatsächlicher Wörter. Sie ist gut darin, Grammatik und spezifische Rechtschreibung zu kennen.
Person B (Der kontinuierliche Latent): Diese Person hält ein „Gefühl" oder eine „Konzeptkarte" der Geschichte. Sie versteht die tiefe Logik, die Plotwendungen und das komplexe Schlussfolgern (wie das Lösen eines Matheproblems).

Wie sie zusammenarbeiten:
Anstatt dass Person A und Person B getrennt arbeiten, sind sie verknüpft.

Training: Sie werden gemeinsam trainiert. Person B hilft Person A, die Bedeutung hinter den Wörtern zu verstehen, während Person A Person B hilft, diese abstrakten „Gefühle" in echte, lesbare Wörter zu verankern.
Die Magie: Da sie verknüpft sind, erhält das Modell das Beste aus beiden Welten. Es hat die Denkkraft des kontinuierlichen „Gefühls"-Raums (großartig für Schlussfolgern) und die Präzision des diskreten Wortraums (großartig für die Textgenerierung).

Die Analogie: Der Architekt und der Bauarbeiter

Stellen Sie sich den Bau eines Hauses vor:

Das diskrete Modell ist wie ein Bauarbeiter, der großartig darin ist, Ziegel zu verlegen, aber die Baupläne nicht versteht. Er könnte eine Wand an der falschen Stelle bauen, weil er das ganze Haus nicht überblicken kann.
Das kontinuierliche Modell ist wie ein Architekt, der ein perfektes 3D-mentales Modell des Hauses hat, aber keine Ziegel physisch verlegen kann. Er weiß genau, wo die Wände hinmüssen, aber die Übersetzung dieser 3D-Vision in einen Haufen Ziegel ist schwierig.
CCDD ist der Architekt und Bauarbeiter, die Seite an Seite arbeiten. Der Architekt (Kontinuierlich) führt den Bauarbeiter (Diskret) mit einer klaren Vision der Struktur. Der Bauarbeiter gibt dem Architekten sofortiges Feedback darüber, was physisch möglich ist. Das Ergebnis? Ein Haus, das sowohl statisch solide ist (gutes Schlussfolgern) als auch korrekt gebaut wurde (guter Text).

Was das Papier tatsächlich herausfand

Die Autoren testeten diesen neuen „Team"-Ansatz an realen Aufgaben:

Geschichten schreiben: Auf Standard-Sprachdatensätzen machte ihr Modell signifikant weniger Fehler (niedrigere „Perplexität") als frühere Modelle derselben Größe. Es lernte auch schneller.
Rätsel lösen: Sie testeten das Modell an harten Logikrätseln wie Sudoku, 3-SAT (ein komplexes Logikproblem) und Countdown (ein Mathe-Spiel).
- Frühere Modelle (wie Standard-„Schritt-für-Schritt"-Schreiber) hatten Schwierigkeiten oder scheiterten.
- Die „kontinuierlichen" Modelle waren theoretisch gut, scheiterten aber in der Praxis.
- CCDD schlug alles. Es löste diese Rätsel mit hoher Genauigkeit, oft in weniger Schritten als die Konkurrenz.
Geschwindigkeit: Einer der größten Vorteile ist die Effizienz. Normalerweise benötigt man für ein gutes Ergebnis aus einem Diffusionsmodell hunderte winziger Schritte (wie das langsame Verfeinern einer Skizze). CCDD kann hochwertige Ergebnisse in nur 8 Schritten produzieren, während andere Modelle 256 Schritte benötigten, um eine ähnliche Qualität zu erreichen.

Das Fazit

Das Papier argumentiert, dass wir nicht zwischen einem Modell wählen müssen, das „schlau im Schlussfolgern" ist, und einem Modell, das „gut im Schreiben von Wörtern" ist. Indem wir ein System schaffen, in dem das „abstrakte Schlussfolgern" und die „konkreten Wörter" gemeinsam evolvieren (ko-evolvieren), erhalten wir ein Modell, das sowohl ein brillanter Denker als auch ein geschickter Schreiber ist.

Kurz gesagt: Sie bauten einen Roboter, der „in Gefühlen denkt", um harte Probleme zu lösen, diese Gefühle aber sofort in perfekte Wörter übersetzt, was ihn schneller und schlauer macht als alles, was wir bisher hatten.

Technische Zusammenfassung: Koevolutionäre kontinuierlich-diskrete Diffusion (CCDD)

1. Problemstellung

Jüngste Fortschritte bei Large Language Models (LLMs) haben Einschränkungen in Standard-Autoregressiven (AR) Architekturen aufgezeigt, insbesondere im Hinblick auf komplexe Denkaufgaben wie Sudoku, Graph-Konnektivität und formale Spracherkennung. Theoretische Analysen deuten darauf hin, dass Standard-Transformer selbst mit logarithmischen Chain-of-Thought (CoT)-Schritten auf die Komplexitätsklasse $TC^0$ beschränkt sind, während geschleifte Transformer (LT) und kontinuierliche Denkmethoden theoretisch $TC^1$ oder höher erreichen können.

Es besteht jedoch eine signifikante Lücke zwischen theoretischer Ausdruckskraft und empirischer Leistung:

Geschleifte Transformer (LT): Obwohl sie theoretisch ausdrucksstärker sind, leiden sie unter schlechter Trainierbarkeit aufgrund fehlender intermediärer Supervision, was zu Out-of-Distribution (OOD)-Problemen während der Inferenz führt, wenn die Schleifentiefe von der Trainingsphase abweicht.
Kontinuierliche Diffusionsmodelle (CDMs): Diese Modelle übertreffen diskrete Gegenstücke theoretisch in der Ausdruckskraft, indem sie in kontinuierlichen latenten Räumen operieren und geschleifte Transformer generalisieren. Empirisch schneiden sie jedoch schlechter ab als diskrete Diffusionsmodelle (DDMs) und AR-Modelle. Die Autoren führen dies auf praktische Trainierbarkeits-Herausforderungen zurück: große Entscheidungsräume, geringwertige Embeddings und die kombinatorische Komplexität der Dekodierung kontinuierlicher Repräsentationen zurück in diskrete Tokens.
Diskrete Diffusionsmodelle (DDMs): Obwohl sie hochgradig trainierbar und effektiv sind, operieren sie in expliziten Token-Räumen und verlieren möglicherweise Informationen während des Quantisierungsprozesses „Logits $\to$ Sample $\to$ Embed" in jedem Schritt.

Das Kernproblem ist das Ausdruckskraft-Trainierbarkeits-Dilemma: Modelle mit hoher theoretischer Ausdruckskraft (CDMs, LTs) sind schwer zu trainieren, während hoch trainierbare Modelle (DDMs, AR) möglicherweise die notwendigen latenten Denkfähigkeiten für komplexe Aufgaben fehlen.

2. Methodik: Koevolutionäre kontinuierlich-diskrete Diffusion (CCDD)

Die Arbeit schlägt Koevolutionäre kontinuierlich-diskrete Diffusion (CCDD) vor, ein neuartiges Paradigma für Sprachmodellierung, das kontinuierliche und diskrete Diffusionsprozesse innerhalb eines einzigen Rahmens vereint.

2.1 Gemeinsamer Diffusionsprozess

CCDD definiert einen gemeinsamen Diffusionsprozess auf der Vereinigung eines diskreten Tokenraums ( $X = \Omega^L$ ) und eines kontinuierlichen Repräsentationsraums ( $Z = \mathbb{R}^{L \times d}$ ).

Vorwärtsprozess: Der Korruptionsprozess ist faktorisiert, wird jedoch gleichzeitig auf beide Modalitäten angewendet.
- Diskrete Komponente: Entwickelt sich über eine Markov-Kette in kontinuierlicher Zeit (CTMC), typischerweise unter Verwendung von maskiertem Rauschen (absorbierender Zustand) oder uniformem Rauschen.
- Kontinuierliche Komponente: Entwickelt sich über eine Stochastische Differentialgleichung (SDE) oder eine Probability Flow ODE (PF-ODE) in einem kontextualisierten Embedding-Raum (z. B. abgeleitet von vortrainierten Modellen wie Qwen3-Embedding).
- Der gemeinsame Vorwärtskern ist das Produkt der einzelnen Kerne: $q_t(x_t, z_t | x_0, z_0) = q_t^{disc}(x_t | x_0) q_t^{cont}(z_t | z_0)$ .
Rückwärtsprozess: Ein einzelnes zeitkonditioniertes Netzwerk $f_\theta(\cdot, t)$ nimmt das verrauschte Paar $(x_t, z_t)$ als Eingabe und gibt modalspezifische Köpfe aus.
- Die Rückwärtsaktualisierung ist faktorisiert: $p_\theta(x_s, z_s | x_t, z_t) = p_\theta^{disc}(x_s | x_t, z_t) p_\theta^{cont}(z_s | x_t, z_t)$ .
- Entscheidend ist, dass die Aktualisierungsregeln zwar faktorisiert sind, die Schätzung für jede Modalität jedoch auf beiden Zuständen konditioniert. Der diskrete Decoder sieht das kontinuierliche Latent $z_t$ , und der kontinuierliche Decoder sieht die diskreten Tokens $x_t$ . Dies ermöglicht es der kontinuierlichen Komponente, der diskreten Komponente reiche semantische Führung (implizites Denken) zu bieten, während die diskrete Komponente der kontinuierlichen Komponente explizite Struktur liefert.

2.2 Trainingsziel

Der Trainingsverlust ist eine gewichtete Summe aus kontinuierlichem und diskretem Verlust:
$\mathcal{L}_{CCDD} = \gamma_{cont} \cdot \mathcal{L}_{cont} + \gamma_{disc} \cdot \mathcal{L}_{disc}$

$\mathcal{L}_{cont}$ : Standard-MSE-Verlust zur Vorhersage von Rauschen oder der ursprünglichen kontinuierlichen Repräsentation (z. B. $\epsilon$ -Vorhersage).
$\mathcal{L}_{disc}$ : Kreuzentropieverlust zur Vorhersage der ursprünglichen diskreten Tokens (typischerweise auf maskierten Positionen).

2.3 Architekturentwürfe

Die Arbeit stellt mehrere Architekturen für das gemeinsame Entrauschungsnetzwerk basierend auf Diffusion Transformers (DiT) vor:

MDiT (Multimodal DiT): Mischt kontinuierliche und diskrete Embeddings vor den Transformer-Blöcken. Im Vergleich zu rein diskreten Baselines werden nur vernachlässigbare Parameter und FLOPs hinzugefügt.
MMDiT: Verwendet versetzte Cross-Attention- und Self-Attention-Blöcke für multimodale Interaktion, wodurch sich Parameter und FLOPs verdoppeln.
MoEDiT (Mixture of Experts DiT): Behält separate MLPs für diskrete und kontinuierliche Tokens innerhalb eines gemeinsamen Attention-Mechanismus bei und nutzt MoE-Routing, um Tokens dynamisch basierend auf ihrem Zustand zu verarbeiten. Dies balanciert Parameter-Effizienz mit Ausdruckskraft.

2.4 Inferenztechniken

Classifier-Free Guidance (CFG): Die kontinuierlichen Repräsentationen fungieren als selbstgenerierte Führung für die Generierung diskreter Tokens. Das Modell wird mit einer Wahrscheinlichkeit $p_{drop}$ trainiert, bei der kontinuierliche Embeddings auf Null gesetzt werden (unbedingt), was eine CFG-Skalierung während des Samplings zur Qualitätsverbesserung ermöglicht.
Flexibles Sampling: CCDD unterstützt sowohl deterministisches Sampling mit wenigen Schritten (via ODE) für Effizienz als auch stochastisches Sampling mit mehreren Schritten (via SDE) für hochwertige Generierung.

3. Hauptbeiträge

3.1 Theoretische Analyse

Ausdruckskraft-Hierarchie: Die Autoren beweisen, dass Kontinuierliche Diffusionsmodelle (CDMs) diskrete Diffusionsmodelle (DDMs) in Bezug auf die Trajektorien-Ebene der Ausdruckskraft strikt dominieren. CDMs erzeugen absolut kontinuierliche Marginalverteilungen, während DDMs auf endliche atomare Träger beschränkt sind, was zu Informationsverlust bei jedem diskreten Sampling-Schritt führt.
Generalisierung geschleifter Transformer: Die Arbeit zeigt, dass ein kontinuierlicher Diffusions-Sampler jede Rollout-Phase eines geschleiften Transformers mit derselben Architektur und Parameteranzahl simulieren kann. Umgekehrt können deterministische geschleifte Transformer nicht-degenerierte stochastische Pfade, die durch kontinuierliche Diffusion erzeugt werden, nicht simulieren.
Trainierbarkeits-Analyse: Die Arbeit führt das empirische Versagen von CDMs auf das Fehlen intermediärer Supervision bei LTs sowie auf Dekodierungskomplexität und Repräsentationsdefizite bei CDMs zurück. CCDD wird als Lösung vorgeschlagen, die die Ausdruckskraft von CDMs beibehält und gleichzeitig die Trainierbarkeit von DDMs durch explizite Token-Supervision gewinnt.

3.2 Empirische Ergebnisse

Sprachmodellierung: Auf den Datensätzen LM1B und OpenWebText (OWT) übertrifft CCDD diskrete Baselines (MDLM, SEDD) und autoregressive Modelle signifikant.
- Auf LM1B reduzierte CCDD-MDiT die Validierungs-Perplexität um >25% im Vergleich zu einer diskreten Baseline mit denselben Parametern (92,1M).
- Auf OWT reduzierte CCDD die Perplexität um >35% im Vergleich zu diskreten Baselines.
- CCDD erreichte diese Ergebnisse mit 25-fach schnellerer Trainingskonvergenz (40k Iterationen vs. 1000k für die Baseline).
Generierung mit wenigen Schritten: CCDD zeigt überlegene Fähigkeiten zur Generierung mit wenigen Schritten. Ein Modell mit nur 8 Entrauschungsschritten übertraf eine diskrete Baseline (MDLM) mit 256 Schritten, was eine 16-fache Beschleunigung der Generierungsgeschwindigkeit ohne Qualitätsverlust demonstriert.
Komplexes Denken: Bei Aufgaben, die starkes Planen und Zurückverfolgen erfordern (Sudoku, 3-SAT, Countdown), übertraf CCDD alle bisherigen Methoden, einschließlich autoregressiver Modelle, maskierter diskreter Diffusion und geschleifter Transformer. Beispielsweise erreichte CCDD bei Sudoku mit nur 2 Schritten eine Genauigkeit von 100% und entsprach damit den besten Ergebnissen geschleifter Transformer.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CCDD erfolgreich die Lücke zwischen theoretischer Ausdruckskraft und praktischer Trainierbarkeit in der Sprachmodellierung schließt. Durch die Definition eines gemeinsamen Diffusionsprozesses nutzt CCDD die starke Ausdruckskraft kontinuierlicher latenter Räume (ermöglicht implizites Denken, Planung und globale Kontextbeibehaltung) und verwendet gleichzeitig diskrete Tokens, um Trainierbarkeit und Dekodierungsstabilität zu gewährleisten.

Die Autoren betonen, dass CCDD nicht bloß eine Hybridisierung, sondern eine prinzipielle Vereinigung ist, die:

Bestehende Paradigmen (CDM, DDM, LT) in einem einzigen Rahmen generalisiert.
Die Fähigkeit zur „latenten Denkweise" im kontinuierlichen Raum beibehält, was für komplexe Aufgaben wie Sudoku und 3-SAT entscheidend ist.
Die Effizienz verbessert, indem eine flexible Skalierung zur Inferenzzeit (wenige Schritte ODE vs. mehrere Schritte SDE) ermöglicht und eine schnellere Trainingskonvergenz als geschleifte Transformer erreicht wird.
Demonstriert, dass die Kombination von Modalitäten Leistungssteigerungen erzielen kann, die die Summe ihrer Teile übertreffen, insbesondere bei nachgelagerten Benchmarks und komplexen Denkszenarien.

Die Arbeit legt nahe, dass zukünftige Paradigmen der Sprachmodellierung über rein diskrete Tokenräume hinausgehen sollten, um kontinuierliche latente Repräsentationen für das Denken zu nutzen, sofern eine explizite diskrete Supervision erhalten bleibt, um ein effektives Training sicherzustellen.