Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?

1. Das Problem: Der „Autoregressive-Kollaps" in Diffusion Language Models (DLMs)

Diffusion Language Models (DLMs) versprechen theoretisch eine parallele Token-Generierung, indem sie einen sequenziellen Denoising-Prozess nutzen. Im Gegensatz zu herkömmlichen autoregressiven (AR) Modellen, die Token für Token von links nach rechts generieren, sollten DLMs in der Lage sein, mehrere Token gleichzeitig zu aktualisieren. Dies würde die Inferenz-Latenz drastisch senken und die Hardware-Auslastung (Parallelität) optimieren.

In der Praxis zeigt sich jedoch ein kritisches Phänomen: Selbst bei Architekturen, die bidirektionale Kontexte und parallele Updates erlauben, konvergieren die meisten „schnellen" DLMs zu einem autoregressiven Verhalten.

• Beobachtung: Die Entmaskierungsstrategien (welche Token als nächstes freigegeben werden) folgen oft einer strikten links-nach-rechts-Logik, obwohl die Modellarchitektur dies nicht erzwingt.
• Ursache: Die Autoren identifizieren eine Diskrepanz zwischen dem Lernziel und den Trainingsdaten. Standard-Trainingsdaten (Pre-Training-Korpora wie FineWeb und lange Chain-of-Thought-Datensätze wie Open-R1-Math) sind inhärent stark sequenziell strukturiert. Das Modell lernt, dass „Schlussfolgern" eine Kette mit einer privilegierten Reihenfolge ist.
• Folge: Wenn man versucht, das Modell zu zwingen, wirklich parallel zu generieren (z. B. durch zufällige Entmaskierung), bricht die reasoning-Leistung (z. B. in Mathematik-Benchmarks) ein. Es besteht ein Zielkonflikt: Hohe Genauigkeit erfordert sequenzielle Stabilität, echte Parallelität führt zu Leistungsabfall.

2. Methodik: NAP (Non-Autoregressive Parallel DLMs)

Um dieses Problem zu lösen, schlagen die Autoren NAP vor, einen datenzentrischen Ansatz, der Supervision (Überwachung) und Decoding-Strategie neu ausrichtet.

A. Datenkuratierung (Data Curation)

Statt einzelne, lineare Chain-of-Thought (CoT)-Pfade zu verwenden, kuratiert NAP Trainingsbeispiele als multiple, unabhängige Reasoning-Trajektorien:

• Generierung: Ein starkes Lehrmodell generiert für eine Frage $P$ verschiedene, unabhängige Lösungswege (mit hoher Temperatur $\tau=1.0$), die unterschiedliche logische Ordnungen oder Methoden nutzen.
• Struktur: Diese Pfade werden in einem einzigen Trainings-Instance gruppiert. Einige Pfade können Fehler enthalten (Rauschen).
• Zusammenfassung: Ein finales „Summary"-Block fasst die korrekte Antwort basierend auf der Aggregation dieser parallelen Pfade zusammen.
• Ziel: Das Modell lernt, dass keine einzelne Token-Reihenfolge „privilegiert" ist. Es muss lernen, valide Pfade zu identifizieren und Rauschen zu filtern, um zur korrekten Antwort zu gelangen. Dies reduziert die sequenzielle Abhängigkeit (SeqDep) der Daten.

B. Parallel-Forced Decoding Strategie

Um das Modell während der Inferenz zu zwingen, die gelernte Parallelität zu nutzen, wird eine spezielle Decoding-Struktur eingeführt:

• Decoding Canvas: Die Ausgabe wird in $m$ unabhängige Reasoning-Blöcke ($R^{(1)} \dots R^{(m)}$) und einen Summary-Block unterteilt.
• Makro-Parallelität: Das Entmaskierungs-Budget wird strikt über alle $m$ Blöcke verteilt. Das Modell darf nicht einen Block vollständig fertigstellen, bevor es den nächsten beginnt. Dies verhindert das „Einfrieren" in einer sequenziellen Kette.
• Mikro-Parallelität: Innerhalb jedes Blocks werden Token basierend auf ihrer Konfidenz freigegeben (nicht strikt links-nach-rechts), was die Flexibilität des Diffusionsprozesses nutzt.

3. Schlüsselbeiträge und Analyse

Die Autoren führen eine systematische Analyse durch, um die Ursachen des AR-Verhaltens zu belegen:

1. Sequenzielle Abhängigkeit in Daten: Messung mittels SeqDep (Sequential Dependence) zeigt, dass Standard-Datensätze eine hohe Abhängigkeit aufweisen, die mit der Länge der Kette zunimmt.
2. ARness-Metrik: Die Metrik Global-ARness quantifiziert, wie stark ein Modell links-nach-rechts generiert. Selbst bei „Arbitrary Order" (AO) Decoding zeigen etablierte Modelle (LLaDA, Dream) Werte nahe 1,0 (strikt AR).
3. Trade-off: Das Erzwingen von niedriger ARness (z. B. durch Random-Decoding) führt bei Standardmodellen zu einem Kollaps der Genauigkeit.
4. Verstärkung durch CoT: Nachtraining auf langen CoT-Daten erhöht die ARness weiter, da das Modell belohnt wird, frühere Token zu stabilisieren, bevor spätere generiert werden.
5. Falsche Versprechen: Aktuelle „Fast-DLM"-Methoden beschleunigen die Inferenz oft nur, indem sie die zugrundeliegende AR-Kette effizienter machen, statt sie zu eliminieren.

4. Ergebnisse

Die Evaluation erfolgte auf Benchmarks wie GSM8K, MATH-500 und GPQA mit den Modellen LLaDA-8B und Dream-7B.

• Leistung unter Parallelität: NAP-Modelle übertreffen deutlich die Baseline-Modelle (trainiert auf standard CoT), insbesondere bei aggressiven Parallelitäts-Settings (wenige Decoding-Schritte, viele Tokens pro Schritt).
  • Beispiel: Auf GSM8K mit Dream-7B und 256 Schritten (4 Tokens/Schritt) erreicht NAP eine Genauigkeit von 60,9 %, während die Long-CoT-Baseline nur 46,5 % erreicht.
• Skalierungseffekt: Der Leistungsunterschied zwischen NAP und der Baseline wächst, je höher die Parallelität ist. Dies bestätigt, dass NAP besser an nicht-autoregressive Dynamiken angepasst ist.
• Visualisierung: Die Entmaskierungs-Dynamik von NAP zeigt parallele Bänder (mehrere Pfade gleichzeitig), während Standardmodelle eine strikte diagonale Linie (links-nach-rechts) aufweisen.
• Ablationsstudien:
  • Die Kombination aus parallelen Daten und parallelem Decoding ist notwendig. Das bloße Anwenden der Decoding-Strategie auf Standarddaten führt zu Leistungsabfall.
  • Die Anzahl der parallelen Pfade ($m$) korreliert positiv mit der Genauigkeit (Ensemble-Effekt).

5. Bedeutung und Fazit

Das Paper stellt eine fundamentale Kritik an der aktuellen Entwicklung von DLMs dar:

• Paradigmenwechsel: Es reicht nicht aus, die Inferenz-Algorithmen zu optimieren oder die Architektur zu ändern. Der Schlüssel zur echten Parallelität liegt in der Neugestaltung der Trainingsdaten und des Supervisionssignals.
• Prinzipielle Lösung: Durch die Trennung der Reasoning-Fähigkeit von einer strikten sequenziellen Ordnung ermöglicht NAP DLMs, ihre inhärente Parallelität tatsächlich auszunutzen.
• Zukunftsperspektive: Obwohl NAP derzeit ein Proof-of-Concept im Post-Training-Bereich ist (ca. 100k Samples), zeigt es den Weg für zukünftige Pre-Training-Strategien, die inhärent nicht-sequenzielle Daten nutzen, um die Latenzgrenzen autoregressiver Modelle zu durchbrechen.

Zusammenfassend beweist das Paper, dass Diffusion-Modelle nur dann ihre Versprechen einer echten Parallelität einlösen können, wenn sie explizit darauf trainiert werden, dass Schlussfolgern kein linearer Prozess sein muss.