🤖 machine learning

The Diffusion Duality, Chapter II: $Ψ$ -Samplers

Dieser Artikel stellt eine Familie von Predictor-Corrector-Samplern für diskrete Diffusion vor, die das Leistungsplateau der ancestral sampling überwinden, um die Generierungsqualität mit mehr Schritten zu verbessern, und schlägt gleichzeitig ein speichereffizientes Trainingscurriculum vor, das die Vorstellung in Frage stellt, dass Masked Diffusion die überlegene Zukunft für Sprachmodellierung darstellt.

Ursprüngliche Autoren: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, beginnen jedoch nicht mit einer leeren Seite und schreiben Wort für Wort (wie ein traditioneller Schriftsteller), sondern starten mit einer Seite voller statisches Rauschen und reinigen sie schrittweise, bis eine kohärente Geschichte entsteht. So funktionieren Diffusionsmodelle. Sie sind leistungsstarke KI-Werkzeuge zur Generierung von Bildern und Texten.

Allerdings gibt es einen Haken. Wenn diese Modelle versuchen, Text zu generieren, geraten sie oft in eine „gut genug"-Schleife. Wenn Sie sie bitten, einen langen Satz zu schreiben, beginnen sie vielleicht stark, verlieren aber im Verlauf an Qualität, oder sie bleiben in der Wiederholung derselben Muster stecken.

Diese Arbeit mit dem Titel „The Diffusion Duality, Chapter II: Ψ-Samplers" führt eine neue Reihe von Werkzeugen ein (genannt Duo++ und Ψ-Sampler), die diese Probleme beheben. Hier ist die Aufschlüsselung in einfachen Worten:

1. Das Problem: Der Fehler „Einmal und fertig"

Stellen Sie sich die traditionelle Textgenerierung (wie bei Standard-KI-Chatbots) als einen Zug vor, der auf einer Strecke vorwärts fährt. Sobald ein Zug an einem Bahnhof vorbeigefahren ist, kann er nicht zurück. Wenn die KI früh einen Fehler macht, muss sie von diesem Fehler aus weiter schreiben, was oft den gesamten Satz ruiniert.

Einige neuere Modelle (genannt Masked Diffusion Models) sind besser, da sie ein Wort „remasken" (verbergen) und es erneut versuchen können. Doch die Autoren stellten fest, dass die Modelle, auf die sie sich konzentrierten (Uniform-State Diffusion Models), noch besser darin waren, Fehler frühzeitig zu korrigieren, aber sie stießen an eine „Glasdecke". Egal wie viel Zeit Sie ihnen zum Nachdenken gaben (mehr Schritte), ihre Qualität hörte auf, sich zu verbessern. Sie waren wie ein Schüler, der hart lernt, aber nach einem bestimmten Punkt aufhört, dazuzulernen.

2. Die Lösung: „Der Redakteur und das Sicherheitsnetz" (Ψ-Sampler)

Die Autoren entwickelten eine neue Methode zur Textgenerierung namens Ψ-Sampler. Stellen Sie sich einen Schriftsteller vor, der an einem Entwurf arbeitet:

Der Prädiktor (Der Entwurf): Die KI errät, welches das nächste Wort sein sollte.
Der Korrektor (Der Redakteur): Dies ist der magische Teil. Bei den alten Methoden war ein Wort, sobald es geschrieben war, fest verriegelt. Bei dieser neuen Methode darf der „Redakteur" sagen: „Warte, dieses Wort passt nicht. Lassen Sie es uns verbergen und ein anderes versuchen", selbst wenn es bereits geschrieben wurde.

Die Arbeit nennt dies ein Prädiktor-Korrektor-System. Es ist wie ein Sicherheitsnetz, das die KI auffängt, wenn sie zu fallen beginnt. Die Autoren bewiesen, dass die KI durch das Hinzufügen dieses „Sicherheitsnetzes" (das sie Ψ-Posterior nennen) ihre Schreibweise so lange verbessern kann, wie Sie ihr Zeit zum Nachdenken geben. Im Gegensatz zu den alten Methoden, die an einer Glasdecke stießen, werden diese neuen Sampler mit jedem zusätzlichen Schritt besser und besser.

Das Ergebnis:

Für Text: Die neue Methode schreibt bessere Sätze mit weniger Verwirrung (niedrigere „Perplexität") als die bisherigen besten Methoden, insbesondere wenn ihr mehr Zeit zum Nachdenken gegeben wird.
Für Bilder: Sie erzeugt auch schärfere, klarere Bilder (bessere FID-Werte auf CIFAR-10) als zuvor.

3. Der Effizienz-Hack: Das „Smarte Menü" (Fast Curriculum)

Das Training dieser KI-Modelle gleicht normalerweise dem Versuch, ein Wörterbuch zu lesen, bei dem jedes einzelne Wort eine andere Eissorte darstellt. Sie müssen jede einzelne schmecken, um die richtige Mischung zu finden. Dies erfordert eine enorme Menge an Computerspeicher und Zeit.

Die Autoren erkannten, dass die KI während des Trainings beim „Nachdenken" normalerweise nur die obersten paar „Sorten" (Wörter) beachtet und den Rest ignoriert. Die anderen Sorten sind so unwahrscheinlich, dass sie so gut wie null sein könnten.

Daher entwickelten sie ein „Fast Curriculum" (ein Trainingsplan). Anstatt das gesamte Wörterbuch zu schmecken, nutzt die KI nun ein smartes Menü, das nur die 2 oder 3 wahrscheinlichsten Optionen betrachtet.

Die Analogie: Stellen Sie sich vor, Sie bestellen Essen. Anstatt eine Speisekarte mit 10.000 Artikeln zu lesen, schauen Sie sich nur die Top-3-Empfehlungen des Küchenchefs an. Sie erhalten dasselbe großartige Essen, sparen aber 33 % Zeit und Speicherplatz.
Das Ergebnis: Sie trainierten das Modell 25 % schneller und verwendeten 33 % weniger Speicher, ohne an Qualität im Endprodukt zu verlieren.

Zusammenfassung der Behauptungen

Die Arbeit behauptet drei Hauptpunkte:

Neue Sampling-Methode: Sie entwickelten eine allgemeine Methode (Ψ-Sampler), die es der KI ermöglicht, während der Text- und Bildgenerierung selbst zu „remasken" und eigene Fehler zu korrigieren, was zu qualitativ hochwertigeren Ergebnissen führt, die sich mit mehr Zeit weiter verbessern.
Bessere Leistung: Ihr neues Modell (Duo++) schlägt die bisherigen State-of-the-Art-Modelle bei der Textgenerierung (OpenWebText) und der Bildgenerierung (CIFAR-10).
Effizienz: Sie machten den Trainingsprozess deutlich günstiger und schneller, indem sie das „Rauschen" in den Daten ignorierten, den Speicherverbrauch um ein Drittel reduzierten und das Training um ein Viertel beschleunigten.

Kurz gesagt: Sie gaben der KI einen besseren Redakteur und einen intelligenteren Lernweg, sodass sie bessere Geschichten schreibt und bessere Bilder zeichnet, ohne dass dafür ein Supercomputer benötigt wird.

Technische Zusammenfassung: Die Diffusions-Dualität, Kapitel II: Ψ-Sampler

Problemstellung

Diskrete Diffusionsmodelle haben sich als leistungsfähige Alternative zu autoregressiven Modellen für die Generierung von Text und Bildern etabliert und bieten parallele Dekodierung sowie bidirektionalen Kontext. Unter diesen zeichnen sich Uniform-State Diffusion Models (USDMs) durch ihre Fähigkeit zur Selbstkorrektur durch mehrfaches Überarbeiten von Tokens besonders für die Generierung in wenigen Schritten und für gesteuerte Aufgaben aus. USDMs stehen jedoch zwei kritischen Einschränkungen gegenüber:

Plateau der Sampling-Qualität: Standard-Vorfahren-Sampler für USDMs verbessern die Generierungsqualität nicht, wenn die Anzahl der Sampling-Schritte (NFEs) erhöht wird, im Gegensatz zu ihrer Leistung in Regimen mit wenigen Schritten.
Ineffizientes Training: Frühere Versuche, die Likelihood-Lücke zwischen USDMs und Masked Diffusion Models (MDMs) durch Curriculum-Learning (z. B. Duo) zu verringern, sind rechenintensiv, erfordern einen hohen Speicherverbrauch und lange Trainingszeiten, da während der Trainingsphase hochdimensionale latente Vektoren materialisiert werden müssen.

Während Masked Diffusion Models (MDMs) im Allgemeinen höhere Likelihoods erreichen, leiden sie während der Inferenz unter sich aufsummierenden Fehlern, da Tokens, einmal entmaskiert, nicht erneut maskiert werden können. Neuere Arbeiten zu Predictor-Corrector (PC)-Methoden (z. B. ReMDM) haben MDMs verbessert, indem sie eine Remaskierung ermöglichen, doch ähnliche Fortschritte für USDMs wurden wenig untersucht; bestehende PC-Methoden für USDMs schneiden oft schlechter ab als Vorfahren-Sampler.

Methodik

Die Arbeit stellt Duo++ vor, ein Framework, das diese Herausforderungen durch zwei primäre Innovationen adressiert: $\Psi$ -Sampler für die Inferenz und ein skalierbares Curriculum für das Training.

1. $\Psi$ -Posteriors und $\Psi$ -Sampler

Die Autoren schlagen eine Familie nicht-markovscher Posteriors vor, die als $\Psi$ -Posteriors bezeichnet werden und frühere PC-Methoden auf beliebige Rausch-Priors (sowohl Masked als auch Uniform) verallgemeinern.

Definition: Das $\Psi$ -Posterior wird als lineare Superposition des Standard-Rückwärts-Posteriors ( $q_{s|t}$ ) und der Randverteilung des Vorwärtsprozesses ( $q_s$ ) definiert:
$\Psi_{s|t}(\cdot|x^\ell, z^\ell_t) = \kappa_t q_{s|t}(\cdot|z^\ell_t, x^\ell) + (1-\kappa_t) q_s(\cdot|x^\ell)$
wobei $\kappa_t \in [0, 1]$ ein zeitabhängiger Koeffizient ist.
Mechanismus: Diese Formulierung ermöglicht es dem Sampler, während des Generierungsprozesses Rauschen (über den $q_s$ $q_{s}$ -Term) einzubringen.
- Für MDMs ermöglicht dies eine Remaskierung: Tokens, die zuvor dekodiert wurden, können in den maskierten Zustand zurückgeführt werden, wenn der Denoiser einen Fehler macht, wodurch sich aufsummierende Fehler korrigiert werden.
- Für USDMs stellt dies sicher, dass jedes Token eine von Null verschiedene Wahrscheinlichkeit zum Sampling behält, selbst wenn der Denoiser ihm eine Wahrscheinlichkeit nahe Null zuweist, wodurch verhindert wird, dass der Sampler in lokalen Optima stecken bleibt.
Theoretische Garantie: Die $\Psi$ -Posteriors sind so konstruiert, dass sie exakt dieselben Randverteilungen wie der Standardprozess der diskreten markovschen Diffusion aufweisen. Dies gewährleistet, dass der Prozess bei ausreichender Anzahl an Stichproben zur korrekten Datenverteilung konvergiert.
Verallgemeinerung: Das Framework umfasst bestehende PC-Methoden (z. B. ReMDM, Campbell et al., Gat et al.) als Spezialfälle, bei denen spezifische Schedules für $\kappa_t$ gewählt werden.

2. Skalierbares Curriculum für schnelleres Training

Um den Rechenengpass der in Duo (Sahoo et al., 2025a) vorgeschlagenen Curriculum-Learning-Strategie zu adressieren, stellen die Autoren eine speichereffiziente Implementierung vor.

Ausnutzung von Sparsity: Das ursprüngliche Curriculum ersetzt diskrete Token-Eingaben durch Low-Temperature-Softmax-Relaxierungen von Gaußschen latenten Variablen. Für große Vokabulare ( $K > 100.000$ ) ist die Materialisierung des vollen $K$ -dimensionalen Gewichtvektors nicht durchführbar.
Top- $k$ -Approximation: Die Autoren beobachten, dass bei niedrigen Temperaturen die Softmax-Verteilung spärlich ist und ihre Masse auf nur wenige Einträge konzentriert. Sie schlagen vor, die volle lineare Kombination nur unter Verwendung der Top- $k$ -Einträge ( $k \ll K$ ) zu approximieren.
Effizientes Sampling: Anstatt den vollen Vektor zu generieren und zu sortieren, verwendet die Methode Ordnungsstatistiken, um die Top- $k$ -Werte und ihre entsprechenden Indizes direkt aus den zugrundeliegenden Gaußschen Verteilungen zu sampeln, ohne den vollen Vektor zu materialisieren.
Normalisierung: Ein Ausdruck in geschlossener Form wird hergeleitet, um den Softmax-Normalisierer ( $\tilde{Z}$ ) zu approximieren, indem die gesampelten Top- $k$ -Terme und der erwartete Beitrag der ungesampelten Terme berücksichtigt werden.
Effizienz: Dieser Ansatz reduziert den Spitzen-Speicherbedarf um 33 % und beschleunigt das Training um 25 %, bei gleichbleibender Likelihood-Leistung.

Hauptbeiträge

$\Psi$ -Posteriors: Ein einheitliches Framework für diskrete Diffusion, das nicht-markovsche Superpositions-Posteriors einführt und Predictor-Corrector-Sampling für beliebige Rausch-Priors (Masked und Uniform) ermöglicht, während die Konsistenz der Randverteilungen gewahrt bleibt.
$\Psi$ -Sampler: Eine Familie von Samplern, die frühere PC-Methoden (einschließlich ReMDM) verallgemeinert. Empirisch ermöglichen sie USDMs eine bessere Skalierung mit NFEs, schließen die Leistungslücke zu MDMs bei der Textgenerierung und übertreffen diese bei der Bildgenerierung.
Effizientes Curriculum: Eine skalierbare Trainingsstrategie, die die Sparsity von Low-Temperature-Softmax-Relaxierungen nutzt, um Speicher- und Rechenkosten erheblich zu senken, ohne die Modellqualität zu beeinträchtigen.

Experimentelle Ergebnisse

Sprachmodellierung (OpenWebText)

Leistung: $\Psi$ -Sampler verbessern die Generative Perplexity (Gen. PPL) für USDMs im Vergleich zum Vorfahren-Sampling erheblich.
Skalierung: Im Gegensatz zum Vorfahren-Sampling, das mit steigender Anzahl an NFEs ein Plateau erreicht, verbessern sich $\Psi$ -Sampler mit mehr Schritten weiter. Bei abgestimmter Unigram-Entropie (Diversität) erreicht Duo++ mit $\Psi$ -Samplern eine niedrigere Gen. PPL als MDLM mit ReMDM.
Downstream-Aufgaben: Duo++ erreicht auf Multiple-Choice-Fragebeantwortungsaufgaben (z. B. ARC, HellaSwag) die gleiche Leistung wie das ursprüngliche Duo-Modell, verwendet dabei jedoch 25 % weniger FLOPs.

Bildmodellierung (CIFAR-10)

Qualität: Auf CIFAR-10 erreicht Duo++ mit $\Psi$ -Samplern eine überlegene FID und Inception Score (IS) im Vergleich sowohl zum Vorfahren-Sampling als auch zu ReMDM.
Skalierung: Die Verbesserung der Bildqualität ist über verschiedene Anzahlen von Sampling-Schritten hinweg konsistent, wobei Duo++ MDLM-Varianten übertrifft.

Trainingseffizienz

Speicher & Geschwindigkeit: Das vorgeschlagene effiziente Curriculum reduziert den Spitzen-Speicherbedarf um 33 % und die gesamte Trainingszeit um 25 % im Vergleich zum ursprünglichen Duo-Curriculum.
Likelihood: Die mit dem effizienten Curriculum trainierten Modelle erreichen auf LM1B und OpenWebText eine vergleichbare Perplexität wie die ursprünglichen Duo-Modelle.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die Annahme, Masked Diffusion sei die unvermeidliche Zukunft der diffusionsbasierten Sprachmodellierung, fragwürdig ist. Durch die Einführung von $\Psi$ -Samplern demonstrieren die Autoren, dass Uniform-State Diffusion Models Folgendes erreichen können:

Überlegene Skalierung: Eine Leistung, die mit zunehmender Anzahl an Sampling-Schritten weiter verbessert wird, im Gegensatz zu Vorfahren-Samplern.
Wettbewerbsfähige oder überlegene Qualität: Eine Übereinstimmung oder Übertreffung von MDMs bei der Textgenerierung (in Kombination mit PC-Sampling) und eine Überlegenheit bei der Bildgenerierung.
Praktische Effizienz: Eine Trainingspipeline, die erheblich speicher- und zeiteffizienter ist als frühere Curriculum-Learning-Ansätze.

Die Arbeit legt nahe, dass die „Dualität" zwischen Gaußscher und diskreter Diffusion, kombiniert mit nicht-markovschen Sampling-Strategien, einen robusten und skalierbaren Weg für die diskrete generative Modellierung bietet und die Dominanz maskierter Ansätze herausfordert.