🤖 machine learning

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Dieses Paper stellt Set Diffusion vor, eine neuartige Klasse von Sprachmodellen, die flexible Token-Set-Generierung beliebiger Ordnung mit KV-Cache-Unterstützung kombiniert, um im Vergleich zu bestehenden autoregressiven und Block-Diffusions-Ansätzen eine schnellere Inferenz und überlegene Speed-Quality-Tradeoffs zu erreichen.

Ursprüngliche Autoren: Marianne Arriola, Volodymyr Kuleshov

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marianne Arriola, Volodymyr Kuleshov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Ordnungsproblem“

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben oder ein mathematisches Problem zu lösen. Sie haben zwei Hauptwege:

Der strenge Schreiber (Autoregression): Sie schreiben ein Wort nach dem anderen, strikt von links nach rechts. Sie können das Ende nicht schreiben, bevor Sie den Anfang fertiggestellt haben. Dies ist sehr hochwertig und präzise, aber langsam, da man nicht zwei Dinge gleichzeitig tun kann.
Der Chaos-Künstler (Standard Diffusion): Sie beginnen mit einer Seite voller Kauderwelsch (Rauschen) und versuchen, alles auf einmal zu korrigieren. Sie können viele Wörter gleichzeitig erraten, was schnell ist, aber es ist schwer, die Geschichte logisch zu halten. Außerdem können Sie sich nicht leicht an das erinnern, was Sie zuvor geschrieben haben, um beim nächsten Teil zu helfen, also müssen Sie die ganze Seite jedes Mal neu lesen.

Das Problem: Frühere Versuche, diese beiden Methoden zu mischen (genannt „Block Diffusion“), waren wie das Schreiben in starren Blöcken. Man konnte zwar einen Satz auf einmal schreiben statt eines Wortes, aber man musste immer noch diesen ganzen Block abschließen, bevor man weitermachen konnte. Wenn man ein Wort in der Mitte der Geschichte ändern wollte, musste man warten, bis der gesamte Block fertig war.

Die Lösung: Set Diffusion

Die Autoren führen Set Diffusion ein. Betrachten Sie dies nicht als Schreiben in einer Linie, sondern als das Ausfüllen eines Puzzles mit flexiblen Teilen.

Anstatt gezwungen zu sein, wortweise (zu langsam) oder blockweise (zu starr) zu schreiben, erlaubt Set Diffusion Ihnen, jede beliebige Gruppe von Wörtern als nächstes zu generieren, solange Sie eine bestimmte Regel befolgen.

Die „Gleitendes Fenster“-Analogie (Sliding Window)

Stellen Sie sich vor, Sie malen ein langes Wandgemälde.

Der alte Weg (Block Diffusion): Sie malen einen 1-Meter-Abschnitt, warten, bis er vollständig getrocknet ist, und bewegen sich dann zum nächsten Abschnitt. Sie können den ersten Abschnitt nicht wieder anfassen, bis der gesamte Block fertig ist.
Der neue Weg (Set Diffusion): Sie haben ein „gleitendes Fenster“ für die Farbe. Sie können die ersten 1 Meter malen, aber dann können Sie das Fenster über die Stelle schieben und den 2., 3. und 4. Meter gleichzeitig mit dem 5., 6. und 7. Meter malen. Sie können sogar zurückspringen, um eine Stelle in der Mitte des Fensters zu korrigieren, während Sie gerade am Rand malen.

Die wichtigsten Merkmale einfach erklärt

1. Flexible „Token-Sets“ (Die Puzzleteile)
In diesem Modell ist ein „Token“ einfach ein Wort oder ein Code-Teil.

Die Innovation: Das Modell errät nicht nur das nächste Wort. Es errät ein Set (eine Menge) von Worden.
Die Magie: Sie können dem Modell sagen: „Rate die nächsten 3 Wörter“ oder „Rate das Wort an Position 5 und Position 10“. Es kann Gruppen unterschiedlicher Größen und in unterschiedlicher Reihenfolge verarbeiten. Dies ermöglicht es ihm, schnell zu sein (viele Dinge gleichzeitig zu raten), aber dennoch intelligent (die Reihenfolge im Blick zu behalten).

2. Der „Gedächtnisspeicher“ (KV Caching)
In der KI ist „KV Caching“ wie ein Notizblock, auf dem das Modell den Kontext dessen aufschreibt, was es bereits generiert hat, damit es es nicht jedes Mal neu berechnen muss.

Das alte Problem: Bei Standard Diffusion musste das Modell den gesamten Text jedes Mal neu lesen, wenn es eine Vermutung anstellte. Es war, als müsste man ein ganzes Buch lesen, nur um sich an den Namen des Hauptcharakters zu erinnern.
Die neue Lösung: Set Diffusion aktualisiert seinen „Notizblock“ nach jedem einzelnen Schritt. Sob-ald es ein Set von Wörtern errät, speichert es diese im Gedächtnis. Dies macht es unglaublich schnell, ähnlich wie der strenge Schreiber, aber mit der Geschwindigkeit des Chaos-Künstlers.

3. Die „Gleitendes Fenster“-Strategie (Sliding Window Strategy)
Das Paper führt eine spezifische Methode ein, um zu entscheiden, welche Wörter als Nächstes geraten werden sollen, genannt der Sliding-Window-Ansatz.

Stellen Sie sich einen Scheinwerfer vor, der über eine Bühne wandert. Der Scheinwerfer kann einen einzelnen Schauspieler beleuchten oder drei Schauspieler gleichzeitig.
Das Modell nutzt diesen Scheinwerfer, um zu entscheiden: „Ich werde die Wörter innerhalb dieses Scheinwerfers jetzt generieren.“
Durch die Anpassung der Größe des Scheinwerfers können Sie die Balance zwischen Geschwindigkeit (großer Scheinwerfer, viele Wörter gleichzeitig raten) und Genauigkeit (kleiner Scheinwerfer, weniger Wörter raten, um vorsichtiger zu sein) steuern.

Was haben sie bewiesen?

Die Autoren testeten diese neue Methode in drei Hauptaufgaben:

Mathematisches Denken: Lösen von Textaufgaben (wie beim GSM8K-Datensatz).
Zusammenfassung (Summarization): Lange Artikel in kurze Zusammenfassungen kondensieren.
Infilling: Das Ausfüllen fehlender Teile einer Geschichte (wie bei einem „Lückentext“-Spiel).

Die Ergebnisse:

Geschwindigkeit vs. Qualität: Set Diffusion fand einen „Sweet Spot“, den vorherige Modelle verpasst hatten. Es war schneller als die starren Block-Modelle und genauer als die chaotischen Diffusionsmodelle.
Infilling: Es war signifikant besser darin, fehlende Teile einer Geschichte auszufüllen, als die vorherige „Block Diffusion“-Methode.
Flexibilität: Es kann Text jeglicher Länge und in jeder Reihenfolge generieren, was entscheidend für Aufgaben wie das Bearbeiten eines Dokuments oder das Korrigieren von Code mitten in einer Datei ist.

Zusammenfassende Metapher

Wenn Autoregression ein Staffellauf ist (ein Läufer übergibt den Stab an den nächsten, strikt in der Reihe) und Standard Diffusion ein wildes Durcheinander ist (alle laufen gleichzeitig, aber es ist chaotisch), dann ist Set Diffusion eine gut koordinierte Tanzgruppe.

Die Tänzer (Tokens) können sich in Gruppen (Sets) bewegen. Sie können sich von links nach rechts bewegen oder in Lücken springen, um diese zu füllen, aber sie wissen dank ihres gemeinsamen Gedächtnisses (KV Cache) immer genau, wer neben ihnen steht und was die vorherigen Bewegungen waren. Dies ermöglicht es ihnen, komplexe Routinen (Mathe, Geschichten) viel schneller und flexibler auszuführen als das Staffelteam, ohne das Chaos des wilden Durcheinanders.

Technisches Resümee: Set Diffusion

Problemstellung

Diskrete Diffusionsmodelle haben sich als kompetitive Alternative zu autoregressiven (AR) Sprachmodellen etabliert, da sie schnellere Generierungsgeschwindigkeiten und eine verbesserte Steuerbarkeit bieten. Bestehende Diffusionsansätze stehen jedoch vor signifikanten Einschränkungen:

Festgelegte Länge und bidirektionale Zwänge: Die meisten diskreten Diffusionsmodelle basieren auf Architekturen, die einen vollständigen bidirektionalen Kontext erfordern, was die Verwendung von Key-Value (KV)-Caching verhindert und die Generierung auf feste Längen beschränkt.
Starrheit der Block-Diffusion: Während Block-Diffusion (BD3LM) die Lücke teilweise schließt, indem sie sequentielle Blöcke fester Größe von links nach rechts generiert, leidet sie unter Inflexibilität. Sie kann weder beliebige Einfügungen an Positionen (Infilling) noch eine variable Länge innerhalb eines Blocks unterstützen, zudem werden KV-Cache-Updates erst verzögert nach der Dekodierung eines gesamten Blocks durchgeführt.
Trade-off-Limitierungen: Aktuelle Methoden interpolieren primär zwischen AR und Diffusion durch die Variation einer festen Blockgröße, was die Flexibilität beim Dekodieren und die Parallelität einschränkt.

Die zentrale Herausforderung besteht darin, ein Sprachmodell zu entwickeln, das zwischen Autoregression und Diffusion nicht nur durch die Blockgröße, sondern durch die Reihenfolge der generierten Token-Sets interpoliert, wodurch eine flexible Generierung der Länge, KV-Caching und eine Dekodierung in beliebiger Reihenfolge bei gleichbleibend hoher Stichprobenqualität ermöglicht wird.

Methodik

Die Autoren führen Set Diffusion ein, ein Framework, das den Generierungsprozess über flexible Positions- und Längen-Token-Sets statt über feste Blöcke faktorisiert.

1. Probabilistisches Modell

Set Diffusion definiert eine autoregressive Wahrscheinlichkeitsverteilung über eine Sequenz von Token-Sets $\sigma = (\sigma_1, \dots, \sigma_N)$ , wobei jedes $\sigma_n$ eine Teilmenge von Token-Positionen darstellt. Die Likelihood wird wie folgt faktorisiert:
$p_\theta(x) = \sum_{\sigma} \prod_{n=1}^N \pi(\sigma_n | x_{<\sigma_n}) \cdot p_\theta(x_{\sigma_n} | x_{<\sigma_n})$
Hierbei ist $\pi$ eine Ordnungspolitik (Order Policy), die die nächste Menge an Positionen auswählt, und $p_\theta$ modelliert die bedingte Likelihood der Tokens in dieser Menge mittels Diffusion. Das Modell optimiert eine Negative Evidence Lower Bound (NELBO), die die Diffusionsverluste über diese Mengen summiert.

2. Set-causale Architektur und KV-Caching

Eine zentrale architektonische Innovation ist der set-causale Transformer. Im Gegensatz zu Standard-bidirektionalen Diffusionsmodellen unterstützt diese Architektur das KV-Caching nach jedem Inferenzschritt.

Mechanismus: Wenn ein Token-Set $x_{\sigma_n}$ generiert wird, werden dessen Key- und Value-Vektoren gecacht und zur Konditionierung nachfolgender Vorhersagen wiederverwendet.
Effizienz im Training: Die Autoren schlagen einen vektorisierten Trainingsalgorithmus vor, der sauberen Kontext und verrauschte Abfragen gleichzeitig in einem einzigen Vorwärtsdurchlauf unter Verwendung einer spezialisierten Attention-Mask verarbeitet. Diese Maske stellt sicher, dass verrauschte Tokens in einer Menge nur auf andere verrauschte Tokens in derselben Menge sowie auf alle sauberen Tokens in vorangegangenen Mengen aufmerksam sind.

3. Interpolation von Token-Reihenfolgen

Um den Trade-off zwischen Stichprobenqualität (Engheit der Schranke) und Effizienz der Inferenz (Parallelität) zu steuern, führen die Autoren positionsabhängige Reveal-Time-Schedules ein.

Position-Offset-Schedules: Jeder Token-Position $\ell$ wird eine zufällige Reveal-Zeit $R_\ell$ zugewiesen, die aus einer Verteilung gezogen wird, welche durch eine kumulative Verteilungsfunktion (CDF) $\alpha^\ell_\tau$ definiert ist.
Sliding-Window-Instanziierung (SW-SetDLM): Die Autoren schlagen eine spezifische Instanziierung vor, bei der Tokens ein aktives Generierungsintervall $[a_\ell, a_\ell + w]$ $[a_{ℓ}, a_{ℓ} + w]$ besitzen. Die Fenstergröße $w$ $w$ steuert die „Links-nach-Rechts“-Tendenz:
- Ein kleines $w$ (nahe $1/L$ ) konzentriert die Ordnung auf die Links-nach-Rechts-Generierung, wodurch das AR-Verhalten wiederhergestellt und die ELBO gestrafft wird.
- Ein großes $w$ (nahe 1) ermöglicht eine ordnungsunabhängige Generierung, wodurch die Standard-Masked-Diffusion wiederhergestellt wird.
- Intermediäre Werte ermöglichen das Sliding-Window-Dekodieren, was es dem Modell erlaubt, flexible Längen von Token-Sets an beliebigen Positionen vorherzusagen, was Aufgaben wie Infilling unterstützt.

4. Inferenz

Während der Inferenz werden Kandidatenpositionen basierend auf der aktuellen Ordnungszeit und dem Position-Offset-Schedule gesampelt. Diese Positionen werden dann parallel mittels des KV-Caches gedenoised. Akzeptierte Tokens werden festgeschrieben (committed) und der Cache wird sofort aktualisiert, was eine variable Längen-Generierung und effizientes Dekodieren ermöglicht.

Zentrale Beiträge

Set Diffusion Framework: Eine neue Klasse von Sprachmodellen, die die Generierung über flexible Positions- und Längen-Token-Sets faktorisiert und damit Autoregression, ordnungsunabhängige Diffusion und Block-Diffusion generalisiert.
Set-causale Architektur: Eine Transformer-Architektur, die KV-Cache-Updates nach jedem Inferenzschritt unterstützt und so eine effiziente Generierung variabler Länge ermöglicht.
Ordnations-Interpolation: Eine fundierte Methode zur Interpolation zwischen AR und Diffusion durch die Abstimmung von positionsabhängigen Ordnungs-Schedules (speziell Sliding-Window-Schedules) anstatt fester Blockgrößen.
State-of-the-Art Performance: Der Nachweis, dass Set Diffusion über verschiedene Benchmarks hinweg (mathematische Argumentation, Zusammenfassung und unbedingte Generierung) einen überlegenen Speed-Quality-Trade-off gegenüber bisherigen Diffusionsmodellen bietet und Block-Diffusion bei Infilling-Aufgaben deutlich übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten Set Diffusion (speziell SW-SetDLM) auf mehreren Benchmarks:

Mathematische Argumentation (GSM8K): Set Diffusion erreicht eine strikt bessere Speed-Accuracy-Pareto-Front als Block-Diffusion. Beispielsweiseweise erreicht es mit einer Dekodier-Fenstergröße von $S \le 8$ eine Pass@1-Genauigkeit von 66,41 % bei einem Durchsatz von $\ge 60,42$ Tokens/Sekunde und übertrifft damit Block-Diffusion ( $S=8$ ), welche 63,53 % Genauigkeit bei $\ge 55,39$ Tokens/Sekunde erreicht.
Infilling (ROCStories): Set Diffusion übertrifft Block-Diffusion bei Infilling-Aufgaben (Ausfüllen von 1 oder 3 mittleren Sätzen) deutlich und erzielt höhere ROUGE-Scores bei einer bis zu ~25 % schnelleren Dekodierung. Block-Diffusion hat hier aufgrund ihrer starren Links-nach-Rechts-Blockstruktur Schwierigkeiten.
Zusammenfassung (CNN/DailyMail): Set Diffusion erzielt konkurrenzfähige ROUGE-Scores im Vergleich zu Diffusions-Baselines und eine bis zu 10 % schnellere Dekodierung als Block-Diffusion. Es übertrifft zudem eine AR-Baseline, die laut den Autoren auf diesem Datensatz zur Überanpassung neigt.
Unbedingte Generierung & Likelihood: Auf OpenWebText und LM1B verbessert Set Diffusion die MAUVE-Scores gegenüber Block-Diffusion bei gleichzeitig schnellerer Dekodierung. Auf LM1B erreicht es die beste Perplexität unter den Diffusionsmodellen (27,83 PPL für $S \le 8$ ) bei gleichzeitig höherem Durchsatz als bisherige Diffusionsmodelle.

Bedeutung und Ansprüche

Das Paper behauptet, dass Set Diffusion eine signifikante Weiterentwicklung darstellt, indem es die Interpolation zwischen Autoregression und Diffusion von starren Blockstrukturen entkoppelt. Durch die Interpolation via Token-Reihenfolge bietet das Framework:

Größere Flexibilität: Unterstützung für Einfügungen an beliebigen Positionen und Generierung variabler Länge, was entscheidend für Aufgaben wie Infilling ist.
Effizienz: Die Fähigkeit, KV-Caches nach jedem Schritt zu aktualisieren – ein Feature, das bisherigen Diffusionsmodellen fehlte, was zu einer schnelleren Inferenz führt.
Leistung: Ein überlegener Trade-off zwischen Stichprobenqualität und Inferenzgeschwindigkeit im Vergleich zu bestehenden Diffusions-Sprachmodellen.

Die Autoren positionieren Set Diffusion als ein vereinendes Framework, das AR, ordnungsunabhängige Diffusion und Block-Diffusion als Spezialfälle wiederherstellt und einen abstimmbaren Mechanismus bietet, um Parallelität und Stichprobenqualität basierend auf den spezifischen Anforderungen der Inferenzaufgabe auszubalancieren.