🤖 machine learning

Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

Durch die Instrumentierung von DiffusionGemma 26B offenbart diese Studie, dass dessen Token-Commitment-Prozess weder rein parallel noch strikt sequenziell ist, sondern vielmehr eine regimeabhängige, partielle Links-nach-Rechts-Bias darstellt, die große simultane Batches bildet, was zeigt, dass die wahrgenommene Dekodierungsreihenfolge oft ein Artefakt der Messgranularität und kein festes architektonisches Merkmal ist.

Ursprüngliche Autoren: Ali Asaria, Tony Salomone, Deep Gandhi

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Asaria, Tony Salomone, Deep Gandhi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges, chaotisches Kunststudio vor, in dem ein Roboter versucht, ein Bild zu malen (oder eine Geschichte zu schreiben) auf einer großen Leinwand.

Auf die alte Art und Weise (genannt „autoregressives“ Modell) malt der Roboter streng von links nach rechts, wie man ein Buch liest. Er beendet ein Wort, dann das nächste, eins nach dem anderen.

In der neuen „Diffusion“-Art betrachtet der Roboter eine Leinwand voller leerer, maskierter Quadrate. Er soll das ganze Bild gleichzeitig betrachten und viele Quadrate simultan ausfüllen. Die große Frage, die Forscher stellten, war: Malte dieser neue Roboter tatsächlich das ganze Bild auf einmal, oder schleicht er sich heimlich wieder nach links zurück und malt doch Wort für Wort?

Die Autoren dieser Arbeit beschlossen, eine winzige Kamera in das Gehirn des Roboters einzubauen, um genau zu beobachten, wie er malt. Sie untersuchten ein spezifisches Modell namens DiffusionGemma.

Hier ist, was sie herausfanden, einfach erklärt:

1. Es ist nicht „auf einmal“, aber auch nicht „eins nach dem anderen“

Der Roboter malt nicht das ganze Bild in einem einzigen magischen Blitz, und er malt auch nicht strikt von links nach rechts wie ein Mensch, der ein Buch liest.

Stattdessen malt er in großen, chaotischen Chargen.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einen Stapel von 20 Aufsätzen korrigiert. Ein strikter Links-rechts-Roboter würde Aufsatz 1 korrigieren, dann Aufsatz 2, dann Aufsatz 3.
Was DiffusionGemma macht: Es schnappt sich eine Handvoll Aufsätze (sagen wir 15 davon), korrigiert sie alle gleichzeitig, legt sie ab, schnappt sich die nächste Handvoll und korrigiert diese.
Das Ergebnis: Innerhalb dieser Handvoll ist es dem Roboter egal, welchen Aufsatz er zuerst korrigiert hat. Es ist eine „Charge“ von Arbeit. Da er diese großen Chargen bearbeitet, wirkt die Reihenfolge ein wenig chaotisch, aber es gibt dennoch eine leichte Tendenz, im Zuge dieser Chargen von links nach rechts zu wandern.

2. Der „16-Block“-Mythos

Früher dachten die Leute, der Roboter arbeite in perfekten Blöcken von 16 Wörtern (wie ein Zug mit 16 Waggons).

Die Erkenntnis: Die Forscher testeten dies, indem sie die Arbeit des Roboters in Gruppen von 4, 8, 16, 32 und 64 Wörtern betrachteten.
Die Wahrheit: Der Roboter sprang nicht plötzlich in ein perfektes Muster von 16 ein. Das Muster wurde einfach nur glatter und mehr „von links nach rechts“, wenn die Gruppen größer wurden. Die Zahl 16 war keine spezielle Regel für den Roboter; es war nur eine Zahl, die die Forscher zur Betrachtung der Daten ausgewählt hatten. Der Roboter ist flüssiger als das.

3. Die „JSON“-Ausnahme

Der Roboter verhält sich anders, je nachdem, wozu er aufgefordert wird.

Für Geschichten, Code und Mathe: Er folgt diesem „chaotischen Chargen“-Links-rechts-Muster.
Für strukturierte Daten (wie JSON): Er verhält sich fast wie ein zufälliges Streumuster. Wenn Sie ihn bitten, ein Formular mit spezifischen Schlüsseln (Keys) und Werten (Values) auszufüllen, ist ihm die Reihenfolge völlig egal. Er füllt sie dort ein, wo es ihm gerade passt, ohne eine Links-rechts-Tendenz.

4. Der „Konfidenz“-Check

Der Roboter hat einen „Konfidenz-Meter“ (er misst, wie sicher er sich bei einem Wort ist, bevor er es festlegt).

Bei Matheaufgaben: Wenn der Roboter sehr selbstbewusst ist (niedrige Entropie), liegt er meistens richtig. Wenn er unsicher ist, ist die Wahrscheinlichkeit höher, dass er falsch liegt. Der Konfidenz-Meter funktioniert hier gut.
Bei Faktenfragen: Der Konfidenz-Meter ist nutzlos. Der Roboter kann super selbstbewusst sein und trotzdem die Tatsache falsch angeben. Es ist wie ein Schüler, der zu 100 % sicher ist, dass die Hauptstadt von Frankreich „London“ ist, weil er sich sicher ist, nicht weil er recht hat.

5. Die Überraschung beim „Frühzeitigen Abschluss“

Dem Roboter wurde ein Budget von bis zu 48 „Schritten“ (Denkrunden) gegeben, um eine Aufgabe zu erledigen.

Die Realität: Er nutzt das volle Budget fast nie. Er schließt die Aufgabe meist in einem winzigen Schub von nur 3 bis 17 Schritten ab. Er legt seine Antworten sehr schnell fest, oft wenn er bereits extrem selbstbewusst ist, lange bevor seine Zeit abläuft.

6. Ist er so gut wie der alte Roboter?

Als die Forscher diesen neuen Diffusions-Roboter mit dem alten „Links-rechts“-Roboter (Gemma-4) verglichen, fanden sie, dass beide gleich gut darin sind, die richtigen Antworten bei Mathe-, Fakten- und JSON-Aufgaben zu erhalten. Der neue Roboter kommt nur auf einem etwas chaotischeren Weg ans Ziel.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass DiffusionGemma weder rein parallel noch rein sequenziell ist. Es ist ein Hybrid:

Es arbeitet in großen, simultanen Chargen.
Es hat eine schwache Tendenz, sich von links nach rechts zu bewegen, aber nur, wenn man es aus der Distanz betrachtet.
Es schließt früh ab und hört auf zu denken, sobald es sich sicher fühlt.
Seine „Konfidenz“ ist ein guter Prädiktor für den Erfolg bei Mathe, aber ein schlechter Prädiktor für Fakten.

Die Autoren betonen, dass wir aufhören müssen anzunehmen, dass diese Modelle wie perfekte Blöcke oder perfekte Linien funktionieren. Sie sind eher wie eine Gruppe von Malern, die in Teams arbeiten, sich manchmal überschneiden, manchmal früher fertig sind und manchmal die Reihenfolge völlig ignorieren, je nach Aufgabe.

Technisches Resümee: Weder parallel noch sequenziell

Problemstellung
Offene Diffusions-Sprachmodelle (DLMs) werden theoretisch als parallele, nicht-autoregressive Decoder charakterisiert, die Token iterativ durch das Entrauschen einer maskierten Leinwand (Canvas) festlegen. Die tatsächliche Reihenfolge, in der ein eingesetztes Checkpoint-Modell Tokens finalisiert, wird jedoch selten empirisch gemessen. Es bleibt unklar, ob diese Modelle eine strikte Parallelität, eine saubere Block-Autoregression oder ein hybrides Verhalten aufweisen. Diese Mehrdeutigkeit verschleiert die wahren Latenzvorteile und die Dekodierungsdynamik dieses Paradigmas.

Methodik
Die Autoren führten eine Interpretabilitätsstudie zur reinen Inferenz des öffentlichen Checkpoints google/diffusiongemma-26B-A4B-it durch, einem 25,2 Mrd. Parameter umfassenden (3,8 Mrd. aktive) Masked Discrete-Diffusion Mixture-of-Experts-Modell, das auf Gemma 4 basiert.

Instrumentierung: Die Studie instrumentierte die Methode EntropyBoundSampler.accept_canvas des Modells innerhalb der Hugble Face transformers-Bibliothek. Dies ermöglichte es den Autoren, für jede Generierung exakt aufzuzeichnen, welche Canvas-Positionen bei jedem accept-Aufruf festgelegt wurden, sowie die Entropie der festlegenden Logits pro Position zu erfassen.
Experimentelles Design: Die Evaluierung nutzte eine Probe-Suite von 686 Prompts über sechs Regime hinweg: Math (GSM8K), Code Completion (HumanEval), Code Synthesis (MBPP), Factual Recall, Open-ended Instructions und Constrained JSON.
Verstärkungslauf (Strengthening Run): Um die Robustheit zu gewährleisten, führten die Autoren einen „Strengthening Run“ mit 5 zufälligen Seeds und 20 Prompts pro Regime durch (100 Spuren pro Regime, insgesamt 600 Generationen).
Metriken:
- Ordnung: Die primäre Metrik war die tie-bewusste Kendall-Rangkorrelation ( $\tau_b$ ) zwischen dem Index des Token-Commit-Aufrufs und seiner Position von links nach rechts.
- Granularität: Ein Block- $\tau_b$ -Sweep wurde über Bin-Größen $B \in \{4, 8, 16, 32, 64\}$ durchgeführt, um privilegierte architektonische Blöcke zu testen.
- Konfidenz-Korrektheit: Die Vorhersagekraft der Commit-Konfidenz (negative Entropie) auf die Korrektheit wurde mittels AUROC und Reliabilitätskurven gemessen, strikt innerhalb der Regime, um das Simpson-Paradoxon zu vermeiden.
- Kontrollen: Ein synthetischer block-sequenzieller Kontrollfall (Commit-Zeit = Position // 16) wurde verwendet, um die erwartete $\tau_b$ eines sauberen block-autoregressiven Prozesses zu begrenzen.

Wesentliche Erkenntnisse

Partielle, granularitätsabhängige Links-rechts-Tendenz:
DiffusionGemma weist keine saubere Block-Autoregression auf. Stattdessen zeigt es eine partielle Links-rechts-Tendenz, die auf Token-Ebene moderat ist und mit zunehmender Analyse-Bin-Größe glatt in Richtung eines sequenziellen Verhaltens ansteigt.
- Token-Ebene $\tau_b$ : Liegt zwischen 0,43 (Code) und 0,60 (Code Synthesis), was signifikant unter dem +1 einer strikten Autoregression und weit unter dem 0,94–0,96 eines block-sequenziellen Kontrollfalls liegt.
- Bin-Größen-Sensitivität: Die Block- $\tau_b$ steigt monoton mit der Bin-Größe (z. B. für Math: 0,59 bei $B=4$ bis 0,91 bei $B=64$ ). Entscheidend ist, dass es keinen Sprung bei $B=16$ gibt, was darauf hindeutet, dass 16 eine vom Analysten gewählte Bin-Größe ist und kein privilegierter architektonischer Block.
- Sub-Block-Unordnung: Die Lücke zwischen der realen Token-Reihenfolge und dem block-sequenziellen Kontrollfall bestätigt echte Unordnung innerhalb der Blöcke.
Große Commit-Batches und ungelöste Ordnung:
Die Festlegung erfolgt in großen Batches. Im Durchschnitt werden 13–26 Inhalts-Tokens pro accept-Aufruf festgelegt. Ein signifikanter Anteil von Token-Paaren (bis zu 0,72 in JSON) wird im selben Aufruf festgelegt, was bedeutet, dass ihre relative Reihenfolge ungelöst bleibt. Die gemessene $\tau_b$ spiegelt eine Tendenz auf Ebene der accept-Aufrufe wider, statt einer strikten Ordnung innerhalb eines Schrittes.
Regime-Abhängigkeit:
- Strukturiertes JSON: Das beschränkte JSON-Regime ist annähernd ordnungsunabhängig ( $\tau_b \approx -0,044$ ), im Gegensatz zu der moderaten positiven Tendenz der Prosa-, Code- und Math-Regime.
- Konfidenz-Korrektheit-Diskriminierung: Die Commit-Konfidenz sagt die Korrektheit bei Math voraus (GSM8K AUROC 0,749, Konfidenzintervall schließt Zufall aus), ist jedoch bei Factual Recall null (AUROC 0,471, KI enthält 0,5). Das Zusammenführen dieser Regime erzeugt ein Simpson-Paradoxon-Artefakt, das den Trend umkehrt.
Aggressives Early Stopping:
Trotz eines Denoising-Budgets von 48 Schritten enden die Generationen in einer kleinen Anzahl von accept-Aufrufen (3,3–17,1 Aufrufe). Die Entropie beim Commit liegt weit unter dem 0,1-Grenzwert (0,002–0,012 Nats), was bedeutet, dass das Modell Inhalte weit vor Erschöpfung seines Schritt-Budgets festlegt.
Genauigkeit:
In den bewertbaren Regimen (Math, Factual, JSON) ist die Genauigkeit von DiffusionGemma vergleichbar mit der seines passenden autoregressiven Geschwisters, Gemma-4 26B-A4B, obwohl die Studie nicht für einen Äquivalenztest ausgelegt war.

Bedeutung und Beiträge
Das Paper beansprucht, das Verständnis der Diffusions-Dekodierung von „geheimnisartiger Links-rechts-Steuerung“ oder „strukturierter Out-of-Order-Steuerung“ hin zu einer differenzierteren Realität zu revidieren: einer partiellen, granularitätsabhängigen Links-rechts-Tendenz, die regime-spezifisch ist und durch große, ungelöste Commit-Batches charakterisiert wird.

Methodisch trägt das Paper zu einem Framework zur Messung der Dekodierungsreihenfolge bei, das spezifische Fallstricke adressiert:

EOS-Padding-Artefakte: Naive Metriken werden durch die vorzeitige Festlegung von Padding-Tokens dominiert; die Beschränkung der Analyse auf Inhalts-Positionen ist essenziell.
Simpson-Paradoxon: Das Zusammenführen von Konfidenz-Korrektheit-Daten über verschiedene Regime mit unterschiedlichen Basisgenauigkeiten und Entropieskalen liefert ungültige Schlussfolgerungen.
Nicht-Monotonie des Commits: Die Studie berücksichtigt „Un-Accept“-Ereignisse (Re-Masking), indem sie die Ordnung als die Reihenfolge des ersten Akzeptanz-Ereignisses definiert, und verifiziert die Robustheit auf der streng monotonen Teilmenge.
Block-Größen-Sensitivität: Sie zeigt auf, dass wahrgenommene Blockgrößen oft Artefakte der Bin-Wahl des Analysten sind und nicht der Modellarchitektur entsprechen.

Die Autoren kommen zu dem Schluss, dass die Perspektive der Instrumentierung — die Beobachtung der tatsächlichen pro-Schritt-Festlegungen eines ausgelieferten Samplers, anstatt eine neue Strategie vorzuschlagen — ein notwendiges Werkzeug zur Prüfung des tatsächlichen Verhaltens von Diffusions-Sprachmodellen darstellt.