🤖 machine learning

BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers

Dieses Paper stellt BlockGen vor, ein flexibles blockweises Sequenzmodellierungs-Framework, das maskierte und Uniform-State-Diffusion mit einem AR-informierten Predictor-Corrector-Sampling kombiniert, um zu zeigen, dass die Uniform-Diffusion zwar bei der schrittweisen Block-für-Block-Generierung mit wenigen Schritten eine maskierte Diffusion übertrifft, sich die Leistungslücke jedoch mit zunehmender Anzahl an Sampling-Schritten und spezifischen Blockgrößen verringert oder umkehrt.

Ursprüngliche Autoren: Justin Deschenaux, Caglar Gulcehre

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Justin Deschenaux, Caglar Gulcehre

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, aber Sie haben zwei verschiedene Möglichkeiten, dies zu tun.

Der alte Weg (Autoregressiv): Sie schreiben ein Wort nach dem anderen, von links nach rechts. Sobald Sie ein Wort geschrieben haben, legen Sie es fest und bewegen sich zum nächsten. Dies ist schnell und zuverlässig, aber wenn Sie in im ersten Satz einen Fehler machen, können Sie nicht einfach zurückgehen und ihn korrigieren, ohne die ganze Sache neu zu schreiben. Außerdem dauert es, da Sie immer nur ein Wort nach dem anderen schreiben können, lange, eine lange Geschichte fertigzustellen.

Der neue Weg (Diffusion): Stellen Sie sich vor, Sie beginnen mit einer Seite voller zufälligen Kaudergabels (wie „xkq#z@!“). Dann gibt es einen klugen Editor, der die ganze Seite auf einmal betrachtet und versucht, ein paar Wörter zu korrigieren, damit sie Sinn ergeben. Dann schaut er erneut hin und korrigiert noch ein paar mehr. Er wiederholt diesen Prozess und verwandelt das Kaudergabels langsam in eine Geschichte. Dies ist großartig, weil der Editor das Gesamtbild im Blick behält und Fehler an jeder Stelle der Seite korrigieren kann. Das „Alles auf einmal“ zu machen, ist jedoch normalerweise langsamer und die fertige Geschichte ist vielleicht nicht so perfekt wie beim alten Weg.

Kürzlich haben Forscher einen dritten Weg gefunden: Block-für-Block. Anstatt ein Wort nach dem anderen zu schreiben oder die ganze Seite auf einmal zu korrigieren, schreiben (oder korrigieren) Sie die Geschichte in kleinen Stücken, wie etwa Absätzen. Sie beenden Absatz 1, legen ihn fest und bewegen sich dann zu Absatz 2. Dies gibt Ihnen die Geschwindigkeit des alten Wegs, aber die Flexibilität des neuen Wegs.

Das Problem, das die Arbeit löst

Die Autoren, Justin Deschenaux und Caglar Gulcehre, bemerkten zwei große Probleme bei der Art und Weise, wie Menschen diese „Block-für-Block“-Modelle testen:

Das „Zufallsraten“-Problem: Wenn das Modell einen Fehler in einem Absatz macht, wählten die alten Korrekturmethoden einfach zufällige Wörter aus, um sie zu korrigieren. Es ist, als würde ein Lehrer einem Schüler sagen: „Korrigiere ein zufälliges Wort in deinem Aufsatz“, anstatt direkt auf den spezifischen Satz hinzuweisen, der keinen Sinn ergibt.
Das „Einheitsgröße“-Problem: Vorherige Studien testeten diese Modelle unter Verwendung von immer nur einer spezifischen Blockgröße (z. B. immer 16 Wörter gleichzeitig). Aber vielleicht funktioniert ein Block von 4 Wörtern besser für manche Aufgaben, und ein Block von 32 Wörtern besser für andere. Niemand hatte versucht, diese zu mischen.

Die Lösung: BlockGen

Sie entwickelten ein neues System namens BlockGen. Betrachten Sie es als einen super-flexiblen Schreiber, der Absätze jeder beliebigen Länge bewältigen kann.

Das Mischen der Größen: Anstatt das Modell darauf zu trainieren, nur 16-Wörter-Stücke zu schreiben, trainierten sie es auf einer Mischung aus Größen: 1 Wort, 2 Wörter, 4 Wörter, bis hin zu 16 oder 32 Wörtern.
Der magische Trick: Da das Modell lernte, in all diesen verschiedenen Größen zu schreiben, lernte es ein Geheimnis: Es kann ein einzelnes Wort genauso perfekt schreiben (wie der alte „autoregressive“ Weg) wie es einen ganzen Absatz korrigieren kann. Dies ermöglicht es dem Modell, als sein eigener „Verifier“ zu fungieren.

Die neue Strategie: ARPC (Der „kluge Editor“)

Das Papier führt eine neue Methode zur Textgenerierung namens ARPC (Autoregressive-Informed Predictor-Corrector) ein.

So funktioniert es mit einer kreativen Analogie:
Stellen Sie sich vor, Sie schreiben einen Absatz mit der „Block-für-Block“-Methode. Sie erstellen einen Entwurf des gesamten Absatzes.

Der erste Durchgang: Das Modell schreibt den ganzen Absatz schnell.
Der „kluge Check“: Bevor Sie den Absatz festlegen, wirft das Modell einen schnellen Blick auf seine eigene Arbeit. Es fragt sich: „Wenn ich diesen Wort-für-Wort-Weg (den alten, zuverlässigen Weg) nutzen würde, was hätte ich hier geschrieben?“
Die Korrektur: Wenn die schnelle „Wort-für-Wort“-Vermutung des Modells sehr stark von dem abweicht, was es gerade geschrieben hat, weiß es, dass dieses spezifische Wort wahrscheinlich falsch ist. Es schreibt nur genau diese schlechten Wörter um.

Dies ist viel klüger als die alte Methode, die einfach nur zufällige Wörter umschreiben würde. Es ist der Unterschied zwischen einem Lehrer, der sagt: „Korrigiere ein zufälliges Wort“, und einem, der sagt: „Korrigiere den Satz, in dem du die falsche Verbform verwendet hast.“

Was sie herausgefunden haben

Die Autoren testeten dies an mathematischen Problemen (GSM8K) und allgemeinem Schreiben (OpenWebText).

Die „Uniform“ vs. „Masked“-Debatte: In der Welt der Diffusion gibt es zwei Hauptarten von „Editoren“:
- Masked: Der Editor kann Wörter nur durch ein spezielles „Platzhalter“-Token ersetzen. Sobald ein Platzhalter gefüllt ist, ist er festgeschrieben.
- Uniform: Der Editor kann jedes Wort jederzeit in ein beliebig anderes Wort ändern.
- Vorherige Erkenntnis: Wenn man die ganze Seite auf einmal korrigiert, war der „Uniform“-Editor besser.
- BlockGen-Erkenntnis: Wenn man blockweise arbeitet, ist der „Uniform“-Editor immer noch besser, wenn man nur einen einfachen Durchgang macht. Jedoch, wenn man den neuen „Smart Check“ (ARPC) verwendet, wird der „Masked“-Editor tatsächlich etwas besser bei Aufgaben mit hoher Qualität (wie Mathe), weil er präziser ist.
Geschwindigkeit vs. Qualität: Der „Smart Check“ (ARPC) ermöglicht es dem Modell, der Qualität der alten, langsamen „Wort-für-Wort“-Schreiber sehr nahe zu kommen, aber es tut dies viel schneller, da es ganze Blöcke auf einmal korrigiert.
Der Kompromiss: Das Papier gibt zu, dass das Training dieses flexiblen Modells teurer ist (es benötigt mehr Rechenleistung) als das Training eines Standardmodells. Außerdem sind ihre Modelle immer noch kleiner als die massiven KI-Modelle, die heute von großen Tech-Unternehmen verwendet werden, sodass sie noch nicht behaupten können, dass dies für jede erdenkliche Aufgabe funktioniert.

Zusammenfassend

Das Papier stellt BlockGen vor, eine flexible KI, die lernt, in Stücken unterschiedlicher Größe zu schreiben. Durch die Kombination dieser Flexibilität mit einem „Smart Check“-System (ARPC), das die eigene Kenntnis des Modells nutzt, um nur die spezifischen Fehler zu finden und zu beheben, haben sie eine Methode geschaffen, die schneller als das „Wort-für-Wort“-Schreiben ist, aber ebenso genau, und klüger als bisherige „Alles-korrigieren“-Methoden. Sie zeigten, dass während der „Uniform“-Ansatz im Allgemeinen stark ist, die Verwendung dieser smarten Korrekturmethode die Regeln ändert und den „Masked“-Ansatz überraschend wettbewerbsfähig für komplexe Aufgaben macht.

Technisches Resümee: BlockGen: Flexible blockweise Sequenzmodellierung mit hybriden Samplern

Problemstellung

Autoregressive (AR) Transformer dominieren die Sequenzmodellierung, leiden jedoch unter sequenziellen Generierungsbeschränkungen (Durchsatz/Latenz) und kausalen Attention-Constraints, die Aufgaben des logischen Schließens (Reasoning), welche bidirektionalen Kontext erfordern, behindern. Diskrete Diffusionsmodelle bieten eine Alternative, indem sie verrauschte Sequenzen iterativ verfeinern, was parallele Updates ermöglicht. Jüngste Vergleiche zwischen Masked Diffusion Models (MDMs) und Uniform-State Diffusion Models (USDMs) haben jedoch widersprüchliche Erkenntnisse geliefert, abhängig vom Sampling-Regime:

Ancestral Sampling: USDMs übertreffen MDMs in Downstream-Aufgaben oft trotz schlechterer Perplexität, was auf die Fähigkeit von USDMs zur Selbstkorrektur zurückgeführt wird (Tokens können zwischen beliebigen Zuständen wechseln), während MDMs einmal unmaskierte Tokens fixieren.
Blockweise Generierung: Vorherige Arbeiten vergleichen primär die Full-Sequence-Diffusion. Es bleibt unklar, ob der Vorteil von USDMs auch dann bestehen bleibt, wenn Tokens blockweise (semi-autoregressiv) generiert werden – ein Setting, das KV-Caching und schnelleres Inference ermöglicht.
Informierte Korrektoren: Bestehende Vergleiche verwenden oft „uninformierte“ Predictor-Corrector (PC) Sampler, die Rauschen an zufälligen Positionen re-injizieren. Es ist unbekannt, wie „informierte“ Korrektoren (die auf wahrscheinliche Fehler abzielen) das Ranking von MDM vs. USDM beeinflussen, insbesondere ohne Hilfs-Verifier-Modelle.

Methodik: BlockGen

Die Autoren führen BlockGen ein, ein blockweises Sequenzmodell, das über einer Mischung aus Blockgrößen trainiert wurde und entweder mit Masked oder Uniform Diffusion innerhalb der Blöcke instanziiert werden kann.

1. Mischungsformulierung und Training

BlockGen definiert die Sequenzdichte als eine Mischung über $M$ Blockgrößen $S = \{s_1, \dots, s_M\}$ :
$p_{\theta}^{\text{BlockGen}}(x) = \sum_{i=1}^M \gamma_i p_{\theta}^{(s_i)}(x)$
wobei $p_{\theta}^{(s_i)}$ eine gültige Dichte ist, die in Blöcke der Größe $s_i$ faktorisiert wird.

Shared Denoiser: Anstatt separate Modelle zu trainieren, nimmt ein einziger gemeinsamer Denoiser $\hat{x}_\theta$ die Blockgröße $L'$ als Input entgegen und passt die Attention-Muster entsprechend an.
Likelihood-Schranken: Das Paper leitet zwei Schranken für die Mischungsdichte ab. Für die Evaluierung wird eine engere Log-Sum-Exp-Schranke verwendet, während für das Training eine lockerere Mixture Likelihood Bound (eine Erwartung über Blockgrößen) genutzt wird, um die Recheneffizienz aufrechtzuerhalten.
Stratifizierte Stichprobenziehung: Um die Varianz während des Multi-GPU-Trainings zu reduzieren, werden die Blockgrößen mittels stratifizierter Stichprobenziehung statt i.i.d.-Stichprobenziehung ausgewählt.

2. AR-Informierter Predictor-Corrector (ARPC)

Ein wesentlicher Beitrag ist der ARPC-Sampler, der die BlockGen-Mischung nutzt, um informierte Korrekturen ohne einen Hilfs-Verifier durchzuführen.

Mechanismus: Während der Generierung führt der Sampler nach den Standard-Ancestral-Diffusion-Schritten einen „Clean Proposal“-Schritt aus. Er führt dann einen zweiten Forward-Pass im AR-Modus ( $L'=1$ ) unter Verwendung desselben Denoisers durch, um die vorgeschlagenen Tokens zu bewerten.
Bewertung (Scoring): Tokens mit geringer AR-Log-Likelihood werden als „unwahrscheinlich“ identifiziert und wieder verrauscht (korrigiert) auf ein vorheriges Rauschlevel gesetzt.
Vorteil: Dies ermöglicht es dem Modell, seine eigenen AR-Vorhersagen zu nutzen, um Diffusion-Korrekturen zu steuern, wodurch AR- und Diffusion-Paradigmen innerhalb eines einzigen Modells effektiv miteinander verzahnt werden.

3. Block-Level Attention

BlockGen nutzt block-kausale Attention: Tokens innerhalb eines Blocks attendieren bidirektional, während der Block kausal zu allen vorangegangenen Blöcken attendiert. Dies ermöglicht KV-Caching über dekodierte Blöcke hinweg und bewahrt die Effizienzvorteile der semi-autoregressiven Generierung.

Zentrale Ergebnisse

1. Mathematische Argumentation (GSM8K)

Evaluierung auf GSM8K unter Verwendung von Modellen, die auf TinyGSM trainiert wurden:

Ancestral Sampling: Im Block-für-Block-Setting übertreffen USDMs die MDMs, insbesondere im Few-Step-Regime (niedriges NFE). Dies bestätigt, dass der Full-Sequence-Vorteil von USDMs auch auf die blockweise Generierung übergeht.
ARPC Sampling: Die Leistungsdifferenz zwischen USDMs und MDMs verringert sich und kehrt sich bei hohem NFE um. Unter ARPC mit 16-Token-Blöcken übertreffen MDMs die USDMs leicht auf der GSM8K-Genauigkeit.
ARPC vs. Baselines: ARPC übertrifft konsistent sowohl Ancestral Sampling als auch Entropy-Informed PC (EIPC) über die meisten NFE-Budgets hinweg. ARPC mit MDMs nähert sich der Performance von AR-Sampling mit Greedy Decoding an.

2. Sprachmodellierung (OpenWebText & LM1B)

Likelihood: Das Training über eine Mischung von Blockgrößen verbessert die Perplexität signifikant im Vergleich zu Fixed-Block-Modellen. BlockGen mit Masked Diffusion erreicht 17,5 Val. PPL auf OpenWebText (gegenüber 16,7 für AR und 21,6 für das beste Fixed-Block BDM), wodurch die Lücke zwischen Diffusion und autoregressiven Modellen geschlossen wird.
Probenqualität:
- Unter Ancestral Sampling erreichen USDMs eine niedrigere Generative Perplexity (Gen. PPL) als MDMs.
- Unter ARPC kehrt sich der Trend bei höherem NFE (z. B. 64 NFE/Block) um, wobei Masked-ARPC eine bessere Gen. PPL-Frontier als Uniform-ARPC erreicht.
- ARPC verringert den Abstand zu AR, übertrifft AR jedoch nicht in der Gen. PPL innerhalb des praktischen Low-Temperature-Regimes.

Bedeutung und Behauptungen

Das Paper behauptet, zwei offene Fragen der diskreten Diffusion zu klären:

Blockweise Validität: Der Vorteil der Uniform-State-Diffusion gegenüber Masked Diffusion, der bei der Full-Sequence-Generierung beobachtet wurde, überträgt sich auch auf die Block-für-Block-Generierung unter Ancestral Sampling.
Informierte Korrektur: Das Ranking zwischen MDMs und USDMs ist regime-abhängig. Während USDMs bei einfachem Ancestral oder uninformiertem Sampling exzellieren, können informierte Korrektoren (speziell ARPC) diesen Abstand schließen und das Ranking zugunsten von Masked Diffusion bei höheren Compute-Budgets (NFE) umkehren.

Die Autoren betonen, dass BlockGen einen flexiblen Rahmen bietet, der zwischen AR und reiner Diffusion interpoliert und es einem einzigen Modell ermöglicht, sowohl als Blockwise-Sampler als auch als AR-Verifier zu fungieren. Sie merken an, dass ihre empirischen Behauptungen innerhalb der getesteten Budgets und Sampler robust sind, sie jedoch nicht etablieren, ob diese Trade-offs bei der Skalierung auf Large Language Models (LLMs) bestehen bleiben, da ihre Experimente auf 170M-Parameter-Backbones beschränkt sind. Die Arbeit legt nahe, dass die Wahl des Diffusions-Paradigmas (Masked vs. Uniform) nicht universell überlegen ist, sondern stark von der Sampling-Strategie und dem Compute-Budget abhängt.