💬 NLP

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

Dieses Paper stellt BDLM Mamba-H vor, ein hybrides Diffusions-Sprachmodell, das das bidirektionale Mamba-Scanning auf aktive Denoising-Blöcke beschränkt, um exaktes Caching zu ermöglichen, wodurch eine überlegene Perplexität und einen signifikant höheren Inferenz-Durchsatz für lange Kontexte im Vergleich zu bestehenden Full-Sequence- und Attention-basierten Diffusions-Baselines erreicht wird.

Ursprüngliche Autoren: Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine sehr lange Geschichte zu schreiben, aber Sie haben eine strenge Regel: Sie können sich nur an die letzten paar Seiten erinnern, die Sie geschrieben haben. Jedes Mal, wenn Sie den nächsten Satz schreiben wollen, müssen Sie ganz zurück zum Anfang Ihres Notizbuches gehen, jedes einzelne Wort lesen, das Sie bisher geschrieben haben, und sich dann entscheiden, was Sie als Nächstes schreiben.

Genau so kämpfen aktuelle „Large Language Models“ (KI-Chatbots) mit langen Kontexten. Je länger das Gespräch wird, desto mehr muss die KI die gesamte Historie „neu lesen“. Das ist langsam und verbraucht viel Energie, so als würde man versuchen, einen Marathon zu laufen, während man einen schweren Rucksack trägt, der mit jedem Schritt schwerer wird.

Das Paper stellt eine neue Methode vor, um diese KI-Modelle zu trainieren, genannt BDLM Mamba-H, die dieses Problem löst, indem sie die Art und Weise ändert, wie die KI „erinnert“ und „denkt“.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Der „schwere Rucksack“

Aktuelle KI-Modelle funktionieren wie ein Schüler, der eine Prüfung ablegt und vor jeder einzelnen Frage das gesamte Lehrbuch neu lesen muss.

Das Problem: Je länger die Geschichte wird, desto schwerer wird der „Rucksack“ (das Gedächtnis). Der Computer verbringt mehr Zeit damit, Daten hin und her zu schieben (Speicherbandbreite), als tatsächlich zu denken (Rechenleistung).
Die alte Lösung: Einige Forscher versuchten, den Rucksack leichter zu machen, indem sie eine andere Art von Gedächtnis verwendeten (genannt „Mamba“). Andere versuchten, mehrere Sätze auf einmal statt einzeln zu schreiben (genannt „Block Diffusion“).
Der Fehler: Als Forscher versuchten, diese beiden Ideen zu kombinieren, ging es kaputt. Das „Mamba“-Gedächtnissystem musste die gesamte Geschichte rückwärts betrachten, um richtig zu funktionieren. Aber wenn man die ganze Geschichte rückwärts betrachtet, kann man kein „Lesezeichen“ für die Teile setzen, die man bereits abgeschlossen hat. Man muss alles jedes Mal neu lesen.

2. Die Lösung: Der „Lokale Rückwärts-Scan“

Die Autoren schlagen einen cleveren Trick vor: Schaue nur innerhalb des aktuellen Absatzes zurück.

Stellen Sie sich vor, Sie schreiben ein Buch Kapitel für Kapitel.

Der alte Weg (Vollständiger Rückwärts-Scan): Um einen neuen Satz zu schreiben, lesen Sie das gesamte Buch von der letzten Seite bis zur ersten Seite zurück, jedes Mal aufs Neue.
Der neue Weg (BDLM Mamba-H):
1. Der „saubere“ Teil: Sobald ein Kapitel fertig ist, legen Sie es in einen sicheren Tresor. Sie erstellen eine einfache „Zusammenfassungskarte“ (einen Cache) für dieses Kapitel. Sie müssen den Tresor nie wieder öffnen; Sie nutzen einfach die Zusammenfassungskarte.
2. Der „aktive“ Teil: Während Sie das aktuelle Kapitel schreiben, dürfen Sie innerhalb dieses spezifischen Kapitels vor und zurück schauen, um sicherzustellen, dass die Sätze gut fließen.
3. Die Magie: Da Sie nur innerhalb des aktuellen Kapitels zurückblicken, bleiben die Zusammenfassungskarten für die abgeschlossenen Kapitel gültig und müssen nicht aktualisiert werden.

3. Die Ergebnisse: Geschwindigkeit und Intelligenz

Die Forscher haben diese neue Methode mit zwei Hauptzielen getestet: die KI intelligent zu halten und sie schnell zu machen.

Ist sie intelligent? Ja. Als sie die KI in einem Standard-Leseverständnistest (C4-en) testeten, erreichte das neue Modell (BDLM Mamba-H) die besten Werte unter den kleineren Modellen (87 Millionen Parameter). Selbst als sie das Modell größer machten (350 Millionen Parameter), blieb es genauso intelligent wie die anderen Top-Modelle.
Ist sie schnell? Ein riesiger Unterschied.
- Bei einer mittleren Länge (65.000 Wörter) war das neue Modell 19,7-mal schneller als die alte „vollständige Rückwärts“-Methode.
- Bei einer sehr langen Länge (262.000 Wörter) war es 3,7-mal schneller als die beste „Block“-Methode, die kein Mamba verwendete.

Das Fazit

Betrachten Sie dieses neue Modell als einen Autor, der gelernt hat, fertige Kapitel zu lesezeichen zu setzen, damit er sie nicht immer wieder neu lesen muss, während er gleichzeitig in der Lage ist, das aktuelle Kapitel frei zu editieren.

Durch die Beschränkung des „Rückwärtsblicks“ auf den aktuellen Textblock kann die KI sehr lange Geschichten generieren, ohne durch den Datenverkehr im Speicher ausgebremst zu werden. Das Paper behauptet, dass dies eine praktische und leistungsstarke Architektur für die Handhabung langer Kontexte macht, und beweist, dass man sowohl Geschwindigkeit als auch hochwertige Texte erhalten kann, ohne die gesamte Historie für jedes neue Wort neu verarbeiten zu müssen.

Technische Zusammenfassung: Training von hybriden Block-Diffusion-Sprachmodellen mit partieller Bidirektionalität

Problemstellung
Die Hochdurchsatz-Generierung langer Kontexte in großen Sprachmodellen (LLMs) wird primär durch die Speicherbandbreite und nicht durch die Rechenleistung begrenzt. Beim standardmäßigen autoregressiven Decoding erfordert jeder Schritt das Streaming des akkumulierten Key/Value (KV)-Caches aus dem Speicher, wodurch der Bandbreitenbedarf linear mit der Kontextlänge skaliert, während nur ein Token emittiert wird. Während zwei parallele Ansätze existieren, um dies zu mildern – die Reduzierung des Speicherzugriffs durch Linear-Time-Mixer (z. B. Mamba) und die Erhöhung der Parallelität durch Blockgenerierung –, stellt die Kombination dieser Ansätze eine spezifische technische Hürde dar.

Frühere hybride Diffusionsmodelle, wie etwa DiffuMamba, nutzen vollständig bidirektionale Mamba-Scans, einschließlich eines Rückwärts-Durchlaufs über das gesamte Denoising-Fenster. Dieser Rückwärts-Scan hängt von den aktiven Token ab, was bedeutet, dass seine internen Zustände nicht rein präfix-basiert sind. Folglich können diese Zustände nicht präzise zwischengespeichert und über Blöcke hinweg wiederverwendet werden, was den Effizienzvorteil der Block-Diffusion zunichtemacht. Die zentrale Herausforderung besteht darin, eine hybride Architektur zu entwerfen, die eine Block-weise Generierung mit exaktem Caching unterstützt und gleichzeitig die Vorteile der bidirektionalen Mischung beibehält.

Methodik
Die Autoren schlagen BDLM Mamba-H vor, eine hybride Architektur, die Block Diffusion Language Models (BDLMs) mit Mamba- und Attention-Layern kombiniert. Die Kerninnovation ist ein Mechanismus der partiellen Bidirektionalität, der den Rückwärts-Mamba-Scan auf den aktiven Denoising-Block beschränkt, anstatt auf die gesamte Sequenz.

Zentrale methodische Komponenten sind:

Cache-ausgerichtetes Trainingsziel: Das Modell verwendet ein „All-Block“-Ziel, bei dem abgeschlossene Präfix-Blöcke wie folgt gespeichert werden:
- KV-States für Attention-Layer.
- Nur vorwärts gerichtete Mamba-Grenzzustände (rekurrente Zustände) für Mamba-Layer.
  Der Rückwärts-Scan wird auf den aktuellen aktiven Block ( $b_t$ ) begrenzt, wodurch sichergestellt wird, dass der Präfix-Cache ( $C_\ell(c)$ ) eine Funktion des sauberen Präfixes allein bleibt, unabhängig vom Rückwärts-Diffusion-Zeitschritt ( $t$ ).
Zeitschritt-Faktorisierung: Um die Gültigkeit des Caches zu gewährleisten, faktorisiert die Architektur die Schichtberechnung in einen zeitschritt-unabhängigen Präfix-Operator und eine zeitschritt-konditionierte Fortsetzung des aktiven Blocks. Dies verhindert, dass der Cache des sauberen Präfixes von dem spezifischen Rückwärts-Diffusion-Schritt abhängig wird – eine Voraussetzung für die gültige Wiederverwendung während der Inferenz.
Trainingsprotokoll: Das Modell wird unter Verwendung eines diskreten Diffusionsziels über Blöcke trainiert. Der Präfix-Cache wird durch Scannen des sauberen Präfixes konstruiert, und nachgelagerte Block-Verluste trainieren direkt die Repräsentationen, die in diesen Präfix-Zuständen gespeichert sind, wodurch die Trainingsberechnung mit der Cache-Schnittstelle des Inferenz-Zeitpunkt-Samplers zur Deckung gebracht wird.

Wesentliche Beiträge

Cache-ausgerichtetes Training: Die Autoren formulieren ein BDLM All-Block-Ziel, bei dem die zwischengespeicherten Objekte (KV-States und Mament-Präfix-States) exakt mit den Block-Caches zum Inferenzzeitpunkt übereinstimmen. Dies ermöglicht es, dass nachgelagerte Block-Verluste den für die Rekursion der Zustände verwendeten Präfix-Scan trainieren.
Kontrollierte Validierung und Skalierung: Die Autoren führen einen umfassenden Sweep bei 87 Mio. Parametern auf dem DCLM-Datensatz durch und skalieren ausgewählte Modelle auf 350 Mio. Parameter unter Verwendung einer Complete(d)P-Stil Learning-Rate-Transfer-Regel.
Durchsatzgewinne bei langen Kontexten: Die Studie evaluiert den Inferenz-Durchsatz bei erweiterten Kontextlängen und zeigt, dass der hybride Ansatz sowohl Full-Sequence-Baselines als auch reine Attention-basierte Block-Diffusionsmodelle mit zunehmender Kontextlänge signifikant übertrifft.

Ergebnisse

Validierungsqualität (87 Mio. Parameter): BDLM Mamba-H erreichte die beste C4-en Perplexität (61,6) unter den 87-Mio.-Modellen und übertraf damit BDLM Attention (76,5), Full-Sequence DiffuMamba-H (83,7) und Full-Sequence Attention (87,6).
Validierungsqualität (350 Mio. Parameter): Auf der 350-Mio.-Skala blieb BDLM Mamba-H wettbewerbsfähig mit BDLM Attention und erreichte eine C4-en Perplexität von 38,2 im Vergleich zu 36,97 für BDLM Attention.
Durchsatzleistung:
- Bei 65K Tokens erreichte BDLM Mamba-H den 19,7-fachen Durchsatz der Full-Sequence DiffuMamba-H Baseline.
- Bei 262K Tokens erreichte BDLM Mamba-H den 3,7-fachen Durchsatz von BDLM Attention.
- Während Full-Sequence-Modelle bei kurzen Kontexten (8192 Tokens) aufgrund des Overheads des All-Block-Ziels schneller sind, demonstrieren die nativen BDLM-Modelle mit Caching eine überlegene Skalierbarkeit im Bereich langer Kontexte.

Bedeutung und Behauptungen
Das Paper behauptet, dass BDLM Mamba-H eine lebensfähige Architektur für Long-Context-Diffusion darstellt. Durch die Beschränkung des Rückwärts-Mamba-Scans auf den aktiven Block ermöglicht das Modell ein exaktes Caching über Blöcke hinweg und löst damit das Problem der Zustands-Wiederverwendung, das inhärent in früheren bidirektionalen Diffusions-Hybriden ist. Die Autoren betonen, dass dieser Ansatz es hybriden Mamba-Attention-Modellen ermöglicht, eine wettbewerbsfähige Validierungsqualität beizubehalten und gleichzeitig erhebliche Durchsatzverbesserungen für die Inferenz langer Kontexte zu bieten, was Block-Partial-Reverse-Hybride als praktischen Weg für die Skalierung von Diffusions-Sprachmodellen positioniert.

Das Paper bleibt hinsichtlich der Optimalität bescheiden und merkt an, dass die für die Skalierung verwendeten Learning-Rate-Transfer-Regeln zwar starke Kandidaten basierend auf bestehenden Parameterisierungsgesetzen sind, aber nicht als optimal für diskrete Diffusions-Sprachmodelle (dLLMs) bewiesen wurden. Zudem räumt die Autorenschaft ein, dass das Block-Ziel zwar die Generierung langer Kontexte verbessert, derzeit jedoch einen Trainings-Durchsatz-Nachteil (ca. 25–34 % langsamer) gegenüber Full-Sequence-Baselines auf aktuellen Hardware-Konfigurationen verursacht.

1. Das Problem: Der „schwere Rucksack“

2. Die Lösung: Der „Lokale Rückwärts-Scan“

3. Die Ergebnisse: Geschwindigkeit und Intelligenz

Das Fazit

Technische Zusammenfassung: Training von hybriden Block-Diffusion-Sprachmodellen mit partieller Bidirektionalität

Mehr davon