💬 NLP

Nemotron-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

Nemotron-TwoTower führt eine neuartige blockweise autoregressive Diffusionsarchitektur ein, die die Kontextverarbeitung und das Denoising in zwei spezialisierte Towers entkoppelt und dabei einen 2,42-fach schnelleren Generierungsdurchsatz erreicht, während 98,7 % der Qualität seiner autoregressiven Baseline erhalten bleiben.

Ursprüngliche Autoren: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange Geschichte zu schreiben, aber Sie haben eine strikte Regel: Sie dürfen immer nur ein Wort zur Zeit schreiben, und Sie müssen warten, bis das vorherige Wort vollständig fertiggestellt ist, bevor Sie mit dem nächsten beginnen können. So arbeiten die meisten aktuellen KI-Sprachmodelle (genannt „autoregressive“ Modelle). Es ist wie ein sehr vorsichtiger, langsamer Tipper, der niemals Fehler macht, aber ewig braucht, um einen Satz zu vollenden.

Stellen Sie sich nun eine neue Methode vor, bei der Sie einen ganzen Satz auf einmal tippen können, ihn betrachten und dann die Fehler in allen Wörtern gleichzeitig korrigieren können. Das ist schneller, aber normalerweise leidet die Qualität der Geschichte darunter, weil die KI versucht, alles gleichzeitig zu korrigieren.

Nemotron-TwoTower ist eine neue Erfindung, die versucht, das Beste aus beiden Welten zu vereinen: die Geschwindigkeit des gleichzeitigen Tippens eines ganzen Satzes mit der hohen Qualität des sorgfältigen Ein-Wort-nach-dem-anderen-Tippens.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die zwei Türme: Der Bibliothekar und der Editor

Die Forscher haben ein System mit zwei unterschiedlichen „Türmen“ (Teilen der KI) gebaut, die zusammenarbeiten, wie ein Team aus zwei Personen:

Der eingefrorene Kontext-Turm (Der Bibliothekar):
- Rolle: Dies ist der „Experte“, der die bisherige Geschichte kennt. Es handelt sich um eine vortrainierte KI, die eingefroren (festgeschrieben) ist. Sie fungt wie ein strenger Bibliothekar, der die Geschichte von Anfang bis Ende Wort für Wort liest.
- Aufgabe: Er verändert sich nicht. Er führt lediglich ein perfektes, organisiertes Protokoll von allem, was bisher geschrieben wurde. Er sagt dem anderen Turm: „Hier ist der Kontext der Geschichte bis zu diesem Punkt.“
- Warum es wichtig ist: Da er eingefroren ist, behält er die gesamte ursprüngliche Intelligenz und das Wissen des massiven 30-Milliarden-Parameter-Modells, aus dem er gebaut wurde. Er vergisst nichts und wird nicht verwirrt.
Der trainierbare Diffusions-Denoising-Turm (Der Editor):
- Rolle: Dies ist der „schnelle Arbeiter“. Es ist eine trainierbare KI, die sich verändern und lernen darf.
- Aufgabe: Anstatt ein Wort nach dem anderen zu schreiben, nimmt er einen Block von 16 Wörtern (oder Token), die derzeit leer (maskiert) sind. Er betrachtet die Notizen des „Bibliothekars“ und versucht, alle 1-16 Lücken gleichzeitig zu füllen.
- Der Prozess: Er macht es nicht sofort perfekt. Er macht eine Vermutung, schaut sich dann seine eigene Vermutung und die Notizen des Bibliothekars an und verfeinert die Wörter. Er macht dies wiederholt (iterativ), bis der Block der Wörter sauber ist und Sinn ergibt.
- Die Magie: Da er alle 16 Wörter gleichzeitig betrachten und sie gemeinsam korrigieren kann, ist er viel schneller als das Schreiben eines Wortes nach dem anderen.

Wie sie zusammenarbeiten (Das Fließband)

Stellen Sie sich eine Fabrik-Fließband vor:

Der Bibliothekar liest den Prompt und die bereits geschriebenen Wörter und erstellt eine perfekte mentale Landkarte der Geschichte.
Der Editor greift sich ein leeres Textstück (16 Wörter lang).
Der Editor fragt den Bibliothekar: „Was kommt als Nächstes?“ und der Bibliothekar liefert den Kontext.
Der Editor füllt die 16 Lücken aus, überprüft seine Arbeit und korrigiert etwaige Fehler.
Sobald der Editor zuversichtlich ist, dass die 16 Wörter gut sind, werden sie „festgeschrieben“ (finalisiert).
Der Bibliothekar aktualisiert seine mentale Landkarte, um diese neuen 16 Wörter einzuschließen.
Der Editor greift sich das nächste leere Stück von 16 Wörtern, und der Zyklus wiederholt sich.

Die Ergebnisse: Geschwindigkeit vs. Qualität

Das Paper behauptet, dass dieses System den „Sweet Spot“ erreicht:

Geschwindigkeit: Es ist 2,42 Mal schneller als die traditionelle Methode des Schreibens Wort für Wort. Es ist wie der Wechsel von einer Schnecke zu einem Sprinter.
Qualität: Es behält 98,7 % der Qualität des ursprünglichen Modells bei. Es hat nicht viel Intelligenz verloren, um diese Geschwindigkeit zu gewinnen.
Effizienz: Sie haben diesen neuen „Editor“-Turm mit etwa 2,1 Billionen Wörtern trainiert, was ein winziger Bruchteil der 25 Billionen Wörter ist, die für den ursprünglichen „Bibliothekar“ verwendet wurden. Das bedeutet, dass sie nicht die gesamte KI von Grund auf neu lehren mussten; sie haben dem Editor nur beigebracht, die Notizen des Bibliothekars zu nutzen.

Warum dies anders ist als frühere Versuche

Frühere Versuche versuchten, ein einziges Gehirn für beide Aufgaben zu verwenden: das Erinnern an die Geschichte und das Korrigieren der Wörter gleichzeitig. Das Paper argumentiert, dass dies so ist, als würde man von einer Person verlangen, gleichzeitig ein perfekter Gedächtnisbewahrer und ein schneller Editor zu sein – das ist zu viel Arbeit, und man erledigt am Ende keines der beiden Dinge perfekt.

Indem sie die Rollen auf zwei Türme aufteilten (einen eingefrorenen, einen trainierbaren), ließen sie jeden Teil das tun, was er am besten kann. Der Bibliothekar bleibt perfekt, und der Editor wird schnell.

Der „Konfidenz“-Trick

Das System verfügt auch über eine intelligente Funktion namens „Confidence Unmasking“ (Konfidenz-Entmaskierung).

Wenn der Editor sich bei einem Wort sehr sicher ist, sperrt er es sofort ein.
Wenn er sich unsicher ist, lässt er dieses Wort leer (maskiert) und versucht, es in der nächsten Runde des Editierens zu korrigieren.
Das bedeutet, dass er keine Zeit damit verschwendet, Wörter erneut zu überprüfen, von denen er bereits weiß, dass sie richtig sind, sondern zusätzliche Zeit in das Polieren der schwierigen Teile investiert.

Zusammenfassung

Nemotron-TwoTower ist eine Methode, die die Textgenerierung von KI viel schneller zu machen, ohne sie „dümmer“ zu machen. Dies geschieht durch die Trennung der Aufgabe des „Erinnerns an die Geschichte“ (die langsam und perfekt bleibt) von der Aufgabe des „Schreibens des nächsten Abschnitts“ (die schnell und iterativ wird). Das Ergebnis ist ein System, das Geschichten fast so gut schreibt wie die alte langsame Methode, aber mehr als doppelt so schnell ist.

Technisches Resümee: Nemotron-TwoTower

Problemstellung

Autoregressive (AR) Sprachmodelle dominieren die Textgenerierung, leiden jedoch unter einem Durchsatz-Engpass aufgrund ihres sequentiellen, Token-für-Token-basierten Dekodierungsprozesses. Diskrete Diffusions-Sprachmodelle bieten eine vielversprechende Alternative, indem sie Token parallel generieren und diese iterativ verfeinern, was potenziell einen höheren Durchsatz und eine feinere Steuerbarkeit ermöglicht. Bestehende Diffusionsansätze verlassen sich jedoch typischerweise auf ein einzelnes Netzwerk, das zwei unterschiedliche Rollen gleichzeitig übernimmt: die Repräsentation von sauberen Kontext-Token und das iterative Entrauschen korrumpierter Token. Diese Verflechtung zwingt einen einzigen Satz von Gewichten dazu, widersprüchliche Ziele zu verfolgen, was die Kapazität des Modells einschränkt, in beiden Rollen exzellent zu sein. Darüber hinaus bleibt unklar, ob eine vollständige Entkopplung dieser Rollen in großem Maßstab möglich ist, insbesondere auf modernen Hybrid-Architekturen, die Mamba-, Attention- und Mixture-of-Experts (MoE)-Schichten kombinieren.

Methodik

Die Autoren schlagen TwoTower vor, ein blockweiser autoregressiver Diffusionsmodell, das die Rollen der Kontextrepräsentation und des Entrauschens in zwei separate "Türme" entkoppelt, die auf der Nemotron-3-Nano-30B-A3B Hybrid-Architektur basieren (welche Mamba-2, Self-Attention und MoE-Schichten verzahnt).

Architektur

Das Modell nutzt zwei Kopien des vortrainierten Netzwerks mit komplementären Rollen:

Gefrorener AR-Kontext-Turm: Dieser Turm bleibt eingefroren und fungiert als kausales autoregressives Modell über den Prompt und die zuvor festgeschriebenen (committed) Token. Er verarbeitet saubere Token, um schichtausgerichtete Key-Value (KV)-Caches und Mamba-Zustände zu erzeugen. Er bewahrt die ursprünglichen autoregressiven Fähigkeiten des Backbones und erhält wiederverwendbare Zustände über die Blöcke hinweg.
Trainierbarer Diffusions-Entrauschungs-Turm: Dieser Turm wird trainiert, um verrauschte Blöcke zu verfeinern. Er verwendet bidirektionale Block-Attention innerhalb des aktuellen verrauschten Blocks (wodurch Token einander beachten können), während er gleichzeitig eine kausale Cross-Attention zu den entsprechenden Schichten des gefrorenen Kontext-Turms beibehält. Diese schichtausgerichtete Cross-Attention bietet dem Entrauscher einen multiskaligen Zugriff auf die Repräsentationen des Backbones, was im Gegensatz zu früheren Methoden steht, die lediglich den finalen Hidden State übertragen haben.

Generierungsprozess

Die Generierung erfolgt blockweise (Algorithmus 1):

Der Kontext-Turm verarbeitet den Prompt und die bereits festgeschriebenen Token kausal.
Ein neuer Block wird mit $S$ maskierten Token initialisiert.
Der Entrauschungs-Turm verfeinert diesen Block iterativ über $T$ Schritte. In jedem Schritt achtet der Entrauscher auf den KV-Cache des Kontext-Turms für vergangene Blöcke sowie auf seinen eigenen bidirektionalen KV-Cache für den aktuellen Block.
Sobald ein Block ausreichend verfeinert wurde (basierend auf Konfidenzschwellenwerten), wird er festgeschrieben (committed). Der Kontext-Turm aktualisiert daraufhin seine Zustände mit den neuen sauberen Token, und der Prozess wiederholt sich für den nächsten Block.

Training und Konditionierung

Maskierte Diffusion: Der Entrauscher wird mittels eines maskierten Diffusionsziels trainiert. Saubere Blöcke werden korrumpiert, indem Token gemäß einem linearen Zeitplan durch [MASK] ersetzt werden. Das Modell minimiert die negative Log-Likelihood der ursprünglichen Token an den maskierten Positionen.
Zeit-Konditionierung: Der Entrauscher wird über den Diffusions-Zeitschritt $t$ mittels Adaptive Layer Normalization (adaLN) konditioniert – eine Technik, die in der Bilddiffusion weit verbreitet, aber in maskierten Sprachmodellen weniger genutzt wird. Dies fügt minimale Parameter (~1,5 Mio.) hinzu, verbessert aber die Stichprobenqualität (Sampling Quality).
Curriculum: Das Training folgt einem Zwei-Stufen-Curriculum. Phase 1 nutzt eine diverse Datenmischung für eine breite Abdeckung, während Phase 2 qualitativ hochwertige und STEM-fokussierte Quellen stärker gewichtet. Die Trainings-Blockgröße wird sukzessive reduziert (von $S=32$ auf $S=16$ ), um ein Gleichgewicht zwischen Parallelität und Konditionierungsqualität zu finden.
Sampling: Die Autoren verwenden eine Confidence-Unmasking-Strategie (Algorithmus 2). In jedem Schritt sagt der Entrauscher alle maskierten Token parallel voraus; Token mit einer Konfidenz über einem Schwellenwert $\gamma$ werden festgeschrieben, während unsichere Token für eine weitere Verfeinerung maskiert bleiben. Dies macht die Anzahl der festgeschriebenen Token adaptiv.

Kernergebnisse

Evaluierung auf dem Nemotron-3-Nano-30B-A3B Backbone (30B Parameter, Hybrid-MoE), zeigt Nemotron-TwoTower Folgendes:

Qualitäts-Durchsatz-Trade-off: Das Modell behält 98,7 % der aggregierten Benchmark-Qualität des autoregressiven Baselines bei, während es eine 2,42-fache Verbesserung des Durchsatzes bei der Wandzeit-Generierung (wall-clock generation throughput) erreicht.
Benchmark-Leistung:
- Allgemeines Wissen: Die Leistung bleibt innerhalb von ~1 Punkt des AR-Baselines.
- Code und Mathematik: Zeigt eine moderate Verschlechterung gegenüber dem Baseline-Modell.
- Gesunder Menschenverstand (Commonsense) und Mehrsprachigkeit: Die Leistung wird wiederhergestellt oder sogar leicht verbessert.
Design-Ablationen:
- Bidirektionales Mamba: Tests mit einer bidirektionalen Mamba-Variante zeigten geringfügige Qualitätsgewinne, verdoppelten jedoch die SSM-Rechenlast; das finale Design behält das kausale Mamba bei.
- Zeit-Konditionierung: Explizite Zeit-Konditionierung verbesserte die Scores für Generierung, Code und Mathematik signifikant.
- Entkopplung der Türme: Das Halten des Kontext-Turms im eingefrorenen Zustand und das Training eines separaten Entrauschers lieferte die besten Ergebnisse. Das Zusammenführen (Tying) der Gewichte zwischen den Türmen oder die Fortsetzung des AR-Trainings auf dem Kontext-Turm führte zu signifikanten Genauigkeitseinbußen.
Sensitivität der Blockgröße: Kleinere Trainings-Blockgrößen ( $S=16$ ) verbesserten die Qualität gegenüber größeren Größen ( $S=128$ ), reduzierten jedoch den Durchsatz. Die Autoren wählten $S=16$ als Standardwert, um ein Gleichgewicht zwischen der Beibehaltung der Qualität und der Geschwindigkeit zu finden. Das Sampling mit Blöcken, die größer als die Trainings-Blockgröße waren, führte zu einer schweren Leistungsverschlechterung.

Bedeutung und Behauptungen

Das Paper behauptet, dass Nemotron-TwoTower erfolgreich demonstriert, dass vortrainierte autoregressive Repräsentationen einen trainierbaren Diffusions-Entrauscher unterstützen können, ohne das gesamte Modell neu vortrainieren zu müssen. Durch die Entkopplung der Rollen von Kontext und Entrauschung bewahrt der Ansatz die breiten Fähigkeiten des ursprünglichen 30B Hybrid-MoE-Modells und ermöglicht gleichzeitig die Vorteile der parallelen Generierung durch Diffusion.

Die Autoren betonen, dass diese Qualitätswiederherstellung durch die Anpassung auf einem Bruchteil der Daten erreicht wird, die für das ursprüngliche Pretraining verwendet wurden (~2,1T Token gegenüber 25T Token). Die Arbeit etabliert eine neue Pareto-Front für Sprachmodelle und bietet einen gangbaren Weg zu einem höheren Generierungsdurchsatz, ohne die fundamentale Qualität großskaliger autoregressiver Modelle zu opfern. Der Code und die Modellgewichte werden veröffentlicht, um die weitere Forschung in dieser Richtung zu fördern.