💬 NLP

Nemotron-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

's wprowad een nieuwe blokwijze autoregressieve diffusiearchitectuur die contextverwerking en denoising ontkoppelt in twee gespecialiseerde towers, waarmee een 2,42x snellere generatiedoorvoer wordt bereikt terwijl 98,7% van de kwaliteit van de autoregressieve baseline behouden blijft.

Oorspronkelijke auteurs: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lang verhaal probeert te schrijven, maar je hebt een strikte regel: je kunt slechts één woord tegelijk schrijven, en je moet wachten tot het vorige woord volledig is voltooid voordat je aan het volgende kunt beginnen. Dit is hoe de meeste huidige AI-taalmodellen werken (genaamd "Autoregressieve" modellen). Het is als een zeer zorgvuldige, langzame typist die nooit een fout maakt maar er eeuwig over doet om een zin af te maken.

Stel je nu een nieuwe methode voor waarbij je een hele zin in één keer kunt typen, er naar kunt kijken, en vervolgens de fouten in alle woorden tegelijkertijd kunt herstellen. Dit is sneller, maar meestal lijdt de kwaliteit van het verhaal eronder omdat de AI in de war raakt door alles tegelijkertijd te proberen te corrigeren.

Nemotron-TwoTower is een nieuwe uitvinding die probeert het beste van beide werelden te combineren: de snelheid van alles tegelijk typen, met de hoge kwaliteit van de zorgvuldige, woord-voor-woord typist.

Hier is hoe het werkt, met behulp van een eenvoudige analogie:

De Twee Torens: De Bibliothecaris en de Redacteur

De onderzoekers hebben een systeem gebouwd met twee duidelijke "torens" (onderdelen van de AI) die samenwerken, als een team van twee mensen:

De Bevroren Context Toren (De Bibliothecaris):
- Rol: Dit is de "expert" die het verhaal tot nu toe kent. Het is een vooraf getrainde AI die bevroren (vastgezet) is. Het werkt als een strikte bibliothecaris die het verhaal woord voor woord van het begin tot het einde leest.
- Taak: Het verandert niet. Het houdt alleen een perfect, georganiseerd verslag bij van alles wat tot nu toe is geschreven. Het vertelt de andere toren: "Dit is de context van het verhaal tot op dit punt."
- Waarom het belangrijk is: Omdat het bevroren is, behoudt het alle oorspronkelijke intelligentie en kennis van het enorme 30-miljard parameters model waar het van is gebouwd. Het vergeet nooit en raakt niet in de war.
De Trainbare Diffusion Denoiser Toren (De Redacteur):
- Rol: Dit is de "snelle werker." Het is een trainbare AI die mag veranderen en leren.
- Taak: In plaats van één woord tegelijk te schrijven, neemt het een blok van 16 woorden (of tokens) die momenteel leeg zijn (gemaskeerd). Het kijkt naar de aantekeningen van de "Bibliothecaris" en probeert alle 16 lege plekken tegelijkertijd in te vullen.
- Het Proces: Het krijgt het niet meteen perfect. Het maakt een gok, kijkt dan naar zijn eigen gok en de aantekeningen van de Bibliothecaris, en verfijnt de woorden. Dit doet het herhaaldelijk (iteratief) totdat het blok woorden schoon is en logisch is.
- De Magie: Omdat het alle 16 woorden tegelijkertijd kan bekijken en samen kan corrigeren, is het veel sneller dan één voor één schrijven.

Hoe ze samenwerken (De Lopende Band)

Stel je een fabriekslopende band voor:

De Bibliothecaris leest de prompt en de woorden die al geschreven zijn, en houdt een perfect mentaal evenbeeld van het verhaal bij.
De Redacteur pakt een leeg stuk papier (16 woorden lang).
De Redacteur vraagt aan de Bibliothecaris: "Wat komt er nu?" en de Bibliothecaris biedt de context aan.
De Redacteur vult de 16 lege plekken in, controleert zijn werk en herstelt eventuele fouten.
Zodra de Redacteur er zeker van is dat de 16 woorden goed zijn, worden ze "gecommitteerd" (definitief gemaakt).
De Bibliothecaris werkt zijn mentale evenbeeld bij met deze nieuwe 16 woorden.
De Redacteur pakt het volgende lege blok van 16 woorden, en de cyclus herhaalt zich.

De Resultaten: Snelheid vs. Kwaliteit

Het paper beweert dat dit systeem een "sweet spot" bereikt:

Snelheid: Het is 2,42 keer sneller dan de traditionele methode van één woord tegelijk. Het is alsof je overstapt van een slak naar een sprinter.
Kwaliteit: Het behoudt 98,7% van de oorspronkelijke kwaliteit van het model. Het heeft niet veel intelligentie verloren om deze snelheid te winnen.
Efficiëntie: Ze hebben deze nieuwe "Redacteur"-toren getraind op ongeveer 2,1 biljoen woorden, wat een fractie is van de 25 biljoen woorden die werden gebruikt om de oorspronkelijke "Bibliothecaris" te trainen. Dit betekent dat ze niet de hele AI opnieuw hoefden te leren; ze hebben alleen de Redacteur geleerd hoe hij de aantekeningen van de Bibliothecaris moet gebruiken.

Waarom dit anders is dan eerdere pogingen

Eerdere pogingen probeerden één enkel brein te gebruiken voor zowel beide taken: het onthouden van het verhaal én het corrigeren van de woorden tegelijkertijd. Het paper stelt dat dit is alsof je een persoon vraagt om zowel een perfect geheugenbewaarder als een snelle redacteur te zijn tegelijkertijd — dat is te veel werk, en ze doen uiteindelijk geen van beide taken perfect.

Door de rollen te splitsen in twee torens (één bevroren en één trainbaar), laten ze elk deel doen waar het het beste in is. De Bibliothecaris blijft perfect, en de Redacteur wordt snel.

De "Vertrouwen"-truc

Het systeem heeft ook een slimme functie genaamd "confidence unmasking".

Als de Redacteur zeer zeker is van een woord, legt hij het direct vast.
Als hij onzeker is, laat hij dat woord leeg (gemaskeerd) en probeert hij het in de volgende ronde van redigeren te corrigeren.
Dit betekent dat het geen tijd verspilt aan het controleren van woorden waarvan het al weet dat ze juist zijn, maar extra tijd besteedt aan het polijsten van de lastige onderdelen.

Samenvatting

Nemotron-TwoTower is een manier om AI-tekstgeneratie veel sneller te maken zonder het "dommer" te maken. Dit doet het door de taak van het "onthouden van het verhaal" (die traag en perfect blijft) te scheiden van het "schrijven van de volgende brok" (die snel en iteratief wordt). Het resultaat is een systeem dat verhalen bijna net zo goed schrijft als de oude trage methode, maar meer dan twee keer zo snel is.

Technische Samenvatting: Nemotron-TwoTower

Probleemstelling

Autoregressieve (AR) taalmodellen domineren de tekstgeneratie, maar lijden aan een doorvoergroei-bottleneck door hun sequentiële, één-token-tegelijk-decoderingproces. Discrete diffusie-taalmodellen bieden een veelbelovend alternatief door tokens parallel te genereren en deze iteratief te verfijnen, wat potentieel een hogere doorvoer en fijnmazigere controleerbaarheid oplevert. De huidige diffusie-benaderingen vertrouwen echter meestal op één enkel netwerk dat twee verschillende rollen tegelijkertijd vervult: het representeren van schone context-tokens en het iteratief denoisen van gecorrumpeerde tokens. Deze verstrengeling dwingt een enkele set gewichten om twee conflicterende doelstellingen te dienen, wat de capaciteit van het model om uit te blinken in een van beide rollen beperkt. Bovendien blijft het onduidelijk of het volledig ontkoppelen van deze rollen haalbaar is op grote schaal, met name op moderne hybride architecturen die Mamba, attention en Mixture-of-Experts (MoE) lagen combineren.

Methodologie

De auteurs stellen TwoTower voor, een blokwijze autoregressief diffusiemodel dat de contextrepresentatie en de denoiser-rollen ontkoppelt in twee aparte towers, gebouwd op de Nemotron-3-Nano-30B-A3B hybride architectuur (die Mamba-2, self-attention en MoE-lagen afwisselt).

Architectuur

Het model maakt gebruik van twee kopieën van het gepre-trainde netwerk met complementaire rollen:

Frozen AR Context Tower: Deze tower blijft bevroren en fungeert als een causale autoregressieve model over de prompt en eerder gecommitteerde tokens. Het verwerkt schone tokens om laag-gealigneerde Key-Value (KV) caches en Mamba-states te produceren. Het behoudt de oorspronkelijke autoregressieve capaciteiten van de backbone en handhaaft herbruikbare staten over blokken heen.
Trainable Diffusion Denoiser Tower: Deze tower wordt getraind om ruisige blokken te verfijnen. Het maakt gebruik van bidirectionele blok-attention binnen het huidige ruisige blok (waardoor tokens naar elkaar kunnen attentionen), terwijl het causale cross-attention behoudt naar de overeenkomstige lagen van de bevroren context tower. Deze laag-gealigneerde cross-attention geeft de denoiser toegang tot de representaties van de backbone op meerdere schalen, in tegenstelling tot eerdere methoden die alleen de uiteindelijke hidden state broadcasten.

Generatieproces

Generatie verloopt blok voor blok (Algoritme 1):

De context tower verwerkt de prompt en gecommitteerde tokens causaal.
Een nieuw blok wordt geïnitialiseerd met $S$ gemaskeerde tokens.
De denoiser tower verfijnt dit blok iteratief over $T$ stappen. In elke laag attentiont de denoiser naar de KV-cache van de context tower van voorgaande blokken en naar zijn eigen bidirectionele KV-cache voor het huidige blok.
Zodra een blok voldoende verfijnd is (gebaseerd op betrouwbaarheidsdrempels), wordt het gecommit. De context tower werkt vervolgens zijn staten bij met de nieuwe schone tokens, en het proces herhaalt zich voor het volgende blok.

Training en Conditionering

Masked Diffusion: De denoiser wordt getraind met een gemaskeerde diffusie-doelstelling. Schone blokken worden gecorrumpeerd door tokens te vervangen door [MASK] volgens een lineair schema. Het model minimaliseert de negatieve log-likelihood van de originele tokens op de gemaskeerde posities.
Time Conditioning: De denoiser is geconditioneerd op de diffusie-tijdstap $t$ via adaptive layer normalization (adaLN), een techniek die veel voorkomt bij beeld-diffusie maar minder vaak wordt gebruikt in gemaskeerde taalmodellen. Dit voegt minimale parameters toe (~1,5M) maar verbetert de kwaliteit van de sampling.
Curriculum: De training volgt een twee-fasen curriculum. Fase 1 gebruikt een diverse data-blend voor brede dekking, terwijl Fase 2 bronnen gericht op hoogwaardige content en STEM-onderwerpen zwaarder weegt. De trainingsblokgrootte wordt geleidelijk verminderd (van $S=32$ naar $S=16$ ) om de balans tussen parallellisme en conditionering-kwaliteit te bewaken.
Sampling: De auteurs maken gebruik van een confidence-unmasking strategie (Algoritme 2). Bij elke stap voorspelt de denoiser alle gemaskeerde tokens parallel; tokens met een betrouwbaarheid boven een drempelwaarde $\gamma$ worden gecommit, terwijl onzekere tokens gemaskeerd blijven voor verdere verfijning. Dit maakt het aantal gecommitteerde tokens adaptief.

Belangrijkste Resultaten

Geëvalueerd op de Nemotron-3-Nano-30B-A3B backbone (30B parameters, hybride MoE), demonstreert Nemotron-TwoTower het volgende:

Kwaliteit-Doorvoer Afweging: Het model behoudt 98,7% van de geaggregeerde benchmarkkwaliteit van de autoregressieve baseline, terwijl het een 2,42× verbetering bereikt in de wall-clock generatie-doorvoer.
Benchmark Prestaties:
- Algemene Kennis: De prestaties blijven binnen ~1 punt van de AR-baseline.
- Code en Wiskunde: Toont een bescheiden degradatie vergeleken met de baseline.
- Gezond Verstand en Meertaligheid: Prestaties worden hersteld of licht verbeterd.
Design Ablaties:
- Bidirectionele Mamba: Testen van een bidirectionele Mamba-variant toonde marginale kwaliteitswinsten maar verdubbelde de SSM-computatie; het definitieve ontwerp houdt Mamba causaal.
- Time Conditioning: Expliciete tijd-conditionering verbeterde de scores voor generatie, code en wiskunde aanzienlijk.
- Tower Decoupling: Het bevroren houden van de context tower en het trainen van een aparte denoiser leverde de beste resultaten op. Het koppelen van gewichten tussen de towers of het voortzetten van AR-training op de context tower leidde tot significante nauwkeurigheidsverliezen.
Blokgrootte Sensitiviteit: Kleinere trainingsblokgroottes ( $S=16$ ) verbeterden de kwaliteit ten opzichte van grotere maten ( $S=128$ ), maar verminderden de doorvoer. De auteurs kozen $S=16$ als standaard om de balans tussen kwaliteitsbehoud en snelheid te vinden. Sampling met blokken groter dan de trainingsblokgrootte resulteerde in een ernstige prestatiedegradatie.

Betekenis en Claims

Het artikel claimt dat Nemotron-TwoTower succesvol aantoont dat gepre-trainde autoregressieve representaties een trainbare diffusie-denoiser kunnen ondersteunen zonder de volledige model te hoeven pre-trainen. Door de context- en denoiser-rollen te ontkoppelen, behoudt de aanpak de brede capaciteiten van het oorspronkelijke 30B hybride MoE-model, terwijl de voordelen van parallelle generatie via diffusie worden ontsloten.

De auteurs benadrukken dat deze kwaliteitsherstel wordt bereikt door adaptatie op een fractie van de data die werd gebruikt voor de oorspronkelijke pretraining (~2,1T tokens versus 25T tokens). Dit werk vestigt een nieuwe Pareto-frontier voor taalmodellen en biedt een levensvatbaar pad naar hogere doorvoer bij generatie zonder de fundamentele kwaliteit van grootschalige autoregressieve modellen op te offeren. De code en modelgewichten zijn vrijgegeven om verder onderzoek in deze richting te faciliteren.