🤖 machine learning

BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers

Dit artikel introduceert BlockGen, een flexibel blokgewijs sequentiemodelleringsframework dat gemaskeerde en uniforme-toestand diffusie combineert met AR-geïnformeerde predictor-corrector sampling om aan te tonen dat hoewel uniforme diffusie beter presteert dan gemaskeerde diffusie bij blok-voor-blok generatie met weinig stappen, het prestatieverschil kleiner wordt of omdraait bij een toename van het aantal samplingstappen en specifieke blokgroottes.

Oorspronkelijke auteurs: Justin Deschenaux, Caglar Gulcehre

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Justin Deschenaux, Caglar Gulcehre

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven, maar dat je twee verschillende manieren hebt om dit te doen.

De Oude Manier (Autoregressief): Je schrijft één woord tegelijk, van links naar rechts. Zododat je een woord hebt geschreven, leg je het vast en ga je door naar het volgende. Dit is snel en betrouwbaar, maar als je een fout maakt in de eerste zin, kun je niet gemakkelijk teruggaan om het te herstellen zonder het hele ding opnieuw te schrijven. Bovendien duurt het, omdat je slechts één woord tegelijk kunt schrijven, lang voordat een lang verhaal af is.

De Nieuwe Manier (Diffusie): Stel je voor dat je begint met een pagina vol willekeurige onzin (zoals "xkq#z@!"). Dan is er een slimme redacteur die naar de hele pagina tegelijk kijkt en probeert een paar woorden aan te passen zodat ze logisch worden. Daarna kijkt de redacteur opnieuw en past nog een paar woorden aan. Dit proces herhaalt zich, waarbij de onzin langzaam verandert in een verhaal. Dit is geweldig omdat de redacteur naar het hele plaatje kan kijken en fouten overal op de pagina kan herstellen. Echter, dit "alles tegelijk" doen is meestal langzamer en het uiteindelijke verhaal is misschien niet zo perfect als bij de oude manier.

Onlangs ontdekten onderzoekers een derde manier: Blok-voor-blok. In plaats van één woord tegelijk te schrijven of de hele pagina tegelijk te herstellen, schrijf (of herstel) je het verhaal in kleine stukjes, zoals alinea's. Je voltooit alinea 1, legt deze vast, en gaat dan door naar alinea 2. Dit geeft je de snelheid van de oude manier, maar de flexibiliteit van de nieuwe manier.

Het Probleem dat het Papier Oplost

De auteurs, Justin Deschenaux en Caglar Gulcehre, merkten twee grote problemen op bij hoe mensen deze "Blok-voor-blok"-modellen testen:

Het "Willekeurige Gok"-probleem: Wanneer het model een fout maakt in een alinea, kozen de oude correctiemethoden gewoon willekeurige woorden om te herstellen. Het is alsof een leraar een leerling vertelt: "Verbeter een willekeurig woord in je essay," in plaats van specifiek aan te wijzen welke zin geen zin maakt.
Het "Eén-maat-past-iedereen"-probleem: Eerdere studies testten deze modellen met slechts één specifieke blokgrootte (bijv. altijd 16 woorden tegelijk). Maar misschien werkt een blok van 4 woorden beter voor sommige taken, en een blok van 32 voor andere. Niemand had geprobeerd dit te mengen.

De Oplossing: BlockGen

Ze hebben een nieuw systeem gebouwd genaamd BlockGen. Beschouw dit als een superflexibele schrijver die blokken van elke lengte kan afhandelen.

Het Mengen van Grootte: In plaats van het model te trainen om alleen in blokken van 16 woorden te schrijven, hebben ze het getraind op een mix van groottes: 1 woord, 2 woorden, 4 woorden, tot 16 of 32 woorden.
De Magische Truk: Omdat het model leerde om in al deze verschillende groottes te schrijven, leerde het een geheim: het kan een enkel woord even perfect schrijven (zoals de oude "Autoregressieve" manier) als het een hele alinea herstellen. Dit stelt het model in staat om zijn eigen "verifieerder" te zijn.

De Nieuwe Strategie: ARPC (De "Slimme Redacteur")

Het papier introduceert een nieuwe manier om tekst te genereren genaamd ARPC (Autoregressive-Informed Predictor-Corrector).

Zo werkt het met een creatieve analogie:
Stel je voor dat je een alinea schrijft met de "Blok-voor-blok"-methode. Je genereert een concept van de hele alinea.

De Eerste Pass: Het model schrijft de hele alinea snel.
De "Slimme Controle": Voordat je de alinea vastlegt, neemt het model even een snelle blik op zijn eigen werk. Het vraagt zichzelf: "Als ik dit woord-voor-woord zou schrijven (de oude betrouwbare manier), wat zou ik hier dan geschreven hebben?"
De Correctie: Als de snelle "woord-voor-woord" gok van het model erg afwijkt van wat het net heeft geschreven, weet het dat dat specifieke woord waarschijnlijk fout is. Het herschrijft alleen die specifieke slechte woorden.

Dit is veel slimmer dan de oude methode, die simpelweg willekeurige woorden zou herschrijven. Het is het verschil tussen een leraar die zegt "Verbeter een willekeurig woord" versus "Verbeter de zin waar je de verkeerde werkwoordsvorm hebt gebruikt."

Wat Ze Hebben Gevonden

De auteurs hebben dit getest op wiskundige problemen (GSM8K) en algemeen schrijven (OpenWebText).

Het "Uniform" vs. "Masked" Debat: In de wereld van diffusie zijn er twee hoofdtypen "redacteurs":
- Masked: De redacteur kan alleen woorden vervangen door een speciale "lege" token. Zodra een leegte wordt ingevuld, is deze vastgelegd.
- Uniform: De redacteur kan elk woord op elk moment in een ander woord veranderen.
- Eerdere bevinding: Wanneer men de hele pagina tegelijk herstelt, was de "Uniform" redacteur beter.
- BlockGen bevinding: Wanneer men blok-voor-blok werkt, is de "Uniform" redacteur nog steeds beter bij een eenvoudige pass. Echter, wanneer je de nieuwe "Slimme Controle" (ARPC) gebruikt, wordt de "Masked" redacteur eigenlijk iets beter bij taken van hoge kwaliteit (zoals wiskunde) omdat deze nauwkeuriger is.
Snelheid vs. Kwaliteit: De "Slimme Controle" (ARPC) stelt het model in staat om veel dichter bij de kwaliteit van de oude, langzame "woord-voor-woord" schrijvers te komen, maar doet dit veel sneller omdat het hele blokken tegelijk herstelt.
De Afweging: Het papier geeft toe dat het trainen van dit flexibele model duurder is (het kost meer computerkracht) dan het trainen van een standaard model. Ook zijn hun modellen nog kleiner dan de enorme AI-modellen die door grote techbedrijven worden gebruikt vandaag de dag, dus ze kunnen nog niet beweren dat dit voor elke mogelijke taak werkt.

In een Notendop

Het papier introduceert BlockGen, een flexibele AI die leert om in blokken van variërende groottes te schrijven. Door deze flexibiliteit te combineren met een "Slimme Controle" systeem (ARPC), dat de eigen kennis van het model gebruikt om alleen de specifieke fouten te vinden en te herstellen, hebben ze een methode gecreëerd die sneller is dan woord-voor-woord schrijven maar net zo accuraat, en slimmer dan eerdere "fix-it-all" methoden. Ze hebben aangetoond dat hoewel de "Uniform" benadering over het algemeen sterk is, het gebruik van deze slimme correctiemethode de regels verandert, waardoor de "Masked" benadering verrassend competitief wordt voor complexe taken.

Technische Samenvatting: BlockGen: Flexibele Blockwise Sequentie-modellering met Hybride Samplers

Probleemstelling

Autoregressieve (AR) Transformers domineren sequentiemodellering, maar lijden onder sequentiële generatielimieten (throughput/latentie) en causale aandacht-restricties die redeneertaken die bidirectionele context vereisen, hinderen. Discrete diffusiemodellen bieden een alternatief door ruisige sequenties iteratief te verfijnen, wat parallelle updates mogelijk maakt. Echter, recente vergelijkingen tussen Masked Diffusion Models (MDMs) en Uniform-State Diffusion Models (USDMs) hebben tegenstrijdige inzichten opgeleverd, afhankelijk van het samplingsregime:

Ancestral Sampling: USDMs presteren vaak beter dan MDMs op downstream-taken ondanks een slechtere perplexiteit, wat wordt toegeschreven aan het vermogen van USDMs om fouten te corrigeren (tokens kunnen tussen alle staten overgaan), terwijl MDMs tokens vastleggen zodra ze niet meer gemaskeerd zijn.
Blockwise Generation: Voorgaand werk vergelijkt grotendeels full-sequence diffusie. Het blijft onduidelijk of het voordeel van USDM standhoudt wanneer tokens blok voor blok worden gegenereerd (semi-autoregressief), een setting die KV-caching en snellere inferentie mogelijk maakt.
Informed Correctors: Bestaande vergelijkingen gebruiken vaak "on-informed" predictor-corrector (PC) samplers die ruis op willekeurige posities opnieuw injecteren. Het is onbekend hoe "informed" correctors (gericht op waarschijnlijke fouten) de MDM versus USDM rangschikking beïnvloeden, met name zonder hulpmodellen voor verificatie.

Methodologie: BlockGen

De auteurs introduceren BlockGen, een blockwise sequentiemodel dat getraind is over een mengeling van blokgroottes, geïnstantieerd met ofwel gemaskeerde of uniforme diffusie binnen blokken.

1. Mengvorm en Training

BlockGen definieert de sequentiedichtheid als een mengeling over $M$ blokgroottes $S = \{s_1, \dots, s_M\}$ :
$p_{\theta}^{\text{BlockGen}}(x) = \sum_{i=1}^M \gamma_i p_{\theta}^{(s_i)}(x)$
waarbij $p_{\theta}^{(s_i)}$ een geldige dichtheid is die gefactoriseerd is in blokken van grootte $s_i$ .

Gedeelde Denoiser: In plaats van aparte modellen te trainen, gebruikt een enkele gedeelde denoiser $\hat{x}_\theta$ de blokgrootte $L'$ als input, waarbij de aandacht-patronen dienovereenkomstig worden aangepast.
Likelihood Bounds: Het artikel leidt twee grenzen af voor de mengeling-dichtheid. Een strakkere log-sum-exp bound wordt gebruikt voor evaluatie, terwijl een lossere mixture likelihood bound (een verwachting over blokgroottes) wordt gebruikt voor training om computationele efficiëntie te behouden.
Gestratificeerde Sampling: Om variantie tijdens multi-GPU training te verminderen, worden blokgroottes geselecteerd via gestratificeerde sampling in plaats van i.i.d. sampling.

2. AR-Informed Predictor-Corrector (ARPC)

Een belangrijke bijdrage is de ARPC sampler, die de BlockGen-mengeling gebruikt om geïnformeerde correcties uit te voeren zonder een hulp-verifier.

Mechanisme: Tijdens de generatie, na standaard ancestral diffusiestappen, voert de sampler een "clean proposal" stap uit. Vervolgens voert het een tweede forward pass uit in AR-modus ( $L'=1$ ) met dezelfde denoiser om de voorgestelde tokens te scoren.
Scoring: Tokens met een lage AR log-likelihood worden geïdentificeerd als "onwaarschijnlijk" en worden opnieuw verruist (gecorrigeerd) naar een eerder ruisniveau.
Voordeel: Dit stelt het model in staat om zijn eigen AR-voorspellingen te gebruiken om diffusie-correcties te sturen, waardoor AR en diffusie paradigma's binnen één enkel model worden afgewisseld.

3. Block-Level Attention

BlockGen maakt gebruik van block-causal attention: tokens binnen een blok hebben bidirectionele aandacht, terwijl het blok causale aandacht heeft naar alle voorgaande blokken. Dit maakt KV-caching mogelijk over gedecodeerde blokken, wat de efficiëntievoordelen van semi-autoregressieve generatie behoudt.

Belangrijkste Resultaten

1. Wiskundig Redeneren (GSM8K)

Geëvalueerd op GSM8K met modellen getraind op TinyGSM:

Ancestral Sampling: In de block-by-block setting presteren USDMs beter dan MDMs, vooral in het regime met weinig stappen (lage NFE). Dit bevestigt dat het full-sequence USDM voordeel ook standhoudt bij blockwise generatie.
ARPC Sampling: Het prestatieverschil tussen USDMs en MDMs wordt kleiner en keert om bij een hoge NFE. Onder ARPC met 16-token blokken presteren MDMs licht beter dan USDMs op de GSM8K nauwkeurigheid.
ARPC vs. Baselines: ARPC presteert consistent beter dan zowel ancestral sampling als Entropy-Informed PC (EIPC) over de meeste NFE-budgetten. ARPC met MDMs benadert de prestaties van AR sampling met greedy decoding.

2. Taalmodellering (OpenWebText & LM1B)

Likelihood: Trainen over een mengeling van blokgroottes verbetert de perplexiteit aanzienlijk vergeleken met fixed-block modellen. BlockGen met gemaskeerde diffusie bereikt 17.5 Val. PPL op OpenWebText (tegenover 16.7 voor AR en 21.6 voor de beste fixed-block BDM), waardoor de kloof tussen diffusie en autoregressieve modellen wordt verkleind.
Sample Kwaliteit:
- Onder ancestral sampling bereiken USDMs een lagere Generatieve Perplexity (Gen. PPL) dan MDMs.
- Onder ARPC keert de trend om bij hogere NFE (bijv. 64 NFE/block), waarbij masked-ARPC een betere Gen. PPL frontier bereikt dan uniform-ARPC.
- ARPC verkleint de kloof tot AR, maar overtreft AR niet in Gen. PPL binnen het praktische lage-temperatuur regime.

Betekenis en Claims

Het artikel beweert twee openstaande vragen over discrete diffusie op te lossen:

Blockwise Validiteit: Het voordeel van uniform-state diffusie boven gemaskeerde diffusie, geobserveerd in full-sequence generatie, houdt ook stand bij block-by-block generatie onder ancestral sampling.
Informed Correction: De rangschikking tussen MDMs en USDMs is regime-afhankelijk. Terwijl USDMs uitblinken met eenvoudige ancestral of on-informed samplers, kunnen informed correctors (specifiek ARPC) dit gat dichten en de rangschikking zelfs omkeren, waarbij de voorkeur uitgaat naar gemaskeerde diffusie bij hogere compute-budgetten (NFE).

De auteurs benadrukken dat BlockGen een flexibel framework biedt dat tussen AR en pure diffusie interpoleert, waardoor een enkel model zowel een blockwise sampler als een AR verifier kan fungeren. Ze merken op dat hoewel hun empirische claims robuust zijn binnen de geteste budgetten en samplers, zij niet vaststellen of deze trade-offs standhouden op de schaal van grote taalmodellen (LLM's), aangezien hun experimenten beperkt zijn tot 170M-parameter backbones. Het werk suggereert dat de keuze van het diffusie-paradigma (gemaskeerd vs. uniform) niet universeel superieur is, maar sterk afhangt van de samplingstrategie en het compute-budget.