Technische Samenvatting: Discrete Stochastische Lokalisatie voor Niet-autoregressieve Generatie

Probleemstelling

Continue diffusie is een standaardkader geworden voor generatie in hoge dimensies voor afbeeldingen, video en audio, maar heeft consequent achtergehouden bij gemaskerde discrete diffusiemodellen (MDM's) in taalgeneratie. Bestaande continue diffusietaalmodellen opereren doorgaans over ruisbeïnvloede token-embeddings met behulp van Variance-Preserving (VP) of Variance-Exploding (VE) Gaussische ruis. De auteurs betogen dat de bottleneck niet de continuïteit zelf is, maar de keuze van representatie.

Bij standaard continue diffusie hangt het ontdoofingsproces af van een tijdstap-geïndexeerd ruisregime. Het model moet een tijdstap- of ruisniveau-label ontvangen om te kalibreren hoeveel bewijs de ruisbeïnvloede embedding bevat. Bijgevolg zijn ontdoofers in deze representatie zeer gevoelig voor tijdsconditionering om te onderscheiden tussen gemaskerde (nul-informatie) en onzekere (eindige-SNR) toestanden. Deze afhankelijkheid van expliciete tijdsconditionering voorkomt dat een enkel netwerk op natuurlijke wijze diverse inferentiepaden ondersteunt, zoals autoregressieve steekproefneming in willekeurige volgorde of hybride continue-discrete decoding, zonder aparte, steekproefspecifieke modellen of hertraining.

Methodologie: Discrete Stochastische Lokalisatie (DSL)

Het artikel introduceert Discrete Stochastische Lokalisatie (DSL), een continue-staatkader dat is ontworpen om de Bayes-optimale ontdoofder invariant te maken ten opzichte van het nominale signaal-ruisverhouding (SNR).

1. Eenheids-sfeer Token-geometrie

De kerninnovatie is het beperken van alle schone token-embeddings tot op de eenheids-sfeer ($\|x_i\|_2 = 1$). Onder een stochastisch lokalisatiekanaal waarbij de ruisbeïnvloede observatie $z_t = t x + \sqrt{t}\epsilon$ is, omvat de Bayes-posteriorfactorisatie een term die evenredig is met $t \|x\|_2^2$. Omdat de embeddings eenheidsnorm hebben, is $\|x\|_2^2$ constant voor elke zin van een gegeven lengte. Deze term valt weg tijdens normalisatie, waardoor de posterior – en dus de optimale ontdoofder – onafhankelijk is van de nominale SNR $t$.

De optimale ontdoofder wordt een functie van de ruisbeïnvloede staat $z$ alleen:
$$\hat{x}(z) = \mathbb{E}[x | z] = \frac{\mathbb{E}_P[x e^{x \cdot z}]}{\mathbb{E}_P[e^{x \cdot z}]}$$
Dit maakt het mogelijk dat één, tijds-agnostisch netwerk de hele familie van per-token SNR-paden bedient.

2. Per-token SNR-paden

Omdat de ontdoofder geen globaal tijdstap vereist, staat DSL toe dat elke tokenpositie evolueert onder zijn eigen willekeurige SNR-pad $\gamma_i(t)$. Dit verenigt verschillende inferentiestrategieën onder één model:

• Willekeurige-volgorde Autoregressief (ROAR): Het één voor één onthullen van tokens komt overeen met het aandrijven van specifieke $\gamma_i$ van 0 naar $\infty$ terwijl andere op 0 worden gehouden.
• Gemaskerde verfijning: Het opnieuw maskeren van tokens komt overeen met het resetten van hun $\gamma_i$ naar 0.
• Continue Diffusie: Het gezamenlijk verhogen van alle $\gamma_i$ komt overeen met standaard continue ontdoofing.

3. Trainingsdoel en Architectuur

Om één model te trainen voor deze diverse paden, hanteert DSL een mixed-support SNR-steekproefstrategie:

• Continue tak: Steekproeven van SNR's uit een log-normale verdeling om eindige-SNR-toestanden te dekken.
• Eindpunt-tak: Steekproeven uit een ROAR-stijl verdeling geconcentreerd nabij de gemaskerde ($\gamma=0$) en schone ($\gamma=\infty$) uitersten.

Beide takken worden getraind met één token-level cross-entropy (CE)-verlies. De auteurs rechtvaardigen dit door aan te tonen dat het minimaliseren van CE op de categorische token-posterior een surrogaat is voor de exacte pad-integraal Gemiddelde Kwartieke Fout (MSE) NLL, terwijl het pathologieën vermijdt die geassocieerd zijn met directe regressie in embedding-ruimte (zoals embedding-collaps of memorisatie).

De architectuur bevat een posterior-view converter die de ruisbeïnvloede embedding $z_i$ afbeeldt op een begrende mixtuur-van-tokens representatie $m_i$. Dit zorgt ervoor dat de invoer voor de Transformer-ruggengraat stabiel blijft en interpreteerbaar is als een kansverdeling over het vocabulaire, ongeacht het SNR-niveau.

Belangrijkste Bijdragen

1. Een Continue-Staatkader voor Discrete Generatie: DSL introduceert een stochastisch-lokalisatiekanaal over eenheids-sfeer embeddings waar de Bayes-optimale ontdoofder een functie is van de ruisbeïnvloede staat alleen, waardoor de noodzaak voor expliciete tijdsconditionering wordt weggenomen.
2. Een Praktisch Recept: Het artikel stelt een mixed-support SNR-steekproefstrategie voor die één ontdoofder traint op zowel eindpunt- (masker/onthullen) als eindige-SNR-toestanden, gekoppeld aan een converter die de continue posterior-geometrie overbrugt naar standaard Transformer-ruggengraten.
3. Bewijs over Paden: De auteurs tonen aan dat één DSL-checkpoint gemaskerde verfijning, autoregressieve steekproefneming in willekeurige volgorde en hybride continue-then-discrete steekproefneming kan ondersteunen zonder hertraining.

Experimentele Resultaten

De auteurs evalueerden DSL door een voorgetraind MDLM-checkpoint te fine-tunen op OpenWebText (OWT) en Text8.

• OpenWebText Generatie: DSL verbetert de distributieve trouw (gemeten met MAUVE) aanzienlijk over alle stapbudgetten ($T=128$ tot $T=1024$) in vergelijking met het basismodel MDLM.
  • Met een gemaskerde-verfijningsdecoder (ReMDM) bereikt DSL een MAUVE van 0,722 bij $T=1024$, wat beter presteert dan eerdere state-of-the-art methoden zoals PRISM-loop (0,527) en ADLM (0,699).
  • Zelfs zonder iteratieve verfijning (met een naïeve ROAR of vanilla MDLM decoder) presteert het DSL-fine-tuned checkpoint significant beter dan het basismodel, wat aangeeft dat de verbetering voortkomt uit de geleerde posterior en niet alleen uit het steekproefschema.
• Hybride Steekproefneming: Een hybride steekproefnemer die een korte continue ontdoofingsfase uitvoert gevolgd door discrete gemaskerde verfijning, bereikt coherente generatie in slechts 48 totale stappen (MAUVE 0,662), wat beter is dan niet-verfijnende basismodellen bij veel hogere stapcounts.
• Text8 Waarschijnlijkheid: Op de Text8-benchmark bereikt DSL een Bits Per Character (BPC) van $\le 1,45$. Hoewel dit een bovengrens (ELBO) is en niet direct vergelijkbaar met de exacte NLL van autoregressieve modellen, nadert het het bereik van gemaskerde discrete diffusiemodellen (MDLM $\le 1,40$) en verbetert het andere continue diffusie-basismodellen (Plaid $\le 1,48$).

Betekenis en Claims

Het artikel claimt dat de kloof tussen continue en discrete diffusie in taal niet te wijten is aan de aard van continuïteit, maar aan de representatie van het ruisregime. Door de corruptie te parametriseren zodat de ruisbeïnvloede staat alleen de schone-token-posterior bepaalt, verenigt DSL het "eindpunt-onthullend" gedrag van gemaskerde diffusie met de "continue verfijning" capaciteiten van diffusiemodellen.

De centrale claim is dat eindpunt-onthulling, gemaskerde verfijning en continue/hybride ontdoofing kunnen worden bediend door één posterior-schatting in plaats van dat er aparte, steekproefspecifieke modellen voor nodig zijn. Dit suggereert een nieuw paradigma voor niet-autoregressieve generatie waarbij het model een tijds-agnostische posterior-kaart leert, en het inferentiepad (AR, gemaskerd of hybride) dynamisch wordt bepaald op het moment van steekproefneming.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat hun evaluatie beperkt is tot OWT en Text8, en dat de gerapporteerde steekproefnemers (ReMDM-familie en hybride) geen exhaustief geoptimaliseerde decoding-beleid zijn, maar eerder bewijzen van concept die de flexibiliteit van de DSL-posterior demonstreren. Toekomstige werkrichtingen omvatten geoptimaliseerde hermaskering-schema's, grotere modellen en conditionele generatie.