🤖 machine learning

The Diffusion Duality, Chapter II: $Ψ$ -Samplers

Dit artikel introduceert een familie van Predictor-Corrector-samplers voor discrete diffusie die het prestatieplateau van ancestrale sampling doorbreken om de generatiekwaliteit met meer stappen te verbeteren, en stelt tegelijkertijd een geheugenefficiënt trainingscurriculum voor dat de opvatting uitdaagt dat Masked diffusion de superieure toekomst voor taalmodellering is.

Oorspronkelijke auteurs: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te schrijven, maar in plaats van te beginnen met een blanco pagina en woord voor woord te schrijven (zoals een traditionele schrijver), begin je met een pagina vol statische ruis die je geleidelijk opschuurt totdat een coherent verhaal naar voren komt. Zo werken Diffusiemodellen. Het zijn krachtige AI-tools die worden gebruikt om afbeeldingen en tekst te genereren.

Er is echter een addertje onder het gras. Wanneer deze modellen proberen tekst te genereren, raken ze vaak vast in een "goed genoeg"-lus. Als je hen vraagt een lange zin te schrijven, beginnen ze misschien sterk maar verliezen ze kwaliteit naarmate ze verder gaan, of blijven ze vastzitten in het herhalen van dezelfde patronen.

Dit artikel, getiteld "The Diffusion Duality, Chapter II: Ψ-Samplers", introduceert een nieuwe reeks tools (genaamd Duo++ en Ψ-samplers) die deze problemen oplossen. Hier is de uiteenzetting in eenvoudige bewoordingen:

1. Het probleem: De "een-en-klaar"-fout

Stel je traditionele tekstgeneratie (zoals standaard AI-chatbots) voor als een trein die vooruit beweegt op een spoor. Zodra een trein een station passeert, kan hij niet terug. Als de AI vroeg een fout maakt, moet hij doorgaan met schrijven vanuit die fout, wat vaak de hele zin verpest.

Sommige nieuwere modellen (genaamd Masked Diffusion Models) zijn beter omdat ze een woord kunnen "hermaskeren" (verbergen) en opnieuw proberen. Maar de auteurs ontdekten dat de modellen waarop ze zich richtten (Uniform-State Diffusion Models) nog beter waren in het oplossen van fouten vroegtijdig, maar dat ze een "glazen plafond" bereikten. Hoeveel tijd je hen ook gaf om na te denken (meer stappen), hun kwaliteit stopte met verbeteren. Ze waren als een student die hard studeert, maar na een bepaald punt stopt met leren.

2. De oplossing: De "Redacteur en het vangnet" (Ψ-Samplers)

De auteurs bedachten een nieuwe manier om tekst te genereren, genaamd Ψ-samplers. Stel je een schrijver voor die aan een concept werkt:

De Predictor (Het Concept): De AI raadt wat het volgende woord zou moeten zijn.
De Corrector (De Redacteur): Dit is het magische deel. Bij de oude methoden was een woord, eenmaal geschreven, vergrendeld. Bij deze nieuwe methode mag de "Redacteur" zeggen: "Wacht, dat woord past niet. Laten we het verbergen en een ander proberen", zelfs als het al geschreven was.

Het artikel noemt dit een Predictor-Corrector-systeem. Het is als een vangnet dat de AI opvangt als hij begint te vallen. De auteurs bewezen dat door dit "vangnet" (dat ze een Ψ-posterior noemen) toe te voegen, de AI zijn schrijfkwaliteit kan blijven verbeteren naarmate je hem meer tijd geeft om na te denken. In tegenstelling tot de oude methoden die tegen een glazen plafond aanliepen, worden deze nieuwe samplers steeds beter naarmate je hen meer stappen geeft.

Het resultaat:

Voor tekst: De nieuwe methode schrijft betere zinnen met minder verwarring (lagere "perplexiteit") dan de vorige beste methoden, vooral wanneer er meer tijd wordt gegeven om na te denken.
Voor afbeeldingen: Het creëert ook scherpere, helderdere afbeeldingen (betere FID-scores op CIFAR-10) dan voorheen.

3. De efficiëntie-hack: Het "slimme menu" (Fast Curriculum)

Het trainen van deze AI-modellen lijkt meestal op het proberen om een woordenboek te lezen waarbij elk woord een andere smaak ijs is. Je moet ze allemaal proeven om de juiste mix te vinden. Dit kost enorme hoeveelheden computergeheugen en tijd.

De auteurs beseften dat wanneer de AI tijdens het trainen "nadenkt", het meestal alleen om de top paar "smaken" (woorden) gaat en de rest negeert. De andere smaken zijn zo onwaarschijnlijk dat ze net zo goed nul kunnen zijn.

Dus bouwden ze een "Fast Curriculum" (een trainingschema). In plaats van het hele woordenboek te proeven, kijkt de AI nu naar een slim menu dat alleen de top 2 of 3 meest waarschijnlijke opties bekijkt.

De analogie: Stel je voor dat je eten bestelt. In plaats van een menu van 10.000 items te lezen, kijk je alleen naar de top 3 items die de chef aanbeveelt. Je krijgt hetzelfde geweldige maal, maar je bespaart 33% van de tijd en het geheugen.
Het resultaat: Ze trainden het model 25% sneller en gebruikten 33% minder geheugen, zonder verlies van kwaliteit in het eindproduct.

Samenvatting van de claims

Het artikel claimt drie hoofdzaakken:

Nieuwe sampling-methode: Ze creëerden een algemene methode (Ψ-samplers) die AI in staat stelt om zichzelf te "hermaskeren" en fouten te corrigeren tijdens het genereren van tekst en afbeeldingen, wat leidt tot resultaten van hogere kwaliteit die blijven verbeteren met meer tijd.
Beter prestatieniveau: Hun nieuwe model (Duo++) presteert beter dan eerdere state-of-the-art modellen op tekstgeneratie (OpenWebText) en afbeeldingsgeneratie (CIFAR-10).
Efficiëntie: Ze maakten het trainingsproces veel goedkoper en sneller door het "ruis" in de data te negeren, wat het geheugengebruik met een derde verlaagde en het trainen met een kwart versnelde.

Kortom, ze gaven de AI een betere redacteur en een slimmere manier om te studeren, waardoor het betere verhalen schrijft en betere afbeeldingen tekent zonder dat een supercomputer nodig is om dit te doen.

Technische Samenvatting: De Diffusiedualiteit, Hoofdstuk II: Ψ-Samplers

Probleemstelling

Discrete diffusiemodellen zijn een krachtig alternatief voor autoregressieve modellen voor taal- en beeldgeneratie naar voren gekomen, met parallelle decoding en bidirectionele context. Onder deze modellen blinken Uniform-State Diffusiemodellen (USDMs) uit in generatie met weinig stappen en begeleide taken vanwege hun vermogen om zichzelf te corrigeren door tokens meerdere keren te herzien. USDMs staan echter voor twee kritieke beperkingen:

Plateau in Steekproefkwaliteit: Standaard voorouderlijke samplers voor USDMs slagen er niet in de generatiekwaliteit te verbeteren naarmate het aantal steekproefstappen (NFEs) toeneemt, in tegenstelling tot hun prestaties in regimes met weinig stappen.
Inefficiëntie in Training: Eerdere pogingen om de waarschijnlijkheidskloof tussen USDMs en Masked Diffusion Models (MDMs) te verkleinen via curriculum learning (bijv. Duo) zijn rekenkundig duur, vereisen een hoog geheugengebruik en lange trainingstijden vanwege de noodzaak om hoogdimensionale latente vectoren te materialiseren tijdens de trainingsfase.

Hoewel Masked Diffusion Models (MDMs) over het algemeen hogere waarschijnlijkheden bereiken, lijden ze aan cumulerende fouten tijdens inferentie omdat tokens, eenmaal ongemaskerd, niet opnieuw gemaskerd kunnen worden. Recent werk over Predictor-Corrector (PC) methoden (bijv. ReMDM) heeft MDMs verbeterd door hermaskering mogelijk te maken, maar vergelijkbare vooruitgang voor USDMs is onderbelicht; bestaande PC-methoden voor USDMs presteren vaak slechter dan voorouderlijke samplers.

Methodologie

Het artikel introduceert Duo++, een raamwerk dat deze uitdagingen aanpakt via twee primaire innovaties: $\Psi$ -samplers voor inferentie en een schaalbaar curriculum voor training.

1. $\Psi$ -Posteriors en $\Psi$ -Samplers

De auteurs stellen een familie van niet-Markoviaanse posteriors voor, genaamd $\Psi$ -posteriors, die eerdere PC-methoden generaliseren naar willekeurige ruisprioriën (zowel Masked als Uniform).

Definitie: De $\Psi$ -posterior wordt gedefinieerd als een lineaire superpositie van de standaard reverse posterior ( $q_{s|t}$ ) en de marginale van het forward proces ( $q_s$ ):
$\Psi_{s|t}(\cdot|x^\ell, z^\ell_t) = \kappa_t q_{s|t}(\cdot|z^\ell_t, x^\ell) + (1-\kappa_t) q_s(\cdot|x^\ell)$
waarbij $\kappa_t \in [0, 1]$ een tijdsafhankelijke coëfficiënt is.
Mechanisme: Deze formulering stelt de sampler in staat ruis toe te voegen (via de $q_s$ $q_{s}$ -term) tijdens het generatieproces.
- Voor MDMs maakt dit hermaskering mogelijk: tokens die eerder zijn gedecodeerd, kunnen terugkeren naar de gemaskerde toestand als de denoiser een fout maakt, waardoor cumulerende fouten worden gecorrigeerd.
- Voor USDMs zorgt dit ervoor dat elk token een niet-nul kans behoudt om te worden gestreept, zelfs als de denoiser een bijna-nul kans toekent, waardoor de sampler niet vastloopt in lokale optimums.
Theoretische Garantie: De $\Psi$ -posteriors zijn zo ontworpen dat ze exact dezelfde marginaal delen als het standaard Markoviaanse discrete diffusieproces. Dit zorgt ervoor dat, gegeven voldoende steekproeven, het proces convergeert naar de juiste dataverdeling.
Generalisatie: Het raamwerk omvat bestaande PC-methoden (bijv. ReMDM, Campbell et al., Gat et al.) als speciale gevallen waarbij specifieke schema's voor $\kappa_t$ worden gekozen.

2. Schaalbaar Curriculum voor Snellere Training

Om de rekenkundige bottleneck van de curriculum learning-strategie voorgesteld in Duo (Sahoo et al., 2025a) aan te pakken, introduceren de auteurs een geheugenefficiënte implementatie.

Exploitatie van Sparsiteit: Het oorspronkelijke curriculum vervangt discrete token-ingangen door low-temperature softmax-relaxaties van Gaussische latente variabelen. Voor grote vocabulaires ( $K > 100.000$ ) is het materialiseren van de volledige $K$ -dimensionale gewichtsvector onuitvoerbaar.
Top- $k$ Benadering: De auteurs merken op dat bij lage temperaturen de softmax-verdeling spaarzaam is en de massa concentreert op slechts enkele waarden. Zij stellen voor om de volledige lineaire combinatie te benaderen met alleen de top- $k$ waarden ( $k \ll K$ ).
Efficiënt Steekproeven: In plaats van de volledige vector te genereren en te sorteren, gebruikt de methode ordestatistieken om de top- $k$ waarden en hun bijbehorende indexen direct te steekproeven uit de onderliggende Gaussische verdelingen zonder de volledige vector te materialiseren.
Normalisatie: Een gesloten vorm-uitdrukking is afgeleid om de softmax-normalisator ( $\tilde{Z}$ ) te benaderen door rekening te houden met de gestreepte top- $k$ termen en de verwachte bijdrage van de niet-gestreepte termen.
Efficiëntie: Deze aanpak verlaagt het piekgeheugengebruik met 33% en versnelt de training met 25% terwijl dezelfde waarschijnlijkheidsprestaties worden behouden.

Belangrijkste Bijdragen

$\Psi$ -Posteriors: Een unificerend raamwerk voor discrete diffusie dat niet-Markoviaanse superpositieposteriors introduceert, waardoor Predictor-Corrector-steekproeven mogelijk zijn voor willekeurige ruisprioriën (Masked en Uniform) terwijl marginale consistentie wordt behouden.
$\Psi$ -Samplers: Een familie van samplers die eerdere PC-methoden (inclusief ReMDM) generaliseert. Empirisch stellen ze USDMs in staat beter te schalen met NFEs, waardoor de prestatiekloof met MDMs in tekstgeneratie wordt gedicht en ze deze in beeldgeneratie overtreffen.
Efficiënt Curriculum: Een schaalbare trainingsstrategie die gebruikmaakt van de sparsiteit van low-temperature softmax-relaxaties om geheugen- en rekenkosten aanzienlijk te verlagen zonder de modelkwaliteit te offeren.

Experimentele Resultaten

Taalmodelleren (OpenWebText)

Prestaties: $\Psi$ -samplers verbeteren de Generatieve Perplexiteit (Gen. PPL) voor USDMs aanzienlijk in vergelijking met voorouderlijke steekproeven.
Schalen: In tegenstelling tot voorouderlijke steekproeven, die plateaueren naarmate NFEs toenemen, blijven $\Psi$ -samplers verbeteren met meer stappen. Bij een gelijkgestelde unigram-entropie (diversiteit) bereikt Duo++ met $\Psi$ -samplers een lagere Gen. PPL dan MDLM met ReMDM.
Downstream Taken: Duo++ komt overeen met de prestaties van het originele Duo-model op meerkeuzevraagtaken (bijv. ARC, HellaSwag) terwijl 25% minder FLOPs worden gebruikt.

Beeldmodelleren (CIFAR-10)

Kwaliteit: Op CIFAR-10 bereikt Duo++ met $\Psi$ -samplers een superieure FID en Inception Score (IS) in vergelijking met zowel voorouderlijke steekproeven als ReMDM.
Schalen: De verbetering in beeldkwaliteit is consistent over verschillende aantallen steekproefstappen, waarbij Duo++ MDLM-varianten overtreft.

Trainingsefficiëntie

Geheugen & Snelheid: Het voorgestelde efficiënte curriculum verlaagt het piekgeheugengebruik met 33% en verkort de totale trainingstijd met 25% in vergelijking met het originele Duo-curriculum.
Waarschijnlijkheid: De modellen die zijn getraind met het efficiënte curriculum bereiken een vergelijkbare perplexiteit op LM1B en OpenWebText als de originele Duo-modellen.

Betekenis en Claims

Het artikel betoogt dat de aanname dat Masked Diffusion de onvermijdelijke toekomst is van op diffusie gebaseerde taalmodelleren, vraagtekens zet. Door $\Psi$ -samplers in te voeren, tonen de auteurs aan dat Uniform-State Diffusiemodellen kunnen bereiken:

Superieur Schalen: Prestaties die blijven verbeteren met verhoogde steekproefstappen, in tegenstelling tot voorouderlijke samplers.
Concurrerende of Superieure Kwaliteit: Het evenaren of overtreffen van MDMs in tekstgeneratie (in combinatie met PC-steekproeven) en het overtreffen van hen in beeldgeneratie.
Praktische Efficiëntie: Een trainingspijplijn die aanzienlijk geheugen- en tijdsefficiënter is dan eerdere curriculum learning-aanpakken.

Het werk suggereert dat de "dualiteit" tussen Gaussische en discrete diffusie, gecombineerd met niet-Markoviaanse steekproefstrategieën, een robuuste en schaalbare weg voorwaarts biedt voor discrete generatieve modellering, wat de dominantie van gemaskerde benaderingen uitdaagt.