Technische Samenvatting: Continue Diffusie Schaalt Concurrentieel met Discrete Diffusie voor Taal

Probleemstelling

Hoewel diffusiemodellen aanzienlijke aandacht hebben gekregen in taalmodelering, werd continue diffusie historisch gezien als minder schaalbaar dan discrete diffusie en autoregressieve (AR) modellen. Eerdere studies, met name het oorspronkelijke Plaid-werk, rapporteerden een aanzienlijke rekenkundige kloof (64×) voor continue diffusie om de waarschijnlijkheid van AR-modellen te evenaren. Deze prestatieverschillen hebben geleid tot een heersend narratief dat continue diffusie inherent niet schaalbaar is voor taaltoepassingen op grote schaal. De kernuitdaging die door dit artikel wordt aangepakt, is het bepalen of deze kloof een intrinsieke beperking van continue diffusie is of een gevolg van incompatibele experimentele opstellingen en schaalingsanalyses.

Methodologie

De auteurs introduceren RePlaid, een herziene versie van het Plaid-likelihood-gebaseerde continue diffusietaalmodel (DLM), ontworpen om strikt te aligneren met moderne discrete DLM-praktijken.

1. Architecturale Alignering

Om een eerlijke vergelijking te waarborgen, adopteert RePlaid exact dezelfde architectuur en trainingsprotocollen als de state-of-the-art discrete modellen (MDLM en Duo), zoals gedefinieerd door Sahoo et al. [51]. Belangrijke aligneringskenmerken zijn:

• Transformer-ruggengraat: Gebruik van een Diffusion Transformer (DiT) met bidirectionele aandacht, RoPE (Rotary Position Embeddings) en AdaLN-Zero-modulatie.
• Optimalisatie: Identieke hyperparameters (AdamW, cosine learning rate-schedule, gewichtsverval) en dataset (SlimPajama) als de discrete baselines.
• Numerieke precisie: Verwijdering van FP32-only logit-koppen die in het oorspronkelijke Plaid werden gebruikt, om numerieke verstorende factoren te elimineren.
• Embeddings: Behoud van de kerninnovatie van Plaid: leerbare, laagdimensionale ($d_e=16$), lengte-genormaliseerde embeddings, die aanzienlijk goedkoper te berekenen zijn dan de hoogdimensionale one-hot embeddings die in andere continue modellen worden gebruikt.

2. Gecentraliseerde Schaalingsanalyse

Het artikel voert de eerste IsoFLOP-analyse uit die continue en discrete DLM's vergelijkt. Modellen van variërende grootte worden getraind tot vaste rekenbudgetten ($C \in \{6 \times 10^{18}, \dots, 1 \times 10^{20}\}$ FLOPs) om rekenoptimal modelgroottes en validatieverliezen te identificeren. Dit maakt een directe vergelijking van schalingswetten mogelijk tussen RePlaid, MDLM, Duo en AR-baselines.

3. Theoretisch Onderzoek

De auteurs analyseren het Evidence Lower Bound (ELBO)-doel om te begrijpen waarom likelihood-gebaseerde training succesvol is waar heuristische methoden (zoals cross-entropy of flow matching) mogelijk moeite hebben. Ze onderzoeken:

• De relatie tussen het geleerde ruis-schema en de verdeling van het ontdoen van ruis.
• De geometrische eigenschappen van de geleerde token-embeddings onder likelihood-optimalisatie versus cross-entropy-optimalisatie.

Belangrijkste Bijdragen

1. RePlaid en Benchmarking

De auteurs introduceren RePlaid, dat een state-of-the-art perplexiteit (PPL) van 22,1 bereikt op OpenWebText onder continue DLM's. Dit presteert beter dan het oorspronkelijke Plaid (24,4), gelijktijdige continue modellen zoals LangFlow (32,2), en overtreft zelfs het discrete model Duo (25,2), terwijl het de prestaties van MDLM (23,1) benadert.

2. Gecentraliseerde Schalingswetten

In een gecentraliseerde setting toont RePlaid aan dat continue diffusie concurrentieel schaalt met discrete diffusie:

• Rekenkloof: RePlaid vereist slechts een 20× rekenoverhead ten opzichte van AR-modellen om hun validatieverlies te evenaren (een daling van de eerder geciteerde 64×).
• Parameter-efficiëntie: RePlaid bereikt zijn rekenoptimal grensvlak met 3,4× minder parameters dan AR-baselines en 1,8× minder parameters dan MDLM en Duo, terwijl het het verlies van Duo overtreft.
• Overtrainingsregime: In het overtrainingsregime (training buiten rekenoptimal budgetten) overtreft RePlaid consistent MDLM, wat wijst op superieure efficiëntie voor inferentie-intensieve scenario's.

3. Theoretische Inzichten

Het artikel biedt theoretische verklaringen voor het succes van RePlaid:

• Automatisch Ruis-schermen: Het optimaliseren van het ruis-schema om de variantie van de ELBO te minimaliseren, levert van nature een lineair cross-entropy (informatieverlies) schema in de tijd op. Dit verdeelt de moeilijkheid van het ontdoen van ruis gelijkmatig zonder heuristische tijdsreparameterisaties die in andere werken worden gebruikt.
• Embedding-geometrie: Het optimaliseren van embeddings via de likelihood-grens creëert gestructureerde, laag-rang geometrieën in de latente ruimte. Daarentegen verstoren het toevoegen van cross-entropy-termen of het gebruik van vaste embeddings deze structuur, wat leidt tot token-dispersie en een hogere perplexiteit. Het artikel toont aan dat het leren van de embedding-geometrie de primaire drijver van prestatiewinst is.

Resultaten

• Waarschijnlijkheid: Op OpenWebText bereikt RePlaid (met zelf-conditionering) een PPL van 22,1, het beste onder continue DLM's en superieur aan Duo (25,2) en LangFlow (32,2).
• Genereerde Kwaliteit: Met behulp van standaard DDPM-sampling genereert RePlaid tekst met hogere kwaliteit (lagere GenPPL) dan Duo en andere continue modellen over alle sampling-stappen heen.
• Diversiteit-Kwaliteit Trade-off: RePlaid behoudt een gunstige GenPPL-entropie-grensvlak. Hoewel zelf-conditionering kan leiden tot lagere entropie bij zeer hoge sampling-stappen, overtreft RePlaid over het algemeen discrete modellen (Duo, MDLM) en andere continue modellen (FLM, LangFlow) in de MAUVE-metriek, die zowel kwaliteit als diversiteit vastlegt.
• Sampling-efficiëntie: Hogere-orde ODE-oplossers (bijv. DPM-Solver++) verbeteren sampling met weinig stappen, maar convergeren naar de prestaties van de eerste-orde DDIM-oplosser bij hoge stap aantallen, waarbij de ancestrale DDPM-sampler het beste presteert.

Betekenis en Beweringen

Het artikel beweert dat continue diffusie, wanneer getraind via een principieel likelihood-gebaseerd doel (ELBO) en gealigneerd met moderne architecturale standaarden, een zeer concurrerend en schaalbaar alternatief is voor discrete DLM's.

De auteurs daag het narratief van inherente niet-schaalbaarheid uit door aan te tonen dat de eerder gerapporteerde 64× rekenkloof grotendeels een artefact was van incompatibele schaalingsanalyses en suboptimale opstellingen. Door de kloof te verkleinen naar 20× en superieure parameter-efficiëntie aan te tonen, suggereert het werk dat continue diffusie een levensvatbaar pad biedt naar efficiënte tekstgeneratie, met name door het potentieel voor controleerbaarheid en versnelling via ODE-oplossers te benutten.

Het artikel erkent bescheiden dat een 20× rekenkloof blijft bestaan ten opzichte van AR-modellen en identificeert leerbare token-embeddings als de kritische factor voor het succes van RePlaid. Voor toekomstig werk wordt voorgesteld om rijkere contextuele encoders en het potentieel voor schaling tijdens inferentie in de latente ruimte te onderzoeken, maar de huidige bijdrage is strikt beperkt tot het vaststellen van de concurrerende schalingswetten en theoretische onderbouwingen van likelihood-gebaseerde continue diffusie.