Technische Samenvatting: Co-evolutionaire Continue Discrete Diffusie (CCDD)

1. Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) heeft beperkingen in standaard autoregressieve (AR) architecturen aan het licht gebracht, met name wat betreft complexe redeneertaken zoals Sudoku, graafconnectiviteit en formele taalherkenning. Theoretische analyse suggereert dat standaard transformers beperkt zijn tot de complexiteitsklasse $TC^0$, zelfs met logaritmische Chain-of-Thought (CoT)-stappen, terwijl geloopte transformers (LT) en continu redeneren methoden theoretisch $TC^1$ of hoger kunnen bereiken.

Er bestaat echter een aanzienlijke kloof tussen theoretische expressiviteit en empirische prestaties:

• Geloopte Transformers (LT): Hoewel ze theoretisch expressiever zijn, lijden ze onder slechte trainbaarheid door een gebrek aan tussentijdse supervisie, wat leidt tot out-of-distribution (OOD) problemen tijdens inferentie wanneer de loopdiepte afwijkt van de training.
• Continue Diffusiemodellen (CDM's): Deze modellen domineren theoretisch discrete tegenhangers in expressiviteit door te opereren in continue latente ruimtes en geloopte transformers te generaliseren. Toch presteren ze empirisch onder de discrete diffusiemodellen (DDM's) en AR-modellen. De auteurs schrijven dit toe aan praktische trainbaarheidsuitdagingen: grote beslissingsruimtes, lage kwaliteit embeddings en de combinatorische complexiteit van het decoderen van continue representaties terug naar discrete tokens.
• Discrete Diffusiemodellen (DDM's): Hoewel ze zeer trainbaar en effectief zijn, opereren ze in expliciete tokenruimtes, wat mogelijk informatie verliest tijdens het "logits $\to$ sample $\to$ embed" kwantisatieproces bij elke stap.

Het kernprobleem is het expressiviteit-trainbaarheid-dilemma: modellen met hoge theoretische expressiviteit (CDM's, LT's) zijn moeilijk te trainen, terwijl zeer trainbare modellen (DDM's, AR) mogelijk de benodigde latente redeneercapaciteiten missen voor complexe taken.

2. Methodologie: Co-evolutionaire Continue Discrete Diffusie (CCDD)

Het artikel stelt Coevolutionary Continuous Discrete Diffusion (CCDD) voor, een nieuw taalmodelleringsparadigma dat continue en discrete diffusieprocessen binnen één enkel kader verenigt.

2.1 Gezamenlijk Diffusieproces

CCDD definieert een gezamenlijk diffusieproces op de unie van een discrete tokenruimte ($X = \Omega^L$) en een continue representatieruimte ($Z = \mathbb{R}^{L \times d}$).

• Voorwaarts Proces: Het corruptieproces is gefactoreerd maar wordt gelijktijdig toegepast op beide modaliteiten.

  • Discrete Component: Evolueert via een Markov-keten in continue tijd (CTMC), typisch gebruikmakend van gemaskeerde ruis (absorberende toestand) of uniforme ruis.
  • Continue Component: Evolueert via een Stochastische Differentiaalvergelijking (SDE) of Probability Flow ODE (PF-ODE) in een gecontextualiseerde embeddingruimte (bijvoorbeeld afgeleid van vooringestelde modellen zoals Qwen3-Embedding).
  • De gezamenlijke voorwaartse kern is het product van de individuele kernen: $q_t(x_t, z_t | x_0, z_0) = q_t^{disc}(x_t | x_0) q_t^{cont}(z_t | z_0)$.

• Terugwaarts Proces: Een enkel tijdsgeconditioneerd netwerk $f_\theta(\cdot, t)$ neemt het ruisbeïnvloede paar $(x_t, z_t)$ als invoer en geeft modality-specifieke heads uit.

  • De terugwaartse update is gefactoreerd: $p_\theta(x_s, z_s | x_t, z_t) = p_\theta^{disc}(x_s | x_t, z_t) p_\theta^{cont}(z_s | x_t, z_t)$.
  • Cruciaal is dat, hoewel de updateregels gefactoreerd zijn, de schatting voor elke modaliteit conditie stelt op beide toestanden. De discrete decoder ziet de continue latent $z_t$, en de continue decoder ziet de discrete tokens $x_t$. Dit stelt de continue component in staat om rijke semantische begeleiding (impliciet redeneren) te bieden aan de discrete component, terwijl de discrete component expliciete structuur biedt aan de continue component.

2.2 Trainingsdoelstelling

De trainingsverliesfunctie is een gewogen som van de continue en discrete verliezen:
$$\mathcal{L}_{CCDD} = \gamma_{cont} \cdot \mathcal{L}_{cont} + \gamma_{disc} \cdot \mathcal{L}_{disc}$$

• $\mathcal{L}_{cont}$: Standaard MSE-verlies voor het voorspellen van ruis of de originele continue representatie (bijvoorbeeld $\epsilon$-voorspelling).
• $\mathcal{L}_{disc}$: Cross-entropy verlies voor het voorspellen van de originele discrete tokens (typisch op gemaskeerde posities).

2.3 Architecturale Ontwerpen

Het artikel introduceert verschillende architecturen voor het gezamenlijke denoising-netwerk gebaseerd op Diffusion Transformers (DiT):

1. MDiT (Multimodal DiT): Mengt continue en discrete embeddings voordat de transformer-blokken worden bereikt. Het voegt verwaarloosbare parameters en FLOPs toe in vergelijking met alleen-discrete baselines.
2. MMDiT: Gebruikt gestaggerde cross-attention en self-attention blokken voor multimodale interactie, waardoor het aantal parameters en FLOPs verdubbelt.
3. MoEDiT (Mixture of Experts DiT): Houdt aparte MLP's aan voor discrete en continue tokens binnen een gedeeld attention-mechanisme, waarbij MoE-routing wordt gebruikt om tokens dynamisch te verwerken op basis van hun staat. Dit balanceert parameter-efficiëntie met expressiviteit.

2.4 Inferentietechnieken

• Classifier-Free Guidance (CFG): De continue representaties fungeren als zelfgegenereerde begeleiding voor de generatie van discrete tokens. Het model wordt getraind met een waarschijnlijkheid $p_{drop}$ om continue embeddings op nul te zetten (voorwaardeloos), wat CFG-schaling tijdens het bemonsteren mogelijk maakt om de kwaliteit te verbeteren.
• Flexibele Bemonstering: CCDD ondersteunt zowel weinig-staps deterministische bemonstering (via ODE) voor efficiëntie als multi-staps stochastische bemonstering (via SDE) voor hoogwaardige generatie.

3. Belangrijkste Bijdragen

3.1 Theoretische Analyse

• Expressiviteitshiërarchie: De auteurs bewijzen dat Continue Diffusiemodellen (CDM's) Discrete Diffusiemodellen (DDM's) strikt domineren wat betreft expressiviteit op trajectniveau. CDM's produceren absoluut continue marginaalverdelingen, terwijl DDM's beperkt zijn tot eindige atomaire steunpunten, wat leidt tot informatieverlies bij elke discrete bemonsteringsstap.
• Generalisatie van Geloopte Transformers: Het artikel toont aan dat een continue diffusie-sampler elke geloopte transformer-uitrol kan simuleren met dezelfde architectuur en parameteraantal. Omgekeerd kunnen deterministische geloopte transformers niet-degenererende stochastische paden die door continue diffusie worden geproduceerd, niet simuleren.
• Trainbaarheidsanalyse: Het artikel schrijft het empirische falen van CDM's toe aan het gebrek aan tussentijdse supervisie in LT's en de decoderingscomplexiteit/representatie-tekortkomingen in CDM's. CCDD wordt voorgesteld als de oplossing die de expressiviteit van CDM's behoudt terwijl het de trainbaarheid van DDM's verkrijgt via expliciete token-supervisie.

3.2 Empirische Resultaten

• Taalmodelleren: Op de LM1B en OpenWebText (OWT) datasets overtreft CCDD significant discrete baselines (MDLM, SEDD) en autoregressieve modellen.
  • Op LM1B verlaagde CCDD-MDiT de validatie-perplexiteit met >25% in vergelijking met een discrete baseline met dezelfde parameters (92,1M).
  • Op OWT verlaagde CCDD de perplexiteit met >35% in vergelijking met discrete baselines.
  • CCDD behaalde deze resultaten met 25x snellere trainingsconvergentie (40k iteraties versus 1000k voor de baseline).
• Generatie in Weinig Stappen: CCDD vertoont superieure generatiecapaciteiten in weinig stappen. Een model met slechts 8 denoising-stappen presteerde beter dan een discrete baseline (MDLM) die 256 stappen gebruikte, wat een 16x versnelling in generatiesnelheid aantoont zonder kwaliteitsverlies.
• Complexe Redenering: Op taken die sterke planning en terugzoeken vereisen (Sudoku, 3-SAT, Countdown), overtrof CCDD alle eerdere methoden, inclusief autoregressieve modellen, gemaskeerde discrete diffusie en geloopte transformers. Bijvoorbeeld, CCDD behaalde 100% nauwkeurigheid op Sudoku met slechts 2 stappen, wat overeenkomt met de beste resultaten van geloopte transformers.

4. Betekenis en Claims

Het artikel beweert dat CCDD succesvol de kloof overbrugt tussen theoretische expressiviteit en praktische trainbaarheid in taalmodelleren. Door een gezamenlijk diffusieproces te definiëren, maakt CCDD gebruik van de sterke expressieve kracht van continue latente ruimtes (wat impliciet redeneren, planning en behoud van globale context mogelijk maakt) terwijl het discrete tokens gebruikt om trainbaarheid en decoderingsstabiliteit te waarborgen.

De auteurs benadrukken dat CCDD niet zomaar een hybride is, maar een principiële unificatie die:

1. Bestaande paradigma's (CDM, DDM, LT) generaliseert tot een enkel kader.
2. De mogelijkheid behoudt om "latente redenering" uit te voeren in de continue ruimte, wat cruciaal is voor complexe taken zoals Sudoku en 3-SAT.
3. Efficiëntie verbetert door flexibele schaling tijdens inferentie (weinig-staps ODE versus multi-staps SDE) en snellere trainingsconvergentie dan geloopte transformers.
4. Aantoont dat het combineren van modaliteiten prestatiewinst kan opleveren die de som van de delen overstijgt, met name in downstream benchmarks en complexe redeneerscenario's.

Het werk suggereert dat toekomstige taalmodelleringsparadigma's voorbij puur discrete tokenruimtes moeten gaan om continue latente representaties voor redeneren te benutten, mits expliciete discrete supervisie wordt behouden om effectieve training te waarborgen.