Technisch Overzicht: Waarom Few-Step Tekst Latents Falen terwijl Image Latents Werken

Probleemstelling

Deterministische few-step generatie heeft snelle successen behaald in beeldsynthese (bijv. Consistency Models, Rectified Flow), waarbij hoogwaardige beelden worden geproduceerd in 1–4 netwerk-evaluaties. Echter, het toepassen van dezelfde deterministische few-step aanpak op continue tekst-latents (via tekst-autoencoders zoals ELF) resulteert in incoherente output, gekenmerkt door herhaalde tokens en meertalige fragmenten. Terwijl de huidige literatuur dergelijke fouten vaak toeschrijft aan tekortkomingen in de training, architecturale beperkingen of scheduling-problemen, betoogt dit artikel dat de fout structureel en geometrisch is. Specifiek kan een gladde, door regulariteit beperkte deterministische mapping geen discrete vertakkingskeuzes oplossen vóór een scherpe categorische readout. Het artikel stelt dat het falen van few-step in tekst wordt beheerst door decoder-scherpte, niet door transportnauwkeurigheid.

Methodologie en Theoretisch Kader

1. Het Non-Commitment Mechanisme (Overlapping Regime)

De auteurs analyseren het "overlapping regime" dat typerend is voor echte tekst-autoencoders, waarbij de per-token posteriors overlappen.

• Theorem 3 (Readout-Calibrated Non-Commitment): Het artikel bewijst dat voor een deterministische terminale stap die een posterior-gemiddelde uitvoert, de token flip rate wordt bepaald door de geometrie van de readout decision boundaries.
• Tube Law: Naarmate de effectieve ruisschaal $s(t) \to 0$ gaat, schaalt de waarschijnlijkheid van een token flip lineair met $s(t)$ en is deze proportioneel aan de massa van de latent-distributie binnen een $O(s(t))$ tube rond de decision boundaries.
• Kerninzicht: De fout komt niet door een onnauwkeurige transport map, maar omdat het posterior-gemiddelde over branch ambiguïteiten middelt. Wanneer deze gemiddelde latent dicht bij een scherpe decision boundary landt (door gestructureerde residuen), flipt de argmax readout de token. Dit is een "non-commitment" fout: de generator heeft nog niet gecommitteerd aan een discrete token, dus de scherpe readout kan de ambiguïteit niet oplossen.

2. Separated-Mode Transport Theorie

In het geïdealiseerde "separated regime" (goed gescheiden modi), leidt het artikel scherpe Lipschitz transportwetten af:

• Theorem 5 (Interface $\Gamma$-limit): De kosten voor het scheiden van $M$ modi met een gladde map groeien als de interface energie $J_{p,\sigma}$.
• Theorem 6 (Dimension Phase Diagram): De deterministische stijfheid $\Lambda$ die nodig is om $M$ modi te scheiden, groeit als $\Theta(\sqrt{\log M})$ wanneer de latent dimensie $\Omega(\log M)$ is.
• Theorem 7 (Hierarchical Separation): Een depth-$B$ categorische hiërarchie vermindert de per-step peak stiffness met een factor $\sqrt{B}$, maar dit rust op discontinue generatoren.

3. De Brug (Coarea Identiteit)

Theorem 17 koppelt de overlapping en separated regimes aan elkaar. Het stelt vast dat de readout boundary massa ($A_W$) in het overlapping regime en de separated interface energie ($J$) twee verschillende contracties zijn van dezelfde source-space interface geometrie. Dit leidt tot een accuracy–depth–stiffness tradeoff: binnen de deterministische-continue klasse is de kost van het genereren van coherente tekst onherleidbaar.

Belangrijkste Bijdragen en Diagnostiek

1. DABI (Decoder Amplification of Boundary-Aligned Inputs)

De auteurs introduceren DABI als een metriek om decoder-scherpte te kwantificeren. Het meet de ratio van de toename in Cross-Entropy (CE) veroorzaakt door een gestructureerde, boundary-aligned perturbatie versus een norm-gematchte isotrope perturbatie.

• Bevindingen:
  • Beeld Decoders: DABI $\approx 1$. Gladde beeld-decoders absorberen posterior-mean blur zonder token-fouten.
  • Tekst Decoders: DABI $\gg 10^4$ (bijv. ELF: 508$\times$, LangFlow: $>10^4$). Een kleine gestructureerde residu uitgelijnd met de decision boundary flipt een enorme fractie tokens (47–77%), terwijl isotrope ruis $\approx 0\%$ flipt.
  • Implicatie: De fout wordt gedreven door de scherpte van de categorische readout, niet door de magnitude van de transportfout.

2. CCI (Categorical Commitment Index)

CCI meet de fractie van posities waar een onomkeerbare discrete selectie is gemaakt.

• Continuous Flow: CCI = 0 (geen discrete selectie).
• Autoregressief (AR) / Masked Diffusion: CCI = 1 (harde selectie bij elke stap).

3. De DABI $\times$ CCI Taxonomie

Het artikel classificeert systemen op basis van deze twee orthogonale assen:

• Lage DABI, CCI = 0 (Beeld VAE's): Succes. Gladde decoders tolereren blur.
• Hoge DABI, CCI = 0 (ELF Tekst Flow): Falen. Scherpe readouts converteren kleine gestructureerde residuen naar token-fouten.
• Hoge DABI, Hoge CCI (AR, Masked dLM): Succes. Categorische commitment maakt de generator discontinu, waardoor men ontsnapt aan de continue ondergrenzen.

Empirische Resultaten

1. Oracle Roll-In

Gebruikmakend van de ELF-B autoencoder, voert de auteur een "oracle roll-in" uit waarbij een schone latent wordt toegevoegd met ruis en de deterministische ODE terug naar $t=1$ wordt geïntegreerd.

• Resultaat: De terminal flip rate convergeert naar een enkele curve voorspeld door de tube law ($s(t)$).
• Anisotropie: De gestructureerde residu flipt 10–33$\times$ meer tokens dan een isotrope controle, wat bevestigt dat de fout is uitgelijnd met decision boundaries.
• Magnitude: Terminal flip rates bereiken 12–41% voor $K=4, 8, 16$, wat cumulatief leidt tot $\approx 90\%$ fout.

2. Deterministische ODE vs. Stochastische SDE

• ELF-B: Op hetzelfde model levert een deterministische ODE sampler bij $K=4$ een Perplexity (PPL) van 294, terwijl een Stochastische Differentiaal Vergelijking (SDE) sampler een PPL van 50 oplevert.
• Distillatie: Zelfs met progressieve distillatie blijft de ODE-naar-SDE kloof bestaan (15–38% hogere PPL voor ODE), wat aangeeft dat stochastische re-injectie noodzakelijk is om de grens te ontsnappen.

3. Categorical Commitment Ablatie

De auteurs verwijderen de "hard commitment" stap in AR en masked diffusion modellen (bijv. Llama-2, LLaDA, Dream) terwijl ze de readout scherp houden.

• Resultaat: Generatie stort direct in. Diversiteit daalt en modellen degenereren in herhaling.
• Conclusie: Categorische commitment is het operatieve mechanisme dat modellen met scherpe readouts succesvol maakt; het is niet de readout-smoothness die ertoe doet.

4. Decoder Interventies

Het artikel test of het fixen van de decoder (readout) het probleem kan oplossen:

• Logit Smoothing / Max-Margin Training: Deze interventies falen om geflipte tokens te herstellen. In sommige gevallen verhoogt het vergroten van de marges (de readout "vertrouwder" maken) zelfs de DABI en verslechtert het de generatie omdat de decision cliff scherper wordt.
• Niet-lineaire Readouts: Het hertrainen van de readout met een 2-layer MLP faalt ook in het herstellen van de geflipte tokens, wat bevestigt dat zodra het posterior-gemiddelde over een branch middelt, de correcte token niet langer een functie is van de latent.

Betekenis en Claims

Het artikel claimt een structurele barrière te hebben geïdentificeerd voor deterministische few-step tekstgeneratie met continue latents.

1. Geometrische Oorzaak: De fout is geen training- of schaleringsprobleem, maar een geometrische onmogelijkheid voor gladde maps om discrete keuzes te resolveren vóór een scherpe readout.
2. Onherleidbare Kosten: Binnen de klasse van deterministische-continue generatoren is de kost (in termen van stappen of stijfheid) onherleidbaar.
3. Twee Ontsnappingsroutes: Het artikel identificeert exact twee mechanismen die aan deze grens ontsnappen:
   • Categorische Commitment: De generator discontinu maken (zoals in AR modellen).
   • Stochastische Re-injectie: Verse ruis per stap injecteren (SDE), wat de deterministische klasse verlaat.
4. Diagnostische Bruikbaarheid: De DABI en CCI metrieken bieden een voorspellende taxonomie voor welke systemen zullen falen of slagen, gevalideerd over meerdere onafhankelijke tekst- en beeldcodecs.

De auteurs concluderen dat elk systeem dat vloeiende, open-ended tekst genereert in weinig deterministische stappen met een gladde continue latent, de aannames van de afgeleide ondergrenzen moet schenden (d.w.z. het moet stochastisch of categorisch zijn). Het artikel stelt geen nieuwe architectuur voor om de deterministische case te "fixen", maar omschrijft de theoretische grenzen van het huidige paradigma.