Technische Samenvatting: Draft-geconditioneerde Latente Verfijning voor Niet-autoregressieve Tekstgeneratie

Probleemstelling

Niet-autoregressieve (NAR) tekstgeneratie beoogt volledige sequenties parallel te produceren, wat efficiëntie en mogelijkheden voor globale verfijning biedt in vergelijking met sequentiële autoregressieve modellen. Er blijft echter een fundamentele uitdaging bestaan: taal is discreet, terwijl diffusie- en stromingsgebaseerde generatieve modellen van nature opereren in continue ruimtes.

Bestaande benaderingen coderen tekst vaak naar continue latente ruimtes, genereren of verfijnen latente variabelen, en decoderen deze terug naar tokens. Een kritieke faalmodus die in dit werk wordt geïdentificeerd, is de gaping in decoderherstelbaarheid: gegenereerde latente vectoren kunnen geometrisch dicht bij de grondwaarheid-latente variabelen liggen (hoge cosinus-ähnelijkheid of lage MSE), maar falen toch om te decoderen naar de juiste tokens. Bij tekst kunnen, in tegenstelling tot afbeeldingen, kleine latente fouten de waarschijnlijkheidsmassa over het vocabulaire verschuiven, wat leidt tot outputs met hoge entropie, herhaling of semantische onjuistheden. Het artikel stelt dat het optimaliseren van de latente geometrie alleen onvoldoende is als de startverdeling niet binnen het "decoder-leesbare bekken" terechtkomt.

Methodologie

Het voorgestelde systeem herformuleert de taak van tekst genereren uit pure ruis naar gecontroleerde lokale verfijning van een ruwe conceptversie. De architectuur bestaat uit enkele belangrijke componenten:

1. Fase 1: Latente Auto-encoder

   • Encoder: Een bevroren BERT-encoder koppelt input-tokens aan contextuele verborgen toestanden, die worden geprojecteerd naar continue latente vectoren ($z \in \mathbb{R}^{n \times d}$). Experimenten vergelijken volledige 768-dimensionale latente variabelen met gecomprimeerde 256-dimensionale latente variabelen.
   • Decoder: Een parallelle decoder voorspelt gelijktijdig alle tokenverdelingen. Deze wordt getraind om de cross-entropy te minimaliseren tussen de voorspelde tokens en de grondwaarheid, gegeven de latente variabele $z$.

2. Draft-geconditioneerde Startverdeling

   • In plaats van te starten met Gaussische ruis ($z_0 \sim \mathcal{N}(0, I)$), gebruikt het systeem een ruwe conceptversie $r$ (bijvoorbeeld een beschadigde versie van het doel) als instantie-specifieke leidraad.
   • DraftPrior: Een ruisverminderend netwerk koppelt de ruisige concept-latente variabele naar het decoder-leesbare bekken. Het wordt getraind met een gecombineerde doelstelling die cross-entropy, MSE, cosinus-ähnelijkheid en een norm-regularisator omvat om zowel de hoek als de grootte van de doel-latente variabele te matchen.

3. Lokale Stromingsverfijning

   • FlowNet: Een parallelle, decoder-bewuste netwerk voorspelt een residu-correctievectorveld. In plaats van de volledige verplaatsing vanuit ruis te genereren, verfijnt het de DraftPrior-output met een klein fractie ($\rho = 0.05$) van de totale verplaatsing.
   • MetricNet: Een geleerde diagonale preconditioneringsmatrix ($G_\psi$) herweegt de stromingsmatching-doelstelling om uit te lijnen met decoder-gevoelige richtingen. Dit probeert een Riemanniaanse metriek te leren zonder echte geodeten te berekenen.
   • Gebonden Residuen: De verfijningstap is beperkt door een scalair bound $\lambda$ om te voorkomen dat de stroming de latente variabele te ver van de draft-geconditioneerde structuur beweegt, waardoor decoderleesbaarheid behouden blijft.

4. Uitlezing en Uitlijning

   • Gefuseerde Uitlezing: Een aanvullende token-kop wordt toegevoegd tijdens training om decoder-bewuste gradiënten te leveren, wat vaak betere resultaten oplevert dan latente beweging alleen.
   • OT-regularisatie: Optimal Transport (OT)-achtige verliezen worden getest om de verdeling van verfijnde latente variabelen uit te lijnen met echte latente variabelen, hoewel resultaten aantonen dat dit de geometrie verbetert zonder herstelbaarheid van tokens te garanderen.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen, grotendeels gepresenteerd als diagnostische bevindingen:

1. Identificatie van Decoderherstelbaarheidsfalen: De auteurs tonen aan dat hoge latente overeenkomst (cosinus/MSE) geen hoge doel-tokenwaarschijnlijkheid garandeert onder een bevroren decoder.
2. Draft-geconditioneerde Verfijningsopstelling: Een nieuw experimenteel protocol voor ROCStories waarbij de eerste twee zinnen als prompt dienen en de laatste drie als doel, waarbij het doel wordt beschadigd (token-dropping) om te fungeren als concept voor verfijning.
3. Dimensionaliteitsanalyse: Een vergelijking die aantoont dat volledige 768-dimensionale BERT-latente variabelen significant beter presteren dan gecomprimeerde 256-dimensionale latente variabelen, wat aangeeft dat compressie kritieke token-niveau-informatie (subwoordidentiteit, zeldzame woorden) verwijdert die noodzakelijk is voor discrete decoding.
4. Ablatie van Componenten: Systematische evaluatie van DraftPrior, FlowNet, MetricNet en OT-uitlijning. De resultaten geven aan dat de kwaliteit van de startverdeling (geleverd door DraftPrior) de primaire drijver is van herstelbaarheid, terwijl geometrische verfijningen (MetricNet, OT) slechts bescheiden winst bieden.

Experimentele Resultaten

Experimenten werden uitgevoerd op de ROCStories-dataset met een splitsing van 32 tokens voor de prompt en 32 tokens voor het doel.

• DraftPrior-prestaties:

  • 768-d Latente Variabelen: Met 0% dropout (schone conceptversie) bereikte de doel-tokenwaarschijnlijkheid 0,938. Bij 3% en 5% token-dropout bleven de kansen robuust op respectievelijk 0,613 en 0,483.
  • 256-d Latente Variabelen: De prestaties daalden aanzienlijk onder beschadiging (bijvoorbeeld 0,543 bij 3% dropout versus 0,613 voor 768-d), wat bevestigt dat compressie informatie over herstelbaarheid verliest.
  • 10% Dropout: De prestaties stortten in (0,272 waarschijnlijkheid), wat de grenzen van de verfijningsbenadering onder zware ruis toont.

• Verfijningswinst:

  • Lokale Stroming: Rauwe lokale stromingsverfijning bood verwaarloosbare directe winst ten opzichte van de DraftPrior-start.
  • Gefuseerde Uitlezing: De decoder-bewuste gefuseerde uitlezing bood de duidelijkste verbetering (Doelwaarschijnlijkheid: 0,493 versus 0,457 voor DraftPrior alleen).
  • Metriek/OT: Hoewel MetricNet niet-triviale anisotropie leerde en OT de uitlijning van latente variabelen verbeterde, sluit geen van beide het gat met de orakel (echte latente variabelen) significant.

• Interpolatiediagnose: Het lineair verplaatsen van gegenereerde latente variabelen naar echte latente variabelen ($z_\alpha = (1-\alpha)\hat{z} + \alpha z_s$) verbeterde de Cross-Entropy scherp, zelfs voor kleine $\alpha$ (bijvoorbeeld $\alpha=0,01$), wat bevestigt dat gegenereerde latente variabelen zich in de juiste buurt bevinden, maar buiten de scherpe beslissingsgrenzen van de decoder.

• Kwaliteit-Snelheid: Het systeem produceert outputs in milliseconden (0,003s–0,005s per steekproef). De MAUVE-scores blijven echter laag (ongeveer 0,007), wat aangeeft dat het systeem, hoewel het niet willekeurig is, nog geen state-of-the-art tekstkwaliteit bereikt in vergelijking met autoregressieve baselines.

Betekenis en Claims

Het artikel positioneert zichzelf expliciet als een diagnostisch technisch rapport in plaats van een claim dat niet-autoregressieve tekstgeneratie is opgelost. De primaire betekenis ligt in de volgende conclusies:

1. Latente Geometrie is Niet Genoeg: Het optimaliseren van de continue latente ruimte (via stromingsmatching of Riemanniaanse metrieken) kan niet vervangen voor een decoder-leesbare startverdeling. Het "decoderbekken" is een discrete beslissingsgrens die gladde metrieken niet volledig kunnen benaderen.
2. De Noodzaak van Gestructureerde Starts: Succesvolle NAR-generatie in continue latente ruimtes vereist het starten vanuit een gestructureerde, instantie-specifieke leidraad (een concept) in plaats van pure ruis.
3. Verschuiving in Evaluatiemeting: Tekstgeneratie in latente ruimtes moet worden geëvalueerd op decoderherstelbaarheid (doel-tokenwaarschijnlijkheid) en het behoud van decoder-leesbare structuur, en niet alleen op metrieken in de latente ruimte zoals cosinus-ähnelijkheid of MSE.
4. Compressiegrenzen: Het comprimeren van BERT-latente variabelen voor generatie introduceert een bottleneck die de specifieke lexicaal informatie verwijdert die nodig is voor exacte tokenherstel, waardoor volledige dimensionale representaties de voorkeur krijgen voor deze taak.

De auteurs concluderen dat hoewel Fase 1 (auto-encoder en diagnostiek) voltooid is, het pad naar een robuust systeem sterkere baselines vereist, extern gegenereerde concepten (in plaats van synthetische beschadiging), en verdere werkzaamheden aan verfijningsmodellen die de discrete aard van de decoder-interface respecteren.