💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

Dit artikel introduceert het Latent Diffusion Language Model (LDLM), dat een latente encoder, een diffusiemodel en een decoder gezamenlijk traint om een hoogwaardige continue latente ruimte te creëren, waardoor superieure prestaties in tekstgeneratie en aanzienlijk snellere inferentiesnelheden worden bereikt in vergelijking met bestaande discrete en continue diffusiemodellen.

Oorspronkelijke auteurs: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een verhaal schrijven. De oude methode (genaamd "autoregressief") is als een student die een zin woord voor woord, van links naar rechts, schrijft. Als ze vroeg een fout maken, kunnen ze niet terug en het herstellen zonder het hele ding opnieuw te schrijven. Ze kunnen ook maar één woord per keer schrijven, wat traag is.

De nieuwe methode in dit artikel, genaamd LDLM, is als een beeldhouwer die aan een blok marmer werkt. In plaats van één woord per keer te beitelen, begint de beeldhouwer met een ruw, lawaaierig blok steen (een "ruisige" versie van het verhaal) en beitelt langzaam de ruis weg om de uiteindelijke vorm bloot te leggen. Ze kunnen het hele blok in één keer bekijken en het parallel verfijnen, fouten overal in het verhaal direct corrigeren.

Er is echter een addertje onder het gras: om effectief te beeldhouwen, heb je het juiste type marmer nodig. Als de steen te hard of te zacht is, kan de beeldhouwer zijn werk niet doen. In AI-termen wordt deze "marmer" de latente ruimte genoemd—een verborgen, wiskundige representatie van de tekst waarmee het model werkt voordat het weer in woorden wordt omgezet.

Het Probleem: De "Bevroren" Blauwdruk

Eerdere pogingen met deze "beeldhouw"-methode gebruikten een kant-en-klare blauwdruk voor het marmer. Ze namen een slim, vooraf getraind taalmodel (zoals een woordenboek dat al weet hoe woorden bij elkaar passen) en bevriezen het op zijn plaats. Ze probeerden de tekst te beeldhouwen met deze vaste blauwdruk.

De auteurs van dit artikel realiseerden zich dat dit als het proberen was om een standbeeld te beeldhouwen met een blauwdruk die was ontworpen voor een ander type steen. Het vooraf getrainde model was niet geoptimaliseerd voor het "beeldhouw"-proces (diffusie), dus de resultaten waren onhandig, traag of van lage kwaliteit.

De Oplossing: Gezamenlijke Training (Het "Team-Up")

De auteurs bouwden een nieuw systeem genaamd LDLM (Latent Diffusion Language Model). In plaats van een bevroren blauwdruk te gebruiken, creëerden ze een driepersoonsteam dat samen vanaf nul leert:

De Encoder: Een vertaler die woorden omzet in het "marmer" (latente ruimte).
De Beeldhouwer (Diffusiemodel): Het deel dat de ruis verwijdert om het verhaal te verfijnen.
De Decoder: Een vertaler die het verfijnde marmer weer omzet in leesbare woorden.

De magie is dat alle drie samen leren. Naarmate de Beeldhouwer beter wordt in het verwijderen van ruis, zegt hij tegen de Encoder: "Hé, ik heb nodig dat het marmer op deze manier is gevormd om beter te werken." De Encoder past vervolgens zijn vorm aan om de Beeldhouwer te helpen. Het is een feedbacklus waarbij het hele team evolueert om perfect op elkaar aan te sluiten.

Het "Recept" voor Succes

De auteurs ontdekten dat het simpelweg samenvoegen van deze drie niet direct werkte; het team zou ruziën en niet leren. Ze moesten een specifiek "recept" volgen om ze samen te laten werken:

De Warm-up: Aan het begin lieten ze de Encoder en Decoder woorden vertalen zonder dat de Beeldhouwer ingreep. Dit geeft de Encoder de kans om een stabiele basis te bouwen voordat de Beeldhouwer begint met het vormgeven. Het is als het laten stemmen van een instrument door een muzikant voordat de band begint te spelen.
De "Ruis"-Truc: Tijdens de training voegden ze opzettelijk een beetje statische ruis toe aan de invoer van de Decoder. Dit dwingt de Encoder om robuust te zijn en informatie efficiënt op te slaan, in plaats van te vertrouwen op perfecte, breekbare signalen. Het is als het trainen van een hardloper met een zware rugzak, zodat ze zich licht en snel voelen als ze er zonder lopen.
Slimme Timing: Ze trainen het model niet met een constante snelheid. Ze passen wanneer ze oefenen aan op basis van hoe moeilijk de taak op dat moment is, zodat het model de moeilijkste delen net zo goed leert als de makkelijke delen.

De Resultaten: Sneller en Slimmer

Toen ze dit nieuwe team testten op grote datasets met tekst (zoals nieuwsartikelen en boeken):

Kwaliteit: De gegenereerde verhalen waren coherenter en diverser dan eerdere methoden.
Snelheid: Omdat het model werkt op het "marmer" (de verborgen wiskunde) in plaats van te proberen bij elke stap individuele woorden uit een gigantisch woordenboek te kiezen, is het 2 tot 13 keer sneller dan de concurrentie.
Efficiëntie: Het bereikt een betere balans tussen het schrijven van hoogwaardige tekst en het behoud van variatie in de tekst (niet repetitief).

Samenvatting

Kortom, dit artikel introduceert een nieuwe manier om AI te leren schrijven door de "vertaler", de "beeldhouwer" en de "verfijner" samen te laten leren als één eenheid, in plaats van een kant-en-klaar, bevroren hulpmiddel te gebruiken. Door een specifiek trainingsrecept te volgen, creëerden ze een systeem dat betere tekst schrijft, veel sneller dan voorheen.

Technische Samenvatting: Hoe je je Latente Diffusie-taalmodel gezamenlijk traint met de Latente Ruimte

Probleemstelling

Autoregressieve modellen domineren momenteel tekstgeneratie, maar worden beperkt door hun sequentiële aard van links naar rechts, wat parallelle generatie en correctie van eerdere fouten verhindert. Diffusietalenmodellen bieden een alternatief door tekst te genereren via iteratieve verfijning in parallel. Echter, bestaande aanpakken staan voor aanzienlijke hindernissen:

Discrete Diffusie: Werkt direct op tokenruimte, maar lijdt aan gefactoriseerde gezamenlijke verdelingen, waarbij tokens onafhankelijk van elkaar worden voorspeld bij elke stap. Dit beperkt het vermogen om meerdere tokens simultaan te genereren, waardoor hoogwaardige generatie in weinig stappen moeilijk wordt.
Continue Diffusie: Werkt in een latente ruimte, waardoor geleidelijke verfijning van alle posities mogelijk is. Hoewel dit superieur is aan discrete methoden, vertrouwen huidige continue benaderingen op bevroren vooraf getrainde encoders (bijv. Transformer-gebaseerde encoders) om de latente ruimte te construeren. Deze encoders zijn getraind op surrogaattaken (zoals next-token prediction) en zijn niet geoptimaliseerd voor de specifieke behoeften van het diffusie-ontruisingsproces. Omgekeerd leveren ondiepe token-embeddings (one-hot of vaste vectoren) suboptimale latente ruimten op, zelfs wanneer ze zijn afgestemd op diffusie.

De kernuitdaging is het construeren van een latente ruimte die tegelijkertijd decodeerbaar is (terug te brengen naar tokens) en diffusievriendelijk (gemakkelijk te ontdoen van ruis), zonder de mismatch die ontstaat door het scheiden van encoder-training en diffusietraining.

Methodologie: LDLM

De auteurs stellen het Latent Diffusion Language Model (LDLM) voor, een kader waarin de latente encoder, het diffusiemodel en de decoder gezamenlijk worden getraind. Hierdoor kan het diffusiedoel de latente ruimte direct vormgeven.

Architectuur

Twee-staps Encodering:
- Bevroren Token-encoder: Invoertokens $w$ worden eerst verwerkt door een bevroren, vooraf getrainde token-encoder (GPT-2) om contextuele verborgen toestanden $h$ te extraheren.
- Trainbare Latente Encoder: Een trainbare encoder $E_\theta^z$ mapt deze verborgen toestanden $h$ af op de diffusielatente ruimte $z_0$ . Dit herschikt de representatie zodat deze geschikt is voor diffusie, terwijl decodeerbaarheid behouden blijft.
Twee-staps Decodering:
- Latente Decoder: Een trainbare decoder $D_\theta^h$ mapt de latente $z_0$ (tijdens training verstoord door ruis) terug naar verborgen toestanden $\hat{h}$ .
- Token-decoder: Een token-decoder $D_\theta^w$ converteert $\hat{h}$ naar tokens $w$ .
Trainingsdoelen:
Het model minimaliseert een gecombineerde loss: $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ .
- $L_{diff}$ : Standaard continue diffusieloss (MSE) om schone latenten te herstellen uit verstoord waarnemingen.
- $L_h$ (Hidden-State MSE): Reconstructeert de verborgen toestanden $h$ van de bevroren encoder vanuit de latente ruimte. Cruciaal is dat hier Mean Squared Error (MSE) wordt gebruikt in plaats van Cross-Entropy (CE).
- $L_w$ (Token CE): Reconstructeert tokens vanuit de verborgen toestanden. Gradienten worden gestopt bij de gereconstrueerde verborgen toestanden om te voorkomen dat dit invloed heeft op de latente encoder.

Belangrijkste Trainingsrecept (De "Vier-delige" Oplossing)

De auteurs stellen vast dat naïeve gezamenlijke training faalt (wat resulteert in generaties met weinig diversiteit) en stellen een specifiek recept voor om dit werkbaar te maken:

MSE Decoder Loss: In tegenstelling tot eerdere werken die Cross-Entropy gebruiken, maakt LDLM gebruik van MSE om verborgen toestanden te reconstrueren. CE dwingt latenten om goed gescheiden te zijn om tokens te onderscheiden, wat in conflict staat met de gladde geometrie die voor diffusie vereist is. MSE is minder streng, waardoor latenten dicht bij elkaar kunnen liggen als hun onderliggende verborgen toestanden vergelijkbaar zijn; dit voorkomt latente instorting terwijl een gladde manifold behouden blijft.
Diffusie-naar-Encoder Warmup: Aan het begin van de training trekken de reconstructieloss (die grote latente grootheden aanmoedigt) en de diffusieloss (die kleine grootheden aanmoedigt om ontdoening van ruis te trivialiseren) de encoder in tegenovergestelde richtingen. De auteurs implementeren een warmup waarbij de diffusiegradient wordt geschaald met een coëfficiënt $\gamma(s)$ die begint bij ongeveer 0 en toeneemt naar 1. Hierdoor kan de encoder eerst een decodeerbare latente ruimte leren voordat het diffusiedoel deze vormgeeft.
Adaptieve Timestep Sampling: Omdat de latente ruimte evolueert tijdens de training, is een vast ruischema suboptimaal. De auteurs passen dynamisch de verdeling voor timestep-sampling aan om ervoor te zorgen dat de ontdoening-loss lineair toeneemt met de timestep, zodat alle timesteps evenveel bijdragen aan de vermindering van onzekerheid.
Decoder-Input Ruis: Gaussische ruis ( $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ) wordt tijdens training geïnjecteerd in de input van de latente decoder. Dit dient drie doelen:
- Het moedigt de encoder aan om informatie efficiënt op te slaan (voorkomend dat ongebruikte dimensies het signaal corrumperen).
- Het fungeert als data-augmentatie, waardoor de decoder robuust wordt tegen diffusiefouten.
- Het stabiliseert de variantie van latente coördinaten, wat de parameterisatie van diffusie verbetert.

Resultaten

De auteurs evalueren LDLM op OpenWebText (OWT) en LM1B, en vergelijken het met state-of-the-art discrete (MDLM, Duo) en continue (CANDI, FLM) diffusie-baselines.

Kwaliteit-Diversiteit Trade-off: LDLM bereikt de beste Pareto-grens tussen Generatieve Perplexiteit (Gen. PPL) en Entropie. Het presteert aanzienlijk beter dan baselines in Gen. PPL bij vergelijkbare entropieniveaus, en nadert de kwaliteit van echte tekst.
Vergelijking Latente Ruimte: Ablatiestudies tonen aan dat de gezamenlijk geleerde latenten van LDLM superieur zijn aan:
- On diepe embeddings (vanaf nul getraind of bevroren).
- Contextuele embeddings van bevroren encoders (TEncDM-stijl).
- Latenten van auto-encoders die zijn getraind met expliciete gladmakende doelen (COSMOS-stijl).
  Dit bevestigt dat de latente ruimte specifiek moet worden afgestemd op het diffusiedoel.
Berekenings-efficiëntie: LDLM is 2–13× sneller dan concurrerende methoden tijdens het samplingproces. In tegenstelling tot token-niveau diffusiemodellen die bij elke stap projecteren naar het vocabulaire, werkt LDLM tijdens het gehele generatieproces in een lagerdimensionale latente ruimte, en projecteert het slechts één keer aan het einde naar tokens.

Betekenis en Claims

Het artikel stelt dat het gezamenlijk leren van de latente ruimte een kritieke, tot nu toe onopgeloste stap is om latente diffusie concurrerend te maken voor tekstgeneratie.

Overwinnen van Naïeve Gezamenlijke Training: Het werk toont aan dat het simpelweg samen trainen van een encoder en een diffusiemodel onvoldoende is; specifieke technieken (MSE-loss, warmup, adaptieve sampling, decoder-ruis) zijn vereist om de training te stabiliseren en hoge kwaliteit te bereiken.
Superioriteit van Contextuele Latenten: De resultaten geven aan dat hoogwaardige sequentie-informatie (vastgelegd door de bevroren GPT-2-encoder) essentieel is, maar dat deze moet worden herschikt door een trainbare encoder die specifiek is voor diffusie.
Efficiëntie: Door per-stap vocabulaire-projecties te vermijden, biedt LDLM een aanzienlijke snelheidswinst, waarmee een belangrijke bottleneck in diffusie-gebaseerde tekstgeneratie wordt aangepakt.

De auteurs concluderen dat het direct vormgeven van de latente ruimte met het ontdoening-doel essentieel is voor het bouwen van effectieve latente tekstdiffusiemodellen, waarbij state-of-the-art generatiekwaliteit wordt bereikt terwijl superieure inferentiesnelheid behouden blijft.