💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

Cet article présente le modèle de langage à diffusion latente (LDLM), qui entraîne conjointement un encodeur latent, un modèle de diffusion et un décodeur pour créer un espace latent continu de haute qualité, permettant d'obtenir des performances de génération de texte supérieures et des vitesses d'inférence nettement plus rapides que les modèles de diffusion discrets et continus existants.

Auteurs originaux : Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment écrire une histoire. L'ancienne méthode (appelée « autoregressive ») est comparable à un élève écrivant une phrase mot par mot, de gauche à droite. S'il fait une erreur au début, il ne peut pas revenir en arrière pour la corriger sans tout réécrire. De plus, il ne peut écrire qu'un mot à la fois, ce qui est lent.

La nouvelle méthode présentée dans cet article, appelée LDLM, est comparable à un sculpteur travaillant sur un bloc de marbre. Au lieu de tailler un mot à la fois, le sculpteur commence par un bloc de pierre brut et bruyant (une version « bruitée » de l'histoire) et élimine progressivement le bruit pour révéler la forme finale. Il peut observer l'ensemble du bloc d'un seul coup et l'affiner en parallèle, corrigeant instantanément les erreurs n'importe où dans l'histoire.

Cependant, il y a une nuance : pour sculpter efficacement, vous avez besoin du bon type de marbre. Si la pierre est trop dure ou trop tendre, le sculpteur ne peut pas faire son travail. En termes d'IA, ce « marbre » est appelé l'espace latent — une représentation mathématique cachée du texte avec laquelle le modèle travaille avant de le retransformer en mots.

Le Problème : Le « Plan Gelé »

Les tentatives précédentes de cette méthode de « sculpture » utilisaient un plan préfabriqué pour le marbre. Elles prenaient un modèle de langage intelligent et pré-entraîné (comme un dictionnaire qui sait déjà comment les mots s'assemblent) et le figeaient en place. Elles tentaient de sculpter le texte en utilisant ce plan fixe.

Les auteurs de cet article ont réalisé que cela revenait à essayer de sculpter une statue en utilisant un plan conçu pour un type de pierre différent. Le modèle pré-entraîné n'était pas optimisé pour le processus de « sculpture » (diffusion), ce qui donnait des résultats maladroits, lents ou de mauvaise qualité.

La Solution : L'Entraînement Conjoint (Le « Travail d'Équipe »)

Les auteurs ont construit un nouveau système appelé LDLM (Latent Diffusion Language Model). Au lieu d'utiliser un plan gelé, ils ont créé une équipe de trois personnes qui apprend ensemble depuis zéro :

L'Encodeur : Un traducteur qui transforme les mots en « marbre » (espace latent).
Le Sculpteur (Modèle de Diffusion) : La partie qui élimine le bruit pour affiner l'histoire.
Le Décodeur : Un traducteur qui transforme le marbre affiné en mots lisibles.

La magie réside dans le fait que les trois apprennent ensemble. À mesure que le Sculpteur s'améliore dans l'élimination du bruit, il dit à l'Encodeur : « Hé, j'ai besoin que le marbre soit façonné ainsi pour mieux fonctionner. » L'Encodeur ajuste alors sa forme pour aider le Sculpteur. C'est une boucle de rétroaction où toute l'équipe évolue pour s'adapter parfaitement les uns aux autres.

La « Recette » du Succès

Les auteurs ont découvert que simplement assembler ces trois éléments ne fonctionnait pas immédiatement ; l'équipe se disputait et échouait à apprendre. Ils ont dû suivre une « recette » spécifique pour les amener à coopérer :

L'Échauffement : Au tout début, ils laissent l'Encodeur et le Décodeur s'entraîner à traduire des mots sans que le Sculpteur n'intervienne. Cela donne à l'Encodeur la chance de construire une base stable avant que le Sculpteur ne commence à essayer de le façonner. C'est comme laisser un musicien accorder son instrument avant que le groupe ne commence à jouer.
L'Astuce du « Bruit » : Pendant l'entraînement, ils ajoutent intentionnellement un peu de statique (bruit) à l'entrée du Décodeur. Cela force l'Encodeur à être robuste et à stocker l'information efficacement, plutôt que de dépendre de signaux parfaits mais fragiles. C'est comme entraîner un coureur avec un sac à dos lourd afin que, lorsqu'il court sans, il se sente léger et rapide.
Un Timing Intelligent : Ils n'entraînent pas le modèle à vitesse constante. Ils ajustent quand ils s'entraînent en fonction de la difficulté de la tâche à ce moment précis, assurant ainsi que le modèle apprend les parties les plus difficiles aussi bien que les parties faciles.

Les Résultats : Plus Rapide et Plus Intelligent

Lorsqu'ils ont testé cette nouvelle équipe sur de grands ensembles de données textuelles (comme des articles de presse et des livres) :

Qualité : Les histoires générées étaient plus cohérentes et diversifiées que les méthodes précédentes.
Vitesse : Parce que le modèle travaille sur le « marbre » (les mathématiques cachées) plutôt que d'essayer de choisir des mots individuels dans un immense dictionnaire à chaque étape, il est 2 à 13 fois plus rapide que la concurrence.
Efficacité : Il atteint un meilleur équilibre entre l'écriture d'un texte de haute qualité et le maintien de la variété du texte (non répétitif).

Résumé

En bref, cet article présente une nouvelle façon d'enseigner à l'IA comment écrire en faisant apprendre le « traducteur », le « sculpteur » et l'affineur ensemble comme une seule unité, plutôt que d'utiliser un outil préfabriqué et gelé. En suivant une recette d'entraînement spécifique, ils ont créé un système qui écrit un meilleur texte, beaucoup plus rapidement qu'auparavant.

Résumé Technique : Comment Entraîner Votre Modèle de Langage à Diffusion Latente conjointement avec l'Espace Latent

Énoncé du Problème

Les modèles autoregressifs dominent actuellement la génération de texte, mais sont contraints par leur nature séquentielle de gauche à droite, ce qui empêche la génération parallèle et la correction des erreurs précédentes. Les modèles de langage à diffusion offrent une alternative en générant du texte par raffinement itératif en parallèle. Cependant, les approches existantes font face à des obstacles significatifs :

Diffusion Discrète : Opère directement sur l'espace des tokens mais souffre de distributions conjointes factorisées, prédisant les tokens indépendamment à chaque étape. Cela limite la capacité à générer plusieurs tokens simultanément, rendant la génération en peu d'étapes de haute qualité difficile.
Diffusion Continue : Opère dans un espace latent, permettant un raffinement progressif de toutes les positions. Bien que supérieure aux méthodes discrètes, les approches continues actuelles reposent sur des encodeurs pré-entraînés figés (par exemple, des encodeurs basés sur Transformer) pour construire l'espace latent. Ces encodeurs sont entraînés sur des tâches de substitution (comme la prédiction du token suivant) et ne sont pas optimisés pour les besoins spécifiques du processus de débruitage par diffusion. À l'inverse, des plongements de tokens peu profonds (one-hot ou vecteurs fixes) produisent des espaces latents sous-optimaux, même lorsqu'ils sont ajustés pour la diffusion.

Le défi central consiste à construire un espace latent qui soit simultanément décodable (peut être mappé de nouveau vers des tokens) et compatible avec la diffusion (facile à débruiter), sans le désaccord causé par la séparation de l'entraînement de l'encodeur de l'entraînement de la diffusion.

Méthodologie : LDLM

Les auteurs proposent le Modèle de Langage à Diffusion Latente (LDLM), un cadre où l'encodeur latent, le modèle de diffusion et le décodeur sont entraînés conjointement. Cela permet à l'objectif de diffusion de façonner directement l'espace latent.

Architecture

Encodage en Deux Étapes :
- Encodeur de Tokens Figé : Les tokens d'entrée $w$ sont d'abord traités par un encodeur de tokens pré-entraîné et figé (GPT-2) pour extraire les états cachés contextuels $h$ .
- Encodeur Latent Entraînable : Un encodeur entraînable $E_\theta^z$ mappe ces états cachés $h$ vers l'espace latent de diffusion $z_0$ . Cela remodele la représentation pour la rendre adaptée à la diffusion tout en maintenant la décodabilité.
Décodage en Deux Étapes :
- Décodeur Latent : Un décodeur entraînable $D_\theta^h$ mappe le latent $z_0$ (perturbé par du bruit pendant l'entraînement) de nouveau vers les états cachés $\hat{h}$ .
- Décodeur de Tokens : Un décodeur de tokens $D_\theta^w$ convertit $\hat{h}$ en tokens $w$ .
Objectifs d'Entraînement :
Le modèle minimise une perte combinée : $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ .
- $L_{diff}$ : Perte standard de diffusion continue (MSE) pour récupérer des latents propres à partir d'observations bruitées.
- $L_h$ (MSE des États Cachés) : Reconstruit les états cachés de l'encodeur figé $h$ à partir de l'espace latent. Crucialement, cela utilise l'Erreur Quadratique Moyenne (MSE) plutôt que l'Entropie Croisée (CE).
- $L_w$ (CE des Tokens) : Reconstruit les tokens à partir des états cachés. Les gradients sont arrêtés aux états cachés reconstruits pour éviter d'affecter l'encodeur latent.

Recette d'Entraînement Clé (La Solution "Quatre Parties")

Les auteurs identifient qu'un entraînement conjoint naïf échoue (produisant des générations de faible diversité) et proposent une recette spécifique pour le faire fonctionner :

Perte de Décodeur MSE : Contrairement aux travaux antérieurs utilisant l'Entropie Croisée, LDLM utilise la MSE pour reconstruire les états cachés. La CE force les latents à être bien séparés pour distinguer les tokens, ce qui entre en conflit avec la géométrie lisse requise pour la diffusion. La MSE est moins stricte, permettant aux latents d'être proches si leurs états cachés sous-jacents sont similaires, empêchant l'effondrement latent tout en maintenant une variété lisse.
Échauffement Diffusion-Encodeur : Au début de l'entraînement, la perte de reconstruction (encourageant de grandes magnitudes latentes) et la perte de diffusion (encourageant de petites magnitudes pour trivialiser le débruitage) tirent l'encodeur dans des directions opposées. Les auteurs mettent en œuvre un échauffement où le gradient de diffusion est multiplié par un coefficient $\gamma(s)$ qui commence près de 0 et augmente jusqu'à 1. Cela permet à l'encodeur d'apprendre d'abord un espace latent décodable avant que l'objectif de diffusion ne le façonne.
Échantillonnage Adaptatif des Pas de Temps : Puisque l'espace latent évolue pendant l'entraînement, un calendrier de bruit fixe est sous-optimal. Les auteurs ajustent dynamiquement la distribution d'échantillonnage des pas de temps pour s'assurer que la perte de débruitage croît linéairement avec le pas de temps, faisant en sorte que tous les pas de temps contribuent également à la réduction de l'incertitude.
Bruit d'Entrée du Décodeur : Du bruit gaussien ( $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ) est injecté dans l'entrée du décodeur latent pendant l'entraînement. Cela sert trois objectifs :
- Encourage l'encodeur à stocker l'information efficacement (empêchant les dimensions inutilisées de corrompre le signal).
- Agit comme une augmentation de données, rendant le décodeur robuste aux erreurs de diffusion.
- Stabilise la variance des coordonnées latentes, améliorant la paramétrisation de la diffusion.

Résultats

Les auteurs évaluent LDLM sur OpenWebText (OWT) et LM1B, en le comparant aux meilleures approches discrètes (MDLM, Duo) et continues (CANDI, FLM) de diffusion.

Compromis Qualité-Diversité : LDLM atteint la meilleure frontière de Pareto entre la Perplexité Générative (Gen. PPL) et l'Entropie. Il surpasse significativement les références en Gen. PPL à des niveaux d'entropie comparables, s'approchant de la qualité du texte réel.
Comparaison de l'Espace Latent : Des études d'ablation montrent que les latents appris conjointement par LDLM surpassent :
- Les plongements peu profonds (entraînés à partir de zéro ou figés).
- Les plongements contextuels d'encodeurs figés (style TEncDM).
- Les latents d'autoencodeurs entraînés avec des objectifs de lissage explicites (style COSMOS).
  Cela confirme que l'espace latent doit être ajusté spécifiquement pour l'objectif de diffusion.
Efficacité Computationsnelle : LDLM est 2 à 13 fois plus rapide que les méthodes concurrentes lors de l'échantillonnage. Contrairement aux modèles de diffusion au niveau des tokens qui projettent vers le vocabulaire à chaque étape, LDLM opère dans un espace latent de plus faible dimension tout au long du processus de génération, ne projetant vers les tokens qu'une seule fois à la fin.

Importance et Revendications

L'article revendique que l'apprentissage conjoint de l'espace latent est une étape critique, précédemment non abordée, pour rendre la diffusion latente compétitive pour la génération de texte.

Surmonter l'Entraînement Conjoint Naïf : Le travail démontre qu'entraîner simplement un encodeur et un modèle de diffusion ensemble est insuffisant ; des techniques spécifiques (perte MSE, échauffement, échantillonnage adaptatif, bruit du décodeur) sont requises pour stabiliser l'entraînement et atteindre une haute qualité.
Supériorité des Latents Contextuels : Les résultats indiquent que les informations de séquence de haut niveau (capturées par l'encodeur figé GPT-2) sont essentielles, mais elles doivent être remodelées par un encodeur entraînable spécifiquement pour la diffusion.
Efficacité : En évitant les projections vers le vocabulaire à chaque étape, LDLM offre une accélération substantielle, adressant un goulot d'étranglement majeur dans la génération de texte basée sur la diffusion.

Les auteurs concluent que façonner l'espace latent directement avec l'objectif de débruitage est essentiel pour construire des modèles de diffusion de texte latents efficaces, atteignant une qualité de génération de pointe tout en maintenant une vitesse d'inférence supérieure.