💬 NLP

TextLDM: Language Modeling with Continuous Latent Diffusion

L'article présente TextLDM, un cadre de modélisation linguistique qui adapte l'architecture du Transformer de diffusion visuelle (DiT) à la génération de texte en mappant des tokens discrets vers des latents continus via un VAE enrichi par un Alignement de Représentation (REPA), atteignant des performances comparables à GPT-2 et faisant progresser l'objectif de modèles de diffusion multimodaux unifiés.

Auteurs originaux : Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

Publié 2026-05-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment écrire une histoire. Pendant longtemps, la méthode standard pour le faire a été comparable à une machine à écrire : le robot tape une lettre, puis la suivante, puis la suivante, dans une ligne stricte. Cela s'appelle la modélisation « autoregressive » (AR). Cela fonctionne bien, mais c'est lent car il ne peut pas écrire toute la phrase d'un coup ; il doit la construire brique par brique.

D'un autre côté, lorsqu'il s'agit d'enseigner aux robots à dessiner des images, les scientifiques ont récemment découvert une meilleure méthode. Au lieu de dessiner ligne par ligne, ils commencent par une toile remplie de bruit statique (comme la neige sur un téléviseur) et le « débruitent » lentement jusqu'à ce qu'une image claire apparaisse. Cela s'appelle la Diffusion.

Ce papier, TextLDM, pose une question simple : Peut-on enseigner au robot à écrire des histoires en utilisant la même méthode de « débruitage » que celle employée pour dessiner des images ?

Voici comment ils l'ont fait, expliqué par analogie :

1. Le Problème : Les Mots sont Discrets, le Bruit est Continu

Le principal obstacle est que les mots sont comme des briques Lego. On ne peut pas avoir une demi-brique ; elle est soit là, soit elle ne l'est pas. Mais la méthode de « débruitage » pour les images fonctionne avec des couleurs lisses et continues (comme mélanger de la peinture).

Si vous essayez de transformer directement des briques Lego en peinture lisse, le résultat est généralement un flou confus. Les tentatives précédentes pour faire cela avec du texte ont échoué car les « versions lisses » des mots qu'elles créaient étaient trop désordonnées pour que le robot comprenne comment les retransformer en bonnes phrases.

2. La Solution : Le « Traducteur » (TextVAE)

Les auteurs ont construit un Traducteur spécial (appelé TextVAE).

La Tâche : Il prend une phrase faite de briques Lego (mots discrets) et la traduit en un liquide lisse et continu (vecteurs latents).
L'astuce : Ils ont constaté que traduire simplement les mots ne suffisait pas. Le liquide devait être « intelligent ». Ainsi, ils ont ajouté un Mentor (un modèle de langage pré-entraîné et figé appelé Qwen3).
L'Alignement (REPA) : Imaginez que le Traducteur est un élève et le Mentor un maître enseignant. L'élève tente de traduire les mots, mais l'enseignant vérifie constamment : « Cette représentation liquide lisse capture-t-elle le vrai sens du mot, tout comme je le ferais ? » Ce processus, appelé Alignement de Représentation (REPA), force le Traducteur à créer un « langage liquide » parfaitement structuré pour le processus de débruitage.

3. Le Générateur : Le « Sculpteur de Débruitage » (TextDiT)

Une fois le Traducteur prêt, l'écriture proprement dite a lieu.

Au lieu de taper mot par mot, le robot commence avec un seau de bruit aléatoire (comme de la neige sur un téléviseur).
Il utilise un Sculpteur (un Transformateur de Diffusion, ou DiT) pour enlever lentement le bruit, guidé par le « langage liquide » créé par le Traducteur.
La Magie : Parce qu'il travaille dans cet espace lisse et continu, le robot peut générer l'histoire entière d'un coup, plutôt qu'un mot à la fois.

4. Pourquoi Cela Compte (Les Résultats)

L'article a testé cette nouvelle méthode sur quatre défis d'écriture différents (des histoires pour enfants simples aux entrées d'encyclopédie complexes).

Vitesse : Parce qu'il génère toute l'histoire en parallèle (comme peindre une toile entière d'un coup) plutôt que séquentiellement (comme taper), il peut être beaucoup plus efficace pour les longs textes.
Qualité : La nouvelle méthode (TextLDM) a surpassé tous les modèles de texte « diffusion » précédents. En fait, elle a performé aussi bien que les meilleurs modèles de « machine à écrire » (GPT-2) de taille similaire.
L'Insight Clé : L'article prouve que la « recette » exacte utilisée pour créer des images IA époustouflantes (Traduction Lisse + Mentor Intelligent + Sculpteur de Débruitage) fonctionne parfaitement pour le texte aussi, à condition de corriger le « Traducteur » avec le bon alignement.

Résumé

Pensez-y ainsi : auparavant, écrire avec l'IA consistait à mouler de l'argile un tout petit morceau à la fois. Cet article montre que si vous transformez d'abord l'argile en un liquide parfaitement lisse et intelligent, vous pouvez verser toute la forme d'un coup et obtenir un résultat tout aussi bon, mais potentiellement plus rapide et plus flexible. Ils n'ont pas inventé une nouvelle argile ; ils ont simplement trouvé un meilleur moyen de la lisser avant de la façonner.

Résumé Technique : TextLDM

Énoncé du Problème

Le domaine de la modélisation multimodale cherche un cadre unifié capable de générer de manière transparente à la fois du contenu visuel et textuel. Bien que les Transformers de Diffusion (DiT) entraînés avec un appariement de flux dans un espace latent de VAE aient réussi à unifier la génération d'images et de vidéos, la modélisation du langage est restée dominée par le paradigme autorégressif (AR). Les tentatives existantes pour unifier la compréhension et la génération reposent souvent sur des paradigmes basés sur des tokens discrets ou sur une diffusion discrète, laissant un vide méthodologique. Le défi central dans l'application de la diffusion latente continue au texte n'est pas l'épine dorsale de la diffusion elle-même, mais la qualité des représentations textuelles continues. Un VAE entraîné uniquement pour la reconstruction de tokens peut atteindre une haute fidélité tout en produisant des espaces latents mal adaptés au débruitage conditionnel, conduisant à une qualité de génération sous-optimale.

Méthodologie : TextLDM

Les auteurs proposent TextLDM, un cadre qui transpose la recette de la diffusion latente visuelle à la modélisation du langage avec une modification architecturale minimale. Le système fonctionne en deux étapes :

1. TextVAE : Représentation Latente Continue

Un Variational Autoencoder basé sur Transformer (TextVAE) mappe des tokens discrets vers des vecteurs latents continus.

Architecture : Contrairement aux approches antérieures qui compressent les séquences de tokens en séquences latentes plus courtes, TextLDM maintient une correspondance un-à-un où chaque token correspond à un vecteur latent continu. L'encodeur ( $E_\phi$ ) et le décodeur ( $D_\psi$ ) sont tous deux des Transformers.
Alignement des Représentations (REPA) : Pour répondre au goulot d'étranglement de l'efficacité latente, les auteurs introduisent REPA. L'encodeur VAE est aligné avec un modèle de langage préentraîné figé (Qwen3-1.7B) via une perte de similarité cosinus sur les représentations intermédiaires. Cela façonne la géométrie latente pour qu'elle soit plus propice à la génération basée sur la diffusion, sans compromettre la fidélité de reconstruction.
Objectif d'Entraînement : Le VAE est entraîné avec une perte composite comprenant une perte de reconstruction par entropie croisée, une régularisation par divergence KL, et la perte d'alignement REPA.

2. TextDiT : Appariement de Flux dans l'Espace Latent

Un Diffusion Transformer standard (TextDiT), architecturalement identique à son équivalent visuel, effectue un appariement de flux au sein de l'espace latent appris.

Formulation Conditionnelle : Le modèle traite la génération de langage comme un processus conditionnel, prenant des latents de contexte propres ( $z_c$ ) et des latents cibles bruités ( $z_t$ ) en entrée pour prédire un champ de vitesse.
Appariement de Flux : Le modèle est optimisé en utilisant une perte d'Appariement de Flux Conditionnel (CFM), interpolant entre le bruit gaussien et le latent cible.
Planification et Guidage : Le système adopte la planification des pas de temps logit-normale (prouvée efficace dans Stable Diffusion 3) et utilise un Guidage Sans Classifieur (CFG) pour améliorer la qualité de génération.
Inférence : La génération est effectuée en parallèle via un solveur d'EDO d'Euler, évitant le décodage autorégressif au niveau des tokens. Cela permet une efficacité d'inférence invariante à la longueur (nombre constant d'évaluations de fonctions quelle que soit la longueur de la séquence).

Contributions Clés

Architecture Unifiée : TextLDM transpose avec succès la recette de la diffusion visuelle (VAE + DiT + appariement de flux + CFG) à la modélisation du langage, faisant un pas vers des architectures multimodales unifiées. L'ensemble du système est entraîné à partir de zéro sans dépendre d'encodeurs ou de décodeurs préentraînés pour le processus de diffusion.
Identification du Goulot d'Étranglement des Représentations : Les auteurs identifient que la fidélité de reconstruction seule est insuffisante pour une diffusion de texte de haute qualité. Ils démontrent que l'Alignement des Représentations (REPA) est crucial pour façonner l'espace latent afin de soutenir la qualité de génération en aval.
Performances de l'État de l'Art : TextLDM atteint des résultats de l'état de l'art parmi les modèles de langage par diffusion et égale les bases autorégressives (GPT-2) dans des configurations identiques.
Efficacité : Le cadre offre un profil de génération plus constant dans le temps par rapport à la croissance linéaire des évaluations de fonctions dans les modèles autorégressifs.

Résultats Expérimentaux

Les modèles ont été entraînés à partir de zéro sur OpenWebText2 et évalués sur la continuation de texte à travers quatre benchmarks : One Billion Words, TinyStories, Wikipedia, et WikiSource.

Performances vs Bases de Diffusion : TextLDM surpasse nettement les modèles de langage par diffusion continus (ex. SSD-LM) et discrets (ex. Block Diffusion) antérieurs sur toutes les métriques (ROUGE, BERTScore, MAUVE).
Performances vs Bases Autorégressives :
- Sur TinyStories et One Billion Words, TextLDM égale ou dépasse les modèles GPT-2 de taille similaire ou supérieure sur les métriques ROUGE.
- Sur les benchmarks hors distribution (Wikipedia, WikiSource), la variante TextLDM de 768M surpasse toutes les bases GPT-2.
- Un écart mineur persiste sur le BERTScore pour certains benchmarks, où les modèles AR conservent un avantage.
Comportement d'Échelle : TextLDM démontre un comportement d'échelle cohérent ; les performances s'améliorent significativement à mesure que la taille du DiT augmente de 114M à 768M paramètres.
Efficacité d'Entraînement : La dynamique d'entraînement montre que TextLDM égale ou dépasse les performances de GPT-2-medium dans un nombre comparable d'étapes d'entraînement sur la plupart des benchmarks, une amélioration significative par rapport aux modèles de diffusion continus antérieurs qui nécessitaient beaucoup plus de calcul.
Analyses d'Ablation :
- REPA : Le retrait de REPA cause une chute substantielle de la qualité de génération, confirmant sa nécessité pour la structure de l'espace latent.
- Reconstruction vs Génération : Toutes les configurations VAE ont atteint une reconstruction de tokens quasi parfaite (>97,5%), pourtant la qualité de génération variait considérablement en fonction de REPA et de la dimension latente, prouvant que la géométrie latente, et non la reconstruction, pilote les performances.
- Hyperparamètres : La planification des pas de temps logit-normale (écart-type=1.5) et une échelle CFG de 7 ont produit les résultats optimaux.

Signification et Revendications

L'article revendique que TextLDM établit que la « recette visuelle DiT » se transpose efficacement au langage. En prouvant qu'une architecture unifiée peut gérer à la fois la synthèse visuelle et la génération de texte, ce travail fournit une fondation concrète pour de futures architectures de diffusion unifiées pour la génération et la compréhension multimodales. Les auteurs soulignent que la clé du succès n'était pas seulement l'épine dorsale de la diffusion, mais l'adaptation spécifique de l'espace latent via l'Alignement des Représentations, ce qui permet de modéliser efficacement le texte discret dans un cadre de diffusion continu.

Les auteurs restent modestes concernant les limites, notant que le pipeline d'entraînement en deux étapes ajoute de la complexité et que la précision de reconstruction sur les données hors domaine (ex. Wikipedia) est légèrement inférieure à celle des données dans le domaine, ce qui peut propager des erreurs. Ils suggèrent que l'expansion du corpus d'entraînement avec des données plus diversifiées pourrait atténuer ces problèmes.