💬 NLP

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

AURORA-LM est un modèle de langage de diffusion à espace latent continu qui atteint des performances de pointe en découplant la construction d'une représentation textuelle décodable à haute capacité de sa modélisation de distribution, en utilisant un encodeur-décodeur basé sur des requêtes et un transformeur de diffusion à causalité par blocs entraîné par correspondance de flux (flow matching) sur des NPU Ascend.

Auteurs originaux : Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de construire une machine capable d'imaginer de nouvelles histoires, tout comme un auteur humain. Pendant longtemps, les scientifiques ont été incroyablement doués pour apprendre aux machines à imaginer des images, de la musique et des vidéos. Ils font cela en traitant ces éléments comme des rivières de données fluides et continues — pensez à un dégradé de couleurs passant du bleu au violet, ou à une mélodie glissant d'une note à une autre. Cette façon de penser « continue » fonctionne magnifiquement pour les images et le son. Mais lorsqu'il s'agit du langage, la machine est restée coincée dans un monde différent : un monde de briques Lego. Pour écrire une phrase, l'ordinateur doit assembler, un par un, des blocs individuels et rigides appelés « tokens » (comme des mots ou des parties de mots). C'est comme essayer de peindre un chef-d'œuvre en n'utilant qu'un seul tampon rigide.

La grande question que les scientifiques se posent est la suivante : pouvons-nous apprendre aux machines à écrire en utilisant cette même approche de rivière fluide et continue qu'ils utilisent pour les images ? Le défi est délicat. Le langage est précis ; si vous floutez un mot, ne serait-ce qu'un tout petit peu, il pourrait se transformer en un mot complètement différent ou en un non-sens. Les tentatives précédentes pour mélanger ces deux mondes devaient souvent faire un compromis : elles écrasaient le langage en une forme minuscule et floue pour faciliter sa génération par la machine, mais alors la machine ne pouvait plus le relire clairement. C'était comme essayer d'écrire un roman à l'encre invisible en espérant que le lecteur devine les mots.

C'est ici qu'intervient AURORA-LM, une nouvelle approche qui dit : « Arrêtons d'écraser le langage. » Au lieu de forcer les mots dans une forme minuscule et facile à générer, les chercheurs ont construit un traducteur spécial qui préserve la richesse et le détail du langage, puis ont appris au générateur à gérer cette complexité. Voyez cela comme suit : imaginez que vous vouliez recréer une sculpture complexe. Les anciennes méthodes diraient : « Créons simplement un petit bloc de glaise flou et espérons qu'il ressemblera à la sculpture plus tard. » AURORA-LM dit : « Non, gardons une glaise détaillée et de haute qualité, et construisons un sculpteur plus intelligent qui sait exactement comment façonner cette glaise détaillée sans la gâcher. »

Les chercheurs ont découvert qu'en séparant la tâche de « rendre le langage détaillé » de celle de « générer l'histoire », ils pouvaient obtenir le meilleur des deux mondes. Ils ont créé un système qui génère des flux continus et fluides de données « latentes » (un mot savant pour désigner une version compressée et cachée du texte) qui sont pourtant assez détaillées pour être transformées en mots parfaits. Ils ont testé cela sur deux tâches majeures : écrire des histoires aléatoires à partir de rien et résumer de longs articles de presse. Dans ces tests, AURORA-LM a suggéré qu'il pouvait écrire de manière plus fluide et plus précise que d'autres méthodes qui tentent de faire la même chose, y compris certains modèles très volumineux déjà existants.

L'équipe a également montré que cette méthode devient encore plus performante lorsqu'on agrandit la machine. Ils l'ont poussée jusqu'à une version d'environ 1 milliard de paramètres (une mesure de la taille et de la complexité du cerveau de l'IA) et ont constaté qu'elle restait très performante, surpassant même un modèle plus grand et publié publiquement qui utilise une technique similaire. L'idée clé est que vous n'avez pas besoin de sacrifier la clarté du langage simplement pour faciliter la génération par une machine. En construisant un pont plus intelligent entre le monde fluide de la génération et le monde précis des mots, AURORA-LM suggère que les machines pourraient bientôt être capables d'écrire avec la même grâce fluide et continue qu'elles utilisent pour peindre et chanter.

Résumé Technique : AURORA-LM

Problématique

La génération de langage demeure une exception dans la modélisation générative moderne. Alors que les images, la vidéo et l'audio sont de plus en plus modélisés dans des espaces latents continus via des processus de diffusion, la génération de texte repose encore principalement sur des jetons (tokens) discrets. Les tentatives existantes pour appliquer la diffusion continue au langage font face à un compromis de conception fondamental :

Représentations héritées : Des méthodes telles que Diffusion-LM ou TEncDM héritent des espaces de plongement (embeddings) des jetons ou d'encodeurs pré-entraînés. Ces espaces ne sont pas explicitement conçus pour répondre aux exigences conjointes d'une reconstruction textuelle précise et d'une génération continue efficace.
Compromis de compression : Les approches basées sur des auto-encodeurs (par exemple, LD4LG, COSMOS) projettent le texte vers des latents continus, mais compressent souvent ces représentations pour faciliter l'apprentissage de la distribution de diffusion. Cette compression sacrifie la fidélité au niveau du jeton, créant un goulot d'étranglement où l'amélioration de la tractabilité générative dégrade la précision du décodage, et vice versa.

Le défi central consiste à construire une représentation textuelle continue qui permette un décodage fidèle et précis, tout en concevant un modèle génératif capable d'apprendre sa distribution sans sacrifier cette capacité de représentation.

Méthodologie : Le cadre AURORA-LM

AURORA-LM (Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling) répond à ces défis en séparant la construction de la représentation de la modélisation de la distribution en deux étapes distinctes.

1. Construction du latent textuel continu (L'auto-encodeur)

Au lieu d'hériter de représentations, AURORA-LM construit explicitement un latent textuel de haute capacité et décodable à l'aide d'un Encodeur-Décodeur basé sur des requêtes (Query-based) :

Encodeur basé sur des requêtes : Organise le texte discret en une séquence latente de haute capacité, alignée par préfixes. Il utilise $N$ requêtes latentes pour agréger des préfixes de jetons de longueur croissante. À mesure que l'indice de la requête $i$ augmente, l'encodeur porte attention à des préfixes de jetons de plus en plus longs ( $w_{1:\lceil iL/N \rceil}$ ), induisant un ordre causal où les positions latentes s'alignent avec les préfixes textuels.
Décodeur basé sur des requêtes : Mappe les préfixes latents vers les logits des jetons. Crucialement, le décodeur est restreint à ne porter attention qu'au préfixe latent correspondant, garantissant une correspondance causale stricte entre les séquences latentes et les jetons.
Conception à haute capacité : Contrairement aux travaux antérieurs qui compressent les latents pour faciliter la génération, AURORA-LM conserve une largeur de canal élevée ( $D$ ) et une compression de séquence minimale ( $c \approx 1$ ). Cela préserve l'information nécessaire à la récupération exacte des jetons, traitant l'espace latent comme une interface fidèle au texte plutôt que comme un prédicat simplifié.
Entraînement : L'auto-encodeur est entraîné via une entropie croisée au niveau du jeton, puis est gelé. Cela fixe la distribution latente cible, permettant l'étude indépendante du modèle génératif par rapport à l'apprentissage de la représentation.

2. Diffusion latente à causalité par blocs (Le modèle génératif)

Un Transformer de diffusion à causalité par blocs apprend la distribution des séquences latentes gelées en utilisant le Flow Matching :

Factorisation par blocs causaux : Pour équilibrer la génération causale et le débruitage parallèle, la séquence latente est partitionnée en blocs. Le modèle génère les blocs de gauche à droite (conditionnement causal sur les blocs précédents) mais débruite toutes les positions au sein d'un bloc en parallèle.
Prédiction de latent à pleine largeur : Le modèle prédit le latent propre de pleine largeur ( $x_0$ ) requis par le décodeur, plutôt qu'une version compressée.
Goulot d'étranglement d'entrée bruitée : Pour gérer la difficulté d'apprendre une distribution de haute dimension à partir d'entrées bruitées, le modèle applique une projection de rang faible uniquement à la voie d'entrée bruitée ( $W_{down} \in \mathbb{R}^{D_b \times D}$ ), tandis que la tête de sortie prédit la cible propre de pleine largeur. Cela permet au modèle de traiter efficacement les entrées corrompues sans réduire la capacité face au décodeur.
Calibration du bruit : La distribution du niveau de bruit est calibrée selon la largeur du latent. Les résultats empiriques montrent que les représentations latentes plus larges bénéficient de schémas de bruit plaçant davantage l'accent sur les entrées à haut niveau de bruit.
Cohérence de trajectoire auto-référencée : Pour combler l'écart entre l'entraînement sur des états bruités échantillonnés indépendamment et l'inférence par débruitage itératif, le modèle introduit une perte de cohérence. Celle-ci aligne les prédictions de latents propres aux états voisins le long de la trajectoire de débruitage, stabilisant le processus de génération et permettant des résultats de haute qualité avec moins d'étapes d'échantillonnage.

3. Inférence

Lors de l'inférence, les blocs latents sont générés séquentiellement de gauche à droite. Les latents standardisés générés sont inversés vers l'espace de l'encodeur d'origine, puis transmis au décodeur gelé pour récupérer la séquence de jetons finale. Le cadre supporte à la fois la génération inconditionnelle et la génération conditionnée par un prompt (en utilisant le classifier-free guidance ou le self-conditioning guidance).

Principales contributions

Cadre unifié : AURORA-LM sépare l'apprentissage de la représentation textuelle de la modélisation de la distribution générative, construisant explicitement une représentation continue que le modèle de diffusion apprend à générer, plutôt que d'en hériter d'une.
Interface à haute capacité : Il conserve la pleine capacité de canal de la représentation latente pour un décodage de jetons précis, adaptant le prior de diffusion pour modéliser la distribution complexe résultante plutôt que de simplifier la représentation.
Flow Matching à causalité par blocs : Il introduit un débruiteur à causalité par blocs entraîné avec le flow matching, qui génère des blocs de gauche à droite tout en débruitant les positions au sein des blocs en parallèle.
4.ations Innovations architecturales : La combinaison d'une voie d'entrée bruitée à faible rang, d'une calibration du niveau de bruit par rapport à la largeur du latent et d'une cohérence de trajectoire auto-référencée permet au modèle d'apprendre efficacement des distributions de latents de pleine largeur.

Résultats expérimentaux

Les expériences ont été menées sur des NPU Ascend.

OpenWebText (Génération inconditionnelle) : AURORA-LM-S (130 millions de paramètres) a obtenu la perplexité de génération la plus basse (Gen-PPL : 23,56) et le score MAUVE le plus élevé (0,890) parmi les bases de référence autorégressives, de diffusion discrète et d'embeddings continus évaluées.
XSum (Résumé conditionnel) : AURORA-LM-S a surpassé toutes les bases de référence (y compris ELF-B, AR et MDLM) sur les métriques ROUGE-1, ROUGE-2 et ROUGE-L.
Mise à l'échelle (Scaling) : AURORA-LM-L (1,01 milliard de paramètres, ~1 500 EFLOPs de calcul) a démontré des gains de performance constants et a surpassé un modèle de diffusion latente public plus large (Cola-DLM, ~1,8 milliard de paramètres) sous un protocole d'évaluation identique.
Études d'ablation :
- Largeur du latent : Des latents plus larges ( $D=1024$ ) ont fourni une meilleure robustesse à la corruption et une performance générative supérieure.
- Goulot d'étranglement d'entrée : Une largeur de goulot d'étranglement modérée ( $D_b=128$ ) pour les entrées bruitées était optimale, permettant la prédiction de pleine largeur sans traiter les entrées corrompues à leur pleine dimensionnalité.
- Cohérence de trajectoire : La cohérence de trajectoire auto-référencée a considérablement amélioré la qualité de l'échantillonnage en quelques étapes.

Signification et affirmations

L'article affirme que la génération de langage continue peut efficacement faire le pont entre la modélisation générative basée sur la diffusion et le décodage de jetons discrets. Les auteurs soutiennent que le compromis de conception prédominant — simplifier les représentations pour accommoder les modèles génératifs — est inutile. Au lieu de cela, en préservant un latent textuel de haute capacité et décodable, et en concevant le modèle de diffusion pour apprendre sa distribution directement (via des choix architecturaux spécifiques comme la factorisation par blocs causaux et la cohérence de trajectoire), il est possible d'atteindre des performances de pointe dans les tâches de génération de texte conditionnelles et inconditionnelles. Les résultats suggèrent que les espaces continus peuvent servir d'interface générale pour le langage, conservant la fidélité sémantique et la régularité syntaxique tout en tirant parti des avantages de la modélisation par diffusion.