Résumé Technique : Flux de Langage Intégrés (ELF)

Énoncé du Problème

Les modèles de diffusion et basés sur les flux se sont imposés comme l'état de l'art pour la génération de données continues, telles que les images et les vidéos. Cependant, leur application à la modélisation du langage (Modèles de Langage par Diffusion ou DLM) a rencontré des défis significatifs. Les DLM actuels les plus performants opèrent principalement sur des tokens discrets, car le langage est intrinsèquement discret. Bien que des DLM continus existent, ils peinent souvent à égaler les performances de leurs équivalents discrets.

Les DLM continus existants souffrent généralement de l'une des deux limitations suivantes :

1. Couplage étroit à l'espace discret : De nombreuses méthodes (par exemple, Diffusion-LM, CDCD) effectuent un débruitage dans des espaces d'embedding continus mais s'appuient sur des pertes de discrétisation par étape (par exemple, l'entropie croisée) ou des contraintes (par exemple, des projections sur le simplexe) qui rattachent la trajectoire continue à l'espace des tokens discrets à chaque étape. Cela limite la flexibilité de la dynamique du flux.
2. Complexité architecturale : D'autres approches (par exemple, la Diffusion Latente pour la Génération de Langage) opèrent dans des espaces latents compressés et nécessitent un décodeur séparé, entraîné indépendamment, pour mapper les représentations continues vers des tokens discrets, ajoutant ainsi une surcharge et une complexité au moment de l'inférence.

La question centrale abordée par ce travail est de savoir si l'écart de performance entre les DLM continus et discrets découle de la nature discrète inhérente du langage ou de choix de conception algorithmique sous-optimaux dans les formulations continues.

Méthodologie : Flux de Langage Intégrés (ELF)

Les auteurs proposent les Flux de Langage Intégrés (ELF), une classe de DLM continus basée sur l'Appariement de Flux (Flow Matching) qui opère presque entièrement dans un espace d'embedding continu, en différant la discrétisation jusqu'à l'étape finale de génération.

Formulation de Base

1. Espace d'Embedding Continu : ELF mappe les tokens d'entrée discrets $s$ vers des embeddings continus $x$ en utilisant un encodeur préentraîné (par exemple, T5). Contrairement aux méthodes de diffusion latente qui nécessitent un décodeur séparé, ELF utilise un réseau à poids partagés pour le débruitage et le décodage.
2. Appariement de Flux avec Flux Rectifiés : Le modèle définit un chemin de flux continu allant du bruit gaussien $\epsilon$ vers les données propres $x$ en utilisant une interpolation linéaire (flux rectifiés) : $z_t = tx + (1-t)\epsilon$, où $t \in [0, 1]$. Le champ de vitesse est défini comme $v = x - \epsilon$.
3. Cible de Prédiction (Prédiction de x) : Au lieu de prédire directement la vitesse $v$, ELF prédit l'embedding propre $x$. Ce choix est critique pour les représentations de haute dimension et s'aligne naturellement avec l'objectif de décodage final.
4. Entraînement en Deux Modes :
   • Mode Débruitage (La plupart des étapes) : Le réseau prédit les embeddings propres $x$ à partir des entrées bruitées $z_t$ en utilisant une perte d'erreur quadratique moyenne (MSE).
   • Mode Décodage (Dernière étape $t=1$) : Le réseau bascule en mode « décodage ». Il prend une version corrompue de l'embedding propre (pour garantir une entrée d'entraînement non triviale) et la projette à travers une matrice de dé-embedding apprenable $W$ pour produire les logits des tokens. Cette étape est supervisée par une perte d'entropie croisée (CE) au niveau des tokens.
   • Partage de Poids : Les mêmes paramètres du réseau sont utilisés pour les deux modes, conditionnés par un token binaire « mode ».

Échantillonnage et Guidage

• Échantillonnage : ELF prend en charge à la fois les solveurs ODE déterministes et un échantillonneur stochastique inspiré des SDE qui réinjecte de petites quantités de bruit à chaque étape pour corriger les erreurs.
• Guidage sans Classificateur (CFG) : Parce qu'ELF opère dans un espace continu, il prend naturellement en charge le CFG, une technique largement utilisée dans la génération d'images mais moins explorée dans les DLM discrets. Les auteurs mettent en œuvre un CFG au moment de l'entraînement combiné à un auto-conditionnement (utilisant la prédiction de l'étape précédente comme condition) pour orienter la qualité de la génération sans nécessiter plusieurs passages avant lors de l'inférence.

Contributions Clés

1. Stratégie de Discrétisation Minimaliste : ELF démontre que les DLM continus peuvent être hautement efficaces en maintenant la trajectoire de débruitage entièrement dans l'espace d'embedding continu et en appliquant la discrétisation uniquement à l'étape temporelle finale ($t=1$). Cela évite les contraintes et la supervision par étape requises par les méthodes continues antérieures.
2. Architecture Unifiée : En utilisant un réseau à poids partagés pour le débruitage et le décodage, ELF élimine le besoin d'un décodeur séparé, simplifiant l'architecture et réduisant les composants au moment de l'inférence par rapport aux approches de diffusion latente.
3. Adaptation des Techniques du Domaine de l'Image : La formulation continue permet l'application directe de techniques avancées issues de la diffusion d'images, spécifiquement le Guidage sans Classificateur (CFG) et l'auto-conditionnement, qui améliorent considérablement la qualité et la diversité de la génération.
4. Efficacité des Données : La méthode atteint de fortes performances en utilisant significativement moins de tokens d'entraînement par rapport aux références existantes.

Résultats Expérimentaux

Les auteurs évaluent ELF sur la génération non conditionnée (OpenWebText), la traduction automatique (WMT14 De-En) et le résumé (XSum).

• Génération Non Conditionnée : ELF surpasse les DLM discrets leaders (MDLM, Duo) et les DLM continus concurrents (FLM, LangFlow).
  • Qualité vs Étapes : ELF atteint une perplexité générative (Gen. PPL) plus faible avec moins d'étapes d'échantillonnage (par exemple, 32 étapes) par rapport aux références nécessitant 1024 étapes.
  • Efficacité des Données : ELF atteint ces résultats en utilisant 10 fois moins de tokens d'entraînement (45 milliards contre ~500 milliards+ pour les références) et sans nécessiter de distillation.
  • Mise à l'échelle : L'augmentation de la taille du modèle (ELF-B, ELF-M, ELF-L) améliore constamment la frontière qualité-diversité.
• Génération Conditionnée : ELF atteint des résultats state-of-the-art sur WMT14 De-En (BLEU 26,4) et XSum (ROUGE-1 36,0), surpassant les références basées sur l'auto-régression et la diffusion de paramètres similaires.
• Études d'Ablation :
  • Embeddings : Les embeddings contextuels préentraînés (T5 figé) offrent le meilleur compromis.
  • Cible de Prédiction : La prédiction de $x$ est supérieure à la prédiction de $v$ ou de $\epsilon$, en particulier dans les hautes dimensions.
  • Échantillonneurs : L'échantillonneur inspiré des SDE surpasse constamment l'échantillonnage ODE dans le régime à peu d'étapes.
  • Guidage : Le CFG permet d'échanger efficacement la diversité contre la qualité, avec des échelles modérées (par exemple, 2,0–3,0) produisant des résultats optimaux.

Importance et Revendications

Le papier revendique que ELF offre une voie prometteuse vers des DLM continus efficaces. Les résultats suggèrent que l'écart de performance entre les DLM continus et discrets ne découle pas de la nature discrète inhérente du langage, mais plutôt de choix de conception algorithmique sous-explorés.

En formulant la génération de langage dans un espace d'embedding continu avec un Appariement de Flux en temps continu et en différant la discrétisation à l'étape finale, ELF :

• Permet le transfert direct de techniques puissantes issues de la diffusion d'images (comme le CFG) vers le langage.
• Atteint une qualité de génération supérieure avec moins d'étapes d'échantillonnage et un budget d'entraînement significativement plus faible.
• Fournit une architecture plus simple et unifiée qui ne nécessite pas de décodeurs séparés.

Les auteurs concluent que les DLM continus sont hautement compétitifs et que l'approche proposée représente une avancée significative dans la modélisation du langage par diffusion.