💬 NLP

Drifting Objectives for Refining Discrete Diffusion Language Models

Ce papier présente TokenDrift, un nouvel objectif d'entraînement qui adapte les principes de dérive continue aux modèles de langage à diffusion discrète en relevant les prédictions catégorielles vers des caractéristiques de tokens souples pour un raffinement anti-symétrique, améliorant ainsi considérablement la qualité de génération à faible nombre d'étapes d'échantillonnage.

Auteurs originaux : Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot qui écrit des histoires. Ce robot, appelé un Modèle de Langage à Diffusion Discrète (DDLM), n'écrit pas mot par mot comme un humain. Au lieu de cela, il commence par une page remplie de charabia (ou de « bruit ») et la nettoie progressivement, étape par étape, jusqu'à ce qu'elle ait du sens.

Habituellement, pour obtenir une très bonne histoire, ce robot doit effectuer de nombreuses petites étapes pour nettoyer le texte. Si vous le forcez à s'arrêter prématurément (pour gagner du temps ou de l'argent), l'histoire s'effondre souvent, devenant absurde ou répétitive.

Les auteurs de cet article ont posé une question simple : Pouvons-nous apprendre au robot à écrire de meilleures histoires plus vite, sans changer la façon dont il nettoie le texte ni lui donner plus de temps ?

Leur réponse est une nouvelle méthode d'entraînement appelée TokenDrift. Voici comment elle fonctionne, en utilisant quelques analogies du quotidien :

1. Le Problème : Le Mur « Dur » vs « Doux »

Dans le monde du texte, les mots sont comme des blocs distincts (par exemple, « chat » ou « chien »). On ne peut pas avoir la moitié d'un « chat » et la moitié d'un « chien ».

Le Problème : La nouvelle méthode d'entraînement qu'ils voulaient utiliser (appelée « Dérive ») fonctionne mieux dans un monde lisse et continu où les choses peuvent glisser doucement vers un objectif. Mais comme le texte est composé de blocs durs, le robot ne peut pas « glisser » doucement. Si le robot choisit un mot spécifique (un choix « dur »), les mathématiques se brisent, et le robot ne peut pas apprendre de ses erreurs.

2. La Solution : La « Lentille Floue » (Levée de Token Doux)

Pour résoudre ce problème, les auteurs ont inventé un tour de magie appelé Levée de Token Doux.

L'Analogie : Imaginez que, au lieu de choisir un mot spécifique, le robot tient une lentille floue et semi-transparente devant le dictionnaire. À travers cette lentille, il voit « chat » avec 50 % de clarté, « chien » avec 30 % de clarté, et « souris » avec 20 % de clarté.
Pourquoi cela aide : Cette vue « floue » est lisse et mathématiquement compatible. Elle permet au robot de ressentir l'« attraction » des bons mots sans avoir à s'engager dans un choix unique et dur pour l'instant. Cela crée un pont qui permet aux mathématiques de l'entraînement de circuler à travers le système.

3. L'Entraînement : L'« Aimant et le Répulsif » (Dérive)

Une fois que le robot regarde à travers cette lentille floue, les auteurs appliquent une technique de « Dérive ».

L'Analogie : Imaginez que le robot se tient dans un champ.
- Attraction : Il y a des aimants qui attirent le robot vers de bonnes histoires réelles (des données provenant d'Internet).
- Répulsion : Il y a des aimants qui repoussent le robot loin des mauvaises histoires générées par le robot (ses propres erreurs).
L'Objectif : Le robot apprend à se déplacer dans la direction qui l'attire vers les bonnes histoires et le repousse des mauvaises. Cela crée une « dérive » qui guide le robot vers de meilleurs résultats.

4. Le Résultat : Meilleures Histoires, Même Temps

Les auteurs ont testé cela sur deux types différents de robots générateurs de texte.

Le Montage : Ils ont pris des robots existants déjà entraînés. Ils n'ont pas changé le cerveau du robot ni la façon dont il écrit ; ils ont simplement modifié le plan de cours (l'objectif d'entraînement) en utilisant leur nouvelle méthode de « Dérive ».
Le Résultat : Lorsqu'ils ont été forcés d'écrire avec un nombre limité d'étapes (un budget serré), les robots entraînés avec TokenDrift ont produit un texte nettement meilleur.
- Sur un type de robot, la qualité du texte s'est améliorée de 89 % par rapport à un entraînement normal du robot.
- Le texte était plus cohérent, moins répétitif et avait plus de sens, même si le robot effectuait le même nombre d'étapes qu'auparavant.

Résumé

Pensez à TokenDrift comme à une nouvelle façon d'entraîner un élève. Au lieu de simplement lui dire « fais plus d'efforts » (ce que fait un entraînement normal), cette méthode lui donne une carte magnétique. Elle l'attire doucement vers de bons exemples et le repousse des mauvais, mais elle le fait à travers une « lentille floue » qui permet à l'élève de comprendre la direction sans rester coincé sur les règles rigides de l'alphabet.

L'article prouve que vous pouvez rendre ces robots générateurs de texte beaucoup plus efficaces et de meilleure qualité simplement en changeant la façon dont ils sont entraînés, sans avoir besoin de construire un tout nouveau robot ni de leur donner plus de temps pour réfléchir.

Résumé technique : Objectifs dérivants pour l'affinement des modèles de diffusion discrète pour le langage

Énoncé du problème

Les modèles de diffusion discrète pour le langage (DDLM) génèrent du texte en débruitant itérativement des séquences de tokens catégoriels. Bien que des avancées récentes dans les modèles génératifs continus aient introduit des méthodes « dérivantes » — où des corrections appliquées au moment de l'échantillonnage sont absorbées durant l'entraînement via un objectif de point fixe antisymétrique —, la transposition de ce principe au texte discret n'est pas triviale.

Le défi central réside dans l'interface entre le texte discret et la dérive continue. Dans les contextes continus, les échantillons générés ou leurs représentations en caractéristiques peuvent être légèrement déplacés selon une direction de dérive pour servir de cibles d'entraînement. Cependant, les DDLM produisent des distributions catégorielles sur les tokens. Si ces distributions sont réduites en tokens durs (via un argmax ou un échantillonnage) avant l'extraction de caractéristiques, la perte dans l'espace des caractéristiques devient non différentiable par rapport aux logits du modèle. Par conséquent, la dérive standard ne peut fournir de gradients utiles pour affiner le générateur. L'article pose la question suivante : L'objectif d'entraînement lui-même peut-il affiner un DDLM existant afin que le même échantillonneur produise de meilleurs échantillons avec le même budget d'inférence, sans concevoir de nouveaux échantillonneurs ni distiller des étudiants à faible nombre d'étapes ?

Méthodologie : TOKENDRIFT

Les auteurs formulent TOKENDRIFT, un objectif dérivant conçu pour faire le pont entre les prédictions catégorielles et les espaces de caractéristiques continus. La méthode opère en trois étapes clés :

Projection de caractéristiques de tokens mous :
Au lieu de réduire les prédictions en tokens durs, TOKENDRIFT projette les prédictions catégorielles du modèle ( $p_t$ ) vers des caractéristiques de tokens mous. Étant donné un encodeur sémantique figé $\phi$ et une matrice d'embedding $E$ , l'entrée de l'encodeur pour une position prédite est construite comme l'embedding attendu $\tilde{e}_t = p_t E$ . Cela crée un chemin différentiable reliant la perte dans l'espace des caractéristiques aux logits des tokens, préservant ainsi l'incertitude prédictive dans l'espace sémantique.
Estimation de la dérive antisymétrique :
Dans un espace de caractéristiques sémantiques figé, la méthode estime un champ de dérive $V$ basé sur une structure d'attraction-répulsion :
- Attraction : Tire les caractéristiques générées vers les caractéristiques voisines issues des données réelles ( $P_{data}$ ).
- Répulsion : Repousse les caractéristiques générées loin des caractéristiques voisines issues de la distribution actuelle du modèle ( $P_{model}$ ).
  Le vecteur de dérive est calculé comme $V = b^+ - b^-$ , où $b^+$ et $b^-$ sont des barycentres à température échelonnée d'ensembles de référence positifs (réels) et négatifs (générés). La méthode emploie un schéma multi-température pour assurer la robustesse.
Objectif de point fixe dans l'espace des caractéristiques :
Le modèle est entraîné à correspondre à une cible à gradient arrêté $h^* = \text{sg}(h + \alpha V)$ , où $h$ est la caractéristique générée actuelle et $\alpha$ une échelle de dérive. La perte est définie comme la distance L2 au carré :
$\mathcal{L}_{drift} = \frac{1}{2B} \sum_{i=1}^B \|h_i - h^*_i\|^2_2$
Comme $h^*$ est figé, la minimisation de cette perte pousse la caractéristique générée $h$ dans la direction du champ de dérive $V$ . Grâce à la projection de tokens mous, ce gradient est rétropropagé vers les logits.

Les auteurs explorent également des formulations alternatives, telles que la conversion de la dérive en une distribution « enseignant miroir » dans l'espace des logits, mais constatent que l'appariement direct dans l'espace des caractéristiques offre le compromis le plus stable entre vraisemblance et entropie.

Contributions clés

Formulation de la dérive pour le texte discret : L'article identifie et résout le problème de différentiabilité dans l'application de la dérive aux DDLM en introduisant la projection de tokens mous, qui permet aux gradients dans l'espace des caractéristiques de mettre à jour les logits catégoriels.
Objectif d'affinement : Il propose une stratégie d'affinement côté entraînement qui améliore la qualité de génération avec un budget fixe (nombre fixe d'évaluations de fonctions, NFE) sans modifier l'échantillonneur ni nécessiter de pipelines de distillation spécialisés.
Validation empirique : La méthode est validée sur deux architectures de DDLM distinctes : Diffusion Masquée (MDLM) et Diffusion à État Uniforme (DUO).

Résultats expérimentaux

Les auteurs ont mené des expériences d'entraînement continu contrôlées sur OpenWebText (OWT), comparant TOKENDRIFT aux points de contrôle originaux et à un entraînement continu ordinaire (utilisant le même budget de calcul supplémentaire).

Gains de performance : TOKENDRIFT améliore significativement la perplexité générative (Gen.-PPL) à faible NFE.
- Sur MDLM (Diffusion Masquée) à 4 NFE, la Gen.-PPL a été réduite de 89 % (de ~1942 à ~209) par rapport à la ligne de base.
- Sur DUO (État Uniforme) à 4 NFE, la Gen.-PPL a été réduite de 86 % (de ~509 à ~76).
Comparaison avec les lignes de base : Les améliorations étaient substantielles par rapport à l'entraînement continu ordinaire, qui a montré des gains négligeables. TOKENDRIFT a également surpassé les méthodes de distillation spécialisées (par exemple, SDTT, Di4C) dans le régime à peu d'étapes sous des budgets appariés.
Études d'ablation :
- Tokens mous vs durs : Le remplacement de la projection de tokens mous par un estimateur direct dur a provoqué une dégradation sévère des performances et un effondrement de l'entropie, confirmant que la préservation de l'incertitude prédictive est essentielle.
- Espace cible : L'appariement L2 direct dans l'espace des caractéristiques s'est révélé plus stable que les variantes d'enseignant miroir dans l'espace des logits.
- Équilibre de la dérive : Un équilibre antisymétrique attraction-répulsion s'est avéré critique ; les variantes uniquement répulsives ou uniquement attractives ont échoué de manière catastrophique.

Importance et affirmations

L'article présente TOKENDRIFT comme un objectif d'affinement pratique pour les DDLM existants. Son importance principale réside dans la démonstration que la dérive peut être efficacement transférée aux domaines discrets pour améliorer la qualité des échantillons sous des budgets d'inférence fixes.

Les auteurs affirment que cette approche offre une perspective complémentaire aux méthodes existantes : plutôt que de concevoir de nouveaux échantillonneurs, des calendriers ou de distiller des étudiants à faible NFE, on peut maintenir la classe de modèle et l'échantillonneur fixes et améliorer directement le générateur via l'objectif d'entraînement. Les résultats suggèrent que la structure d'attraction-répulsion de la dérive continue n'est pas seulement applicable au texte discret, mais est nécessaire pour un affinement stable, à condition que le pont différentiable (projection de tokens mous) soit maintenu.

L'article reste modeste concernant les limites, notant que l'efficacité dépend de la qualité de l'espace de caractéristiques sémantiques figé et que les expériences actuelles sont limitées à la génération non conditionnelle. L'extension de la méthode à la génération conditionnelle ou à des modèles à plus grande échelle est identifiée comme un travail futur.