💬 NLP

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

Cet article introduit OPDLM, un cadre efficace en termes de données qui transforme les modèles de langage autorégressifs en modèles de langage de diffusion via une distillation on-policy, éliminant efficacement le décalage entraînement-inférence et préservant les connaissances préalables tout en réduisant les exigences en jetons d'entraînement jusqu'à 7 000 fois.

Auteurs originaux : Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Publié 2026-06-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef brillant et de classe mondiale (le Modèle Autorégressif, ou ARLM) qui a passé des années à perfectionner son art en cuisinant un plat à la fois, étape par étape, en regardant toujours ce qu'il vient de mettre dans la marmite pour décider du prochain ingrédient. Ce chef est incroyablement rapide et en sait beaucoup, mais il ne sait cuisiner que de manière linéaire.

Maintenant, imaginez que vous vouliez apprendre à ce chef un nouveau style de cuisine révolutionnaire appelé Diffusion (le Modèle de Langage de Diffusion, ou DLM). Dans ce nouveau style, au lieu de cuisiner étape par étape, le chef commence avec un bol d'ingrédients aléatoires et méconnaissables (une séquence « masquée ») et les affine progressivement pour créer un repas parfait d'un seul coup. Ce nouveau style est excellent car il peut deviner plusieurs ingrédients en même temps, ce qui permet de cuisiner potentiellement beaucoup plus vite.

Le Problème : Le fossé de la « Traduction »
L'article explique que les tentatives précédentes pour transformer ce chef « étape par étape » en un chef « tout d'un coup » ont rencontré deux grands problèmes :

La perte de mémoire : Lorsque vous forcez le chef à arrêter de cuisiner étape par étape pour commencer à deviner tout le plat d'un coup, il a tendance à oublier les milliers de recettes apprises durant ses années d'entraînement. C'est comme dire à un pianiste virtuose de jouer soudainement les yeux fermés et dans une tonalité différente ; il pourrait perdre sa touche.
Le décalage entre l'entraînement et la performance : Dans l'ancienne méthode, le chef s'entraînait en jetant des ingrédients au hasard dans un bol et en essayant de les corriger (masquage aléatoire). Mais dans le monde réel (l'inférence), le chef affine en réalité le plat en fonction de son niveau de confiance dans ses propres prédictions. L'entraînement ne correspondait pas à la performance, donc le chef était toujours un peu rouillé le moment venu.

La Solution : L'OPDLM (Le mentor « On-Policy »)
Les auteurs introduisent une nouvelle méthode appelée OPDLM (On-Policy Diffusion Language Model). Considérez cela comme un camp d'entraînement intelligent qui résout ces deux problèmes grâce à une technique appelée Distillation On-Policy.

Voici comment cela fonctionne, en utilisant une analogie simple :

L'Étudiant et le Professeur : L'« Étudiant » est le nouveau chef de type Diffusion. Le « Professeur » est l'original, le chef étape par étape, qui est figé (gardé sous vitrine, inchangé).
Le tournant « On-Policy » : Au lieu de s'entraîner sur des bols d'ingrédients désordonnés et aléatoires (l'ancienne méthode), l'Étudiant est autorisé à cuisiner un repas complet en utilisant son propre nouveau style « tout d'un coup ». Il génère son propre chemin, d'un bol désordonné jusqu'au plat fini.
La Distillation : Une fois que l'Étudiant a terminé un repas, le Professeur figé regarde ce même repas exact et dit : « Si j'avais cuisiné ce plat spécifique, voici exactement ce que j'aurais dit pour chaque ingrédient manquant. »
L'Apprentissage : L'Étudiant compare sa supposition avec la réponse du Professeur et apprend de celle-ci.

Pourquoi c'est un changement de donne (Game-Changer)
Parce que l'Étudiant s'entraîne sur des repas qu'il génère réellement (correspondant à la performance réelle) et qu'il est corrigé par l'expert original, il ne perd pas ses anciennes connaissances et apprend beaucoup plus vite.

L'article affirme que cette méthode est incroyablement efficace :

Économie de données : Elle nécessite 15 à 7 000 fois moins d'exemples d'entraînement que les méthodes précédentes. Si d'autres méthodes avaient besoin de lire une bibliothèque d'un milliard de livres pour apprendre, cette méthode n'en aurait besoin que de quelques dizaines.
Pas de coût de « Pré-entraînement » : Vous n'avez pas besoin d'entraîner un nouveau chef de Diffusion à partir de zéro (ce qui est coûteux et lent). Vous prenez simplement un expert existant, lui donnez cet entraînement spécifique, et il se transforme.
Préserver la magie : Le nouveau modèle conserve ses capacités de « réflexion » et ses compétences « multilingues », même si on ne lui a pas explicitement enseigné ces choses durant la transformation. C'est comme si le chef se souvenait naturellement de parler français ou de résoudre des énigmes complexes parce que l'entraînement a préservé son cerveau d'origine.

Le Résultat
L'article montre que ce nouveau chef « OPDLM » est aussi performant que les meilleurs chefs existants sur les tâches de mathématiques, de codage et de culture générale, mais il y est parvenu avec une fraction infime de l'effort et des données. Il transforme le processus difficile de modification du « cerveau » d'un modèle en une mise à niveau post-entraînement simple et efficace.

Résumé Technique : Modèles de Langage de Diffusion à Haute Efficacité par Distillation On-Policy d'un Modèle Autorégressif

1. Énoncé du Problème

L'article traite des défis inhérents à la transformation des modèles de langage autorégressifs (ARLM) pré-entraînés en modèles de langage de diffusion (DLM). Alors que des travaux récents ont tenté de convertir les ARLM en DLM en remplaçant l'attention causale par une attention bidirectionnelle et en réentraînant avec un objectif de diffusion, les auteurs identifient deux « décalages de distribution » critiques qui limitent l'efficacité de l'entraînement et les performances :

Décalage de Rétention de Connaissance : La transition d'un objectif de prédiction du prochain jeton (ARLM) vers un objectif de diffusion (DLM) peut affaiblir ou supprimer les connaissances substantielles acquises lors du pré-entraînement original de l'ARLM.
Décalage d'État Entraînement-Inférence : Les DLM standards sont entraînés sur des séquences corrompues par un masquage aléatoire uniforme (processus de diffusion directe). Cependant, lors de l'inférence, le modèle génère des séquences via des trajectoires de démasquage inverse guidées par des heuristiques de décodage basées sur la confiance. Les états rencontrés lors de l'inférence diffèrent considérablement des états aléatoires vus lors de l'entraînement, ceant un apprentissage sous-optimal.

Les méthodes de conversion existantes traitent souvent cela comme une continuation du pré-entraînement, échouant à traiter explicitement ces décalages ou nécessitant des ensembles de données prohibitifs (des billions de jetons) pour pré-entraîner les DLM à partir de zéro.

2. Méthodologie : Modèles de Langage de Diffusion On-Policy (OPDLM)

Les auteurs proposent l'OPDLM, un cadre qui convertit les ARLM en DLM en utilisant la Distillation On-Policy (OPD). Cette approche reformule la conversion comme un problème de post-entraînement plutôt que de pré-entraînement.

Mécanisme Central

L'OPDLM emploie une stratégie de « self-OPD » où le modèle étudiant génère ses propres données d'entraînement, et l'ARLM original agit comme un enseignant gelé.

Modèle Étudiant : Un checkpoint ARLM modifié pour utiliser une attention causale par blocs (bidirectionnelle), initialisé à partir des poids de l'ARLM original.
Modèle Enseignant : L'ARLM original, gelé.
Trajectoire d'Entraînement (On-Policy) : Au lieu d'échantillonner des masques aléatoires à partir d'un jeu de données propre, le DLM étudiant échantillonne ses propres trajectoires de décodage inverse ( $\tau \sim \Gamma^{rev}_{\theta}$ ). Ces trajectoires représentent les états réels que le modèle rencontre lors de l'inférence.
Objectif de Distillation :
- À partir d'une trajectoire de décodage inverse échantillonnée, un état partiellement débruité $x_t$ est sélectionné.
- Pour chaque position de jeton masqué $i$ dans un bloc, la distribution prédictive de l'étudiant $p_{\theta}$ est entraînée pour correspondre à la distribution de l'enseignant.
- Crucialement, la distribution de l'enseignant est conditionnée sur le préfixe causal non masqué de la séquence terminale $x_0$ (la sortie finale générée de cette trajectoire). Spécifiquement, la cible est $p_{ARLM}(\cdot | x_{<b}^0, x_{<i}^0)$ .
- La perte est une divergence de Kullback-Leibler (KL) entre la distribution par jeton de l'enseignant et la distribution de l'étudiant sur les positions masquées.

Apprentissage par Curriculum

Pour traiter l'instabilité immédiatement après la conversion (où l'étudiant peut générer des trajectoires de faible qualité en raison du changement structurel de l'attention causale vers l'attention par blocs), les auteurs introduisent un Curriculum de Longueur de Rollout. La longueur de la génération on-policy est augmentée progressivement d'un minimum ( $L_{min}$ ) à un maximum ( $L_{max}$ ) sur des étapes de chauffe (warmup), garantissant que l'étudiant apprenne à correspondre à l'enseignant sur des contextes cohérents avant de s'attaquer à des séquences plus longues.

3. Contributions Clés

Formulation de la conversion ARLM-vers-DLM comme un Post-Entraînement : L'article démontre que les DLM peuvent être obtenus sans l'étape coûteuse en calcul du pré-entraînement à partir de zéro, positionnant la conversion comme une procédure de post-entraînement efficace.
Résolution des Décalages de Distribution : En s'entraînant sur les propres trajectoires inverses de l'étudiant (on-policy), l'OPDLM élimine le décalage d'état entraînement-inférence. En utilisant l'ARLM original comme enseignant, il assure la rétention des connaissances.
Efficacité de Données Extrême : La méthode atteint des performances compétitives en utilisant 15× à 7 000× moins de jetons d'entraînement que les bases de référence établies (ex: LLaDA, Dream, SDAR).
Applicabilité Générale et Spécifique aux Tâches : Le cadre montre qu'il peut produire à la fois des DLM à usage général et des modèles spécialisés (ex: pour les mathématiques) sans nécessiter de phase de pré-entraînement DLM distincte.

4. Résultats Expérimentaux

Les auteurs ont évalué l'OPDLM (échelles 4B et 8B) contre des bases de référence telles que LLaDA, Dream, SDAR et Fast-dLLM-v2 sur des benchmarks de connaissances générales, de mathématiques et de codage.

Performance vs Efficacité : L'OPDLM-8B a obtenu de bons résultats sur des benchmarks comme AIME-24 (14,7 % de précision) et GPQA-Diamond (36,1 %) tout en nécessitant seulement 0,066 milliard de jetons d'entraînement et 4,2 × 10¹⁸ FLOPs. En revanche, les bases de référence nécessitaient des centaines de milliards de jetons (ex: LLaDA-8B a utilisé 1 500 milliards de jetons).
Études d'Ablation :
- On-Policy vs Off-Policy : Le remplacement de l'échantillonnage de trajectoire on-policy par un masquage aléatoire standard (Off-Policy) a entraîné des baisses de performance constantes, confirmant que l'entraînement sur les propres états d'inférence du modèle est le principal moteur du succès.
- Rétention de Connaissance : L'OPDLM a conservé des capacités zero-shot qui n'étaient pas explicitement ciblées lors de la conversion, y compris la pensée étendue (raisonnement au sein des balises <thought>) et la génération multilingue, malgré un entraînement sur un corpus anglais sélectionné.
Efficacité d'Inférence : Les modèles supportent le décodage multi-jetons. En ajustant le seuil de confiance de décodage et la taille des blocs, les auteurs ont démontré un compromis où le débit peut dépasser 2 à 3 jetons par étape avec des coûts de précision modérés.
Adaptation Spécifique aux Tâches : Lorsqu'il est entraîné strictement sur des données mathématiques (jeu de données MATH), l'OPDLM-MATH a surpassé les bases de référence DLM standards et a égalé les modèles spécialisés entraînés par RL (TraDo) sans nécessiter de DLM pré-entraîné ou de renforcement avec récompenses vérifiables.

5. Signification et Revendications

L'article affirme que l'OPDLM établit une nouvelle frontière de Pareto pour l'efficacité de l'entraînement des DLM. En exploitant la distillation on-policy, les auteurs soutiennent que la conversion des ARLM en DLM peut être réalisée avec des ressources de calcul minimales, rendant la génération de texte par diffusion accessible sans le « coût prohibitif » du pré-entraînement à partir de zéro.

Les auteurs soulignent que cette approche permet à la communauté d'adapter efficacement les futurs ARLM en modèles de diffusion, préservant la richesse des connaissances des modèles originaux tout en gagnant les avantages du décodage parallèle de la diffusion. Ce travail est présenté comme une voie pratique pour combler l'écart entre la maturité des modèles autorégressifs et le potentiel avantageux des modèles de diffusion.