🤖 machine learning

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

Le papier propose UNIFUSION, un cadre unifié qui établit des connexions entre divers objectifs de diffusion discrète pour permettre l'adaptation directe de modèles autorégressifs pré-entraînés à la diffusion par bruit uniforme, atteignant ainsi des performances de pointe tant en matière de qualité générative que de précision sur les tâches en aval.

Auteurs originaux : Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à écrire des histoires. Pendant longtemps, la meilleure façon de faire cela était d'apprendre au robot à écrire un mot à la fois, de gauche à droite, comme un humain qui tape une phrase. Cette méthode, appelée apprentissage « autorégressif », est excellente car elle est rapide et le robot apprend beaucoup de règles linguistiques. Mais elle présente un gros défaut : une fois que le robot a écrit un mot, il ne peut plus jamais revenir en arrière pour le changer. S'il fait une erreur dans la première phrase, toute l'histoire peut être gâchée parce qu'il ne peut pas éditer son passé.

Récemment, des scientifiques ont essayé une approche différente appelée « diffusion discrète ». Au lieu d'écrire mot par mot, cette méthode part d'une phrase complète qui a été brouillée ou « corrompue » par du bruit, et le robot apprend à la nettoyer, en réparant un mot à la fois jusqu'à ce que la phrase soit parfaite. C'est comme prendre une chambre en désordre et l'organiser lentement. Le problème est que la plupart de ces nouveaux robots de « nettoyage » sont entraînés à partir de zéro, gaspillant ainsi toutes les connaissances linguistiques que les anciens robots « mot par mot » possédaient déjà. De plus, beaucoup de ces nouveaux robots utilisent un type spécifique de bruit où ils cachent les mots derrière un « masque » (comme une boîte noire). Cela signifie que le robot ne peut réparer que les parties cachées, et non les mots qui sont déjà visibles. La grande question était : peut-on prendre un robot « mot par mot » intelligent et pré-entraîné et le transformer instantanément en un puissant robot de « nettoyage » capable de réparer n'importe quel mot dans une phrase, même ceux qui ne sont pas cachés ?

Ce document, intitulé « Unifusion », dit que oui, et il montre comment faire. Les chercheurs ont découvert que malgré les différentes formules mathématiques utilisées par divers robots de « nettoyage », ils essaient tous de résoudre secrètement le même problème sous-jacent : prédire la vitesse à laquelle un mot doit passer d'un état à un autre. Ils appellent cela le « taux inverse » (reverse rate). En réalisant que toutes ces méthodes différentes ne sont que des dialectes différents d'une même langue, ils ont créé un traducteur universel. Ce traducteur permet de prendre les connaissances d'un modèle « mot par mot » standard (comme GPT-2) et de les adapter directement à un modèle de diffusion à « bruit uniforme ».

L'innovation clé est que ce nouveau modèle, Unifusion, n'a pas besoin de cacher les mots derrière des masques. Au lieu de cela, il traite chaque mot de la phrase comme étant éditable, tout comme vous pouvez éditer n'importe quel mot dans un Google Doc. Les chercheurs ont testé cela en prenant deux versions d'un modèle pré-entraîné (l'une avec 124 millions de paramètres et l'autre avec 355 millions) et en les entraînant à devenir des artistes du « nettoyage ». Ils ont constaté qu'en donnant plus de temps au modèle pour réfléchir (en augmentant le nombre d'étapes de 16 à 256), la qualité du texte s'améliorait de manière constante.

Au maximum de 256 étapes, le plus petit modèle (Unifusion-S) a atteint une « perplexité générative » (une mesure de la confusion du modèle face au texte qu'il crée) de 97,783, tandis que le modèle plus grand (Unifusion-M) a atteint 71,516. Plus important encore, ces modèles n'ont pas seulement écrit un texte fluide ; ils ont également maintenu une « entropie unigramme » élevée, ce qui est une façon sophistiquée de dire que le texte était diversifié et ne restait pas bloqué sur la répétition des mêmes phrases ou motifs. En fait, à 256 étapes, aucun autre modèle testé de la même taille n'a été capable de battre Unifusion sur la fluidité et la diversité en même temps.

Le document a également montré que cette conversion directe fonctionne mieux que l'ancienne méthode consistant à passer d'un modèle « mot par mot » à une « diffusion masquée », puis à une « diffusion uniforme ». En sautant l'intermédiaire, Unifusion atteint la même haute qualité de manière beaucoup plus efficace. Testés sur des énigmes de logique réelles et des questions de bon sens (comme WinoGrande et SIQA), ces nouveaux modèles de diffusion ont surpassé tous les autres modèles de diffusion de leur taille, prouant qu'ils n'ont pas seulement appris à nettoyer le bruit, mais qu'ils ont réellement conservé les capacités de raisonnement intelligent de leur entraînement « mot par mot » d'origine.

En résumé, Unifusion est comme prendre un chef cuisinier expert qui est habitué à cuisiner un repas un ingrédient à la fois et lui enseigner une nouvelle technique où il peut goûter et ajuster l'ensemble de la marmite de soupe d'un coup, sans avoir à jeter ses années d'expérience culinaire. Le résultat est un modèle capable de générer un texte qui est à la fois fluide et créativement diversifié, simplement en apprenant à éditer la phrase entière d'un seul coup.

Résumé Technique : Unifusion

Problématique

Les méthodes existantes pour adapter les modèles de langage autorégressifs (AR) préentraînés à la diffusion discrète reposent généralement sur une corruption par masque d'absorption. Bien que ce choix soit naturellement lié à l'entraînement AR (car le décodage AR est un ordre spécifique de révélation de jetons), il impose une limitation significative : une fois qu'un jeton est révélé, il ne peut plus être édité pendant le processus d'échantillonnage. Cela entraîne souvent des problèmes de génération tels que la répétition, l'effondrement de modèles (template collapse) ou la génération de fragments incohérents lorsque le budget d'échantillonnage est augmenté.

À l'inverse, la diffusion par bruit uniforme remplace les jetons par des éléments du vocabulaire plutôt que par un masque spécial, permettant ainsi à toutes les positions de rester éditables tout au long de l'échantillonnage. Cela offre un potentiel de plus grande diversité lexicale et un meilleur contrôle. Cependant, l'adaptation directe des points de contrôle (checkpoints) AR à la diffusion uniforme s'est avérée difficile car les modèles de diffusion discrète existants (SEDD, MDLM/GIDD, M2S, Neural CTMC) utilisent des paramétrages de prédiction différents (par exemple, scores concrets, jetons propres, moyennes postérieures, taux de sortie) et des fonctions de perte distinctes. Ces différences masquent si les méthodes apprennent des processus inverses fondamentalement différents ou si elles décrivent simplement le même processus avec des sorties différentes, et elles empêchent la réutilisation directe des sorties AR pour les noyaux uniformes.

Méthodologie

1. Unification de la diffusion discrète dans l'espace des taux inverses

Les auteurs établissent une connexion théorique entre quatre cadres majeurs de diffusion discrète : SEDD, MDLM/GIDD, M2S et Neural CTMC.

Objectif unifié : Ils démontrent que les pertes conditionnelles des quatre méthodes peuvent être exprimées comme un objectif unique de divergence de Kullback–Leibler (KL) généralisé sur les taux inverses du modèle. En faisant correspondre la sortie spécifique de chaque méthode (scores, jetons, moyennes ou taux) aux taux inverses hors-diagonale induits, les auteurs montrent que la cible d'optimisation sous-jacente est identique.
Théorèmes de conversion : L'article dérive des conversions mathématiques explicites pour traduire une prédiction de jeton propre ( $x_0$ ) en les paramétrages spécifiques requis par SEDD, M2S et Neural CTMC. Cela crée une interface partagée où une seule prédiction $x_0$ peut piloter n'importe lequel de ces paramétrages.
Indépendance du noyau (Kernel Agnosticism) : La distribution du jeton propre $x_\theta(x_0 | x_t, t)$ répond à la même question quel que soit le noyau de corruption : « Quel jeton du vocabulaire occupait cette position avant la corruption ? » Une fois prédite, la connaissance du noyau de propagation (qu'il soit d'absorption ou uniforme) convertit cette prédiction en les taux inverses nécessaires. Cela comble le fossé entre l'initialisation AR et la diffusion uniforme.

2. L'approche Unifusion

S'appuyant sur ces connexions théoriques, les auteurs proposent Unifusion, une stratégie simple de pré-entraînement continu pour adapter directement des points de contrôle GPT-2 à la diffusion par bruit uniforme sans passer par une étape intermédiaire de diffusion masquée.

Initialisation : La méthode exploite la structure inhérente des modèles AR. La distribution du prochain jeton d'un point de contrôle AR pour la position $i$ étant donnée $x_{<i}$ est décalée d'une position pour servir de prédiction initiale pour le jeton propre $x_0$ à la position $i$ .
Dynamique d'entraînement :
- Atténuation de l'attention (Attention Annealing) : Le modèle passe d'une attention causale (utilisée dans le pré-entraînement AR) à une attention bidirectionnelle complète sur les jetons corrompus visibles. Cela permet au modèle d'ouvrir progressivement le contexte complet durant l'optimisation.
- Conditionnement temporel : Comme les points de contrôle AR manquent de conditionnement temporel, le modèle apprend des paramètres dépendants du temps pendant le fine-tuning tout en conservant l'initialisation AR pour les autres poids.
- Schéma de corruption : Le modèle est entraîné avec un schéma de corruption uniforme linéaire ( $\alpha_t = 1-t, \beta_t = t$ ) et un a priori uniforme.

Contributions clés

Unification théorique : L'article unifie les pertes conditionnelles de SEDD, MDLM/GIDD, M2S et Neural CTMC dans l'espace des taux inverses, prouvant qu'elles sont équivalentes sous le même processus CTMC et le même schéma de bruit. Il fournit des formules de conversion explicites entre les prédictions de jetons propres et les quatre paramétrages.
Adaptation directe AR-vers-Uniforme : En utilisant les prédictions de jetons propres $x_0$ comme pont, les auteurs permettent l'adaptation directe des modèles AR préentraînés aux noyaux de diffusion uniforme, évitant ainsi le besoin de points de contrôle intermédiaires de diffusion masquée.
Validation empirique : L'étude sépare l'équivalence de l'espace des taux de l'optimisation à budget fini, montrant que bien que l'équivalence théorique existe, les trajectoires d'entraînement natives diffèrent. Unifusion démontre que l'entraînement direct AR-vers-uniforme atteint des performances comparables aux chemins de masquage à deux étapes, mais avec de meilleurs compromis en termes de qualité de génération.

Résultats

Les auteurs ont évalué Unifusion sur des modèles de 124M (Unifusion-S) et 355M (Unifusion-M) de paramètres dérivés de GPT-2.

Perplexité générative (GenPPL) vs Entropie : Unifusion améliore constamment le compromis entre la GenPPL et l'entropie unigramme à mesure que le budget d'échantillonnage augmente de 16 à 256 étapes.
- À 256 étapes, Unifusion-S a atteint une GenPPL de 97,783 avec une entropie de 5,2626.
- À 256 étapes, Unifusion-M a atteint une GenPPL de 71,516 avec une entropie de 5,6669.
- Aucun modèle évalué à la même échelle n'a surpassé simultanément Unifusion sur ces deux métriques. Par exemple, bien que certains modèles de référence aient obtenu une GenPPL plus faible, ils souffraient d'une entropie nettement plus basse (indiquant une répétition ou un effondrement), tandis qu'Unifusion maintenait une grande diversité lexicale.
Précision sur tâches aval (Downstream Accuracy) : Les modèles Unifusion ont obtenu la précision zero-shot la plus élevée parmi les modèles de diffusion comparés sur WinoGrande, SIQA et BBH, surpassant leurs initialisations GPT-2 et d'autres modèles de diffusion comme DiffuGPT et SEDD.
Efficacité d'échantillonnage : Le point de 64 étapes de Unifusion-M domine déjà le point de 256 étapes de DiffGPT-M au sens de Pareto, suggérant une grande efficacité dans le budget d'échantillonnage.

Signification et affirmations

L'article affirme qu'Unifusion répond avec succès à la « question ouverte » de savoir comment atteindre un modèle de diffusion par bruit uniforme directement à partir d'un point de contrôle AR. En unifiant le paysage théorique de la diffusion discrète et en exploitant l'interface du jeton propre, les auteurs démontrent que :

La diffusion uniforme peut hériter efficacement de l'initialisation AR sans étape intermédiaire de diffusion masquée.
L'adaptation directe produit un meilleur équilibre entre fluidité (basse GenPPL) et diversité (haute entropie) par rapport aux méthodes existantes.
L'équivalence théorique des différentes pertes de diffusion discrète permet des choix d'implémentation flexibles tout en maintenant un objectif d'optimisation cohérent dans l'espace des taux inverses.

Le travail suggère que le choix du noyau de corruption (masque vs uniforme) est une décision de conception critique qui impacte la qualité de la génération, et que les noyaux uniformes, lorsqu'ils sont correctement adaptés des modèles AR, offrent un processus de génération plus robuste qui évite les problèmes de répétition communs à la diffusion masquée.