Résumé Technique : GDSD : Apprentissage par Renforcement comme Auto-distillation de Débruiteur Guidé pour les Modèles de Langage Diffusifs

1. Énoncé du Problème

Les Modèles de Langage à Grande Échelle Diffusifs (dLLMs) offrent des gains significatifs en efficacité d'inférence par rapport aux modèles autoregressifs (ARM) en générant plusieurs tokens simultanément et en brisant l'ordre strict de génération de gauche à droite. Cependant, les dLLMs sont actuellement en retrait par rapport aux ARM les plus performants en termes de qualité de génération, ce qui nécessite des méthodes de fine-tuning efficaces comme l'Apprentissage par Renforcement (RL).

L'obstacle central à l'application du RL aux dLLMs est l'intracabilité de la vraisemblance de la politique. Les solutions existantes relèvent généralement de deux catégories :

1. Méthodes de Vraisemblance de Trajectoire : Estiment les vraisemblances exactes en accumulant les probabilités de transition. Bien que non biaisées, elles sont coûteuses en calcul et incohérentes avec les objectifs de pré-entraînement.
2. Méthodes de Vraisemblance de Séquence (ELBO) : Utilisent la borne inférieure de l'évidence (ELBO) estimée à partir de séquences masquées aléatoirement comme substitut de la vraisemblance réelle. Elles sont efficaces en calcul et alignées avec le pré-entraînement.

Le Problème Central : L'article soutient que les méthodes de RL basées sur l'ELBO souffrent d'un biais de Désalignement Entraînement-Inférence (TIM). Ce biais provient de deux sources :

• Écart de Vraisemblance : L'ELBO est une borne inférieure avec un écart non négligeable par rapport à la vraisemblance réelle, introduisant un biais et une variance dans les ratios d'échantillonnage d'importance utilisés dans les objectifs de Gradient de Politique (PG) ou PPO.
• Désalignement de la Distribution d'Échantillonnage : L'inférence des dLLMs utilise un re-masquage itératif et un décodage par blocs, induisant une distribution d'échantillonnage ($\pi^{rm}_{old}$) qui diffère de la distribution de la politique d'entraînement ($\hat{\pi}_{old}$) estimée via l'ELBO.

Ce désalignement rend la correction par échantillonnage d'importance inefficace, entraînant une dégradation des performances et, dans les cas graves, un effondrement catastrophique de l'entraînement.

2. Méthodologie : Auto-distillation de Débruiteur Guidé (GDSD)

Les auteurs proposent l'Auto-distillation de Débruiteur Guidé (GDSD), un cadre qui reformule le RL pour les dLLMs comme un problème d'auto-distillation hors politique, contournant ainsi le besoin d'estimation de vraisemblance et évitant le biais TIM.

2.1 Fondement Théorique

Sous un RL régularisé par la divergence KL inverse, la politique optimale $\pi^*$ admet une solution sous forme fermée :
$$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$$
où $A(x_0)$ est la fonction d'avantage, $\beta$ est un coefficient de régularisation, et $\psi$ est un coefficient de guidage.

Les auteurs montrent que cette politique optimale induit une distribution de débruitage guidée (un débruiteur "enseignant" $p^*$) pour le modèle de diffusion masqué :
$$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$$
où $p^{ref}_{old}$ est un mélange géométrique des politiques ancienne et de référence, et $A_t(x_t)$ est une constante de normalisation.

2.2 L'Objectif GDSD

Au lieu d'optimiser un objectif basé sur la vraisemblance, le GDSD distille directement le débruiteur actuel $p_\theta$ à partir de l'enseignant $p^*$ en faisant correspondre leurs logits. L'objectif minimise la distance $L_2$ au carré entre les logits de l'élève et de l'enseignant :
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$$

2.3 Reformulation Sans Normalisation

Un défi majeur dans la mise en œuvre de ceci est la constante de normalisation $Z_t$ (ou $A_t$) intraitable dans la distribution de l'enseignant. Les auteurs proposent deux solutions pour l'éliminer :

1. Correspondance Directe : En exploitant l'invariance par translation de l'opérateur Softmax, la constante peut être ignorée si les logits de l'élève correspondent aux logits non normalisés de l'enseignant à une constante additive près.
2. Centralisation des Logits au Niveau du Token (TLC) : Pour prévenir les décalages incontrôlés de l'échelle des logits lors des mises à jour itératives, les auteurs proposent de centrer les logits. En soustrayant le logit moyen sur le vocabulaire pour chaque position de token, la constante de normalisation est entièrement éliminée de l'objectif.

L'objectif pratique final (avec TLC) est :
$$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$$
où $\bar{p}$ désigne le modèle dont les logits sont centralisés.

3. Contributions Clés

1. Réduction à l'Auto-distillation : L'article établit que le RL régularisé par KL inverse pour les dLLMs est équivalent à la distillation d'un débruiteur guidé à partir d'un auto-enseignant dérivé de la politique optimale sous forme fermée.
2. Cadre GDSD : Une méthode novatrice d'auto-distillation sans vraisemblance qui élimine le biais TIM par conception, car elle ne repose pas sur des ratios d'échantillonnage d'importance ou des substituts ELBO.
3. Optimisation Sans Normalisation : L'introduction de la Centralisation des Logits au Niveau du Token (TLC) permet un RL en ligne efficace sans calculer de fonctions de partition intraitables.
4. Unification Théorique : L'article démontre que les méthodes existantes basées sur l'ELBO (par exemple wd1, DMPO, SPG, UniGRPO) peuvent être considérées comme des instances spécifiques de distillation utilisant différentes mesures de divergence (KL direct ou KL inverse), mais qu'elles souffrent d'une inefficacité des données ou d'un biais TIM que le GDSD évite.

4. Résultats Expérimentaux

Les auteurs ont évalué le GDSD sur LLaDA-8B et Dream-7B à travers six benchmarks :

• Raisonnement Mathématique : GSM8K, MATH500
• Planification : Countdown, Sudoku
• Codage : HumanEval, MBPP

Principales Constatations :

• Gains de Performance : Le GDSD surpasse systématiquement les méthodes de pointe basées sur l'ELBO. Sur le modèle Dream-7B, le GDSD a obtenu des améliorations de précision de test allant jusqu'à +19,6 % sur les tâches de planification (Sudoku et Countdown). Sur LLaDA-8B, les améliorations variaient de +0,6 % à +5 % sur les benchmarks de planification, de mathématiques et de codage.
• Stabilité de l'Entraînement : Le GDSD a démontré une dynamique de récompense d'entraînement nettement plus stable par rapport aux bases de référence basées sur l'ELBO (par exemple SPG, ESPO), qui présentaient des oscillations ou un effondrement.
• Études d'Ablation : La composante de Centralisation des Logits au Niveau du Token (TLC) s'est avérée stabiliser davantage l'entraînement et, dans certains cas (comme Sudoku), aider le modèle à échapper aux minima locaux pour atteindre des récompenses finales plus élevées.

5. Signification et Affirmations

L'article affirme que l'auto-distillation directe de débruiteur offre une alternative plus stable et efficace au RL basé sur l'ELBO pour les dLLMs. En supprimant la dépendance aux substituts de vraisemblance, le GDSD évite les biais structurels inhérents aux approches par échantillonnage d'importance. Les résultats suggèrent que les gains de performance observés ne sont pas simplement dus au réglage des hyperparamètres, mais découlent d'une voie d'optimisation plus rationnelle qui aligne l'objectif d'entraînement avec la distribution d'inférence réelle des dLLMs. Les auteurs concluent que l'ELBO n'est pas nécessaire pour le RL avec les dLLMs et que son retrait conduit à des capacités d'alignement et de raisonnement plus robustes.