💬 NLP

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

Ce papier présente EntRGi, une méthode novatrice qui interpole dynamiquement entre des relaxations de tokens continus et des tokens discrets en fonction de l'entropie prédictive afin de permettre un guidage efficace par récompense pour les modèles de langage à diffusion discrète, démontrant des améliorations constantes par rapport aux approches les plus avancées tant dans l'adaptation au moment du test que dans l'entraînement postérieur via l'apprentissage par renforcement guidé par récompense (RGRL).

Auteurs originaux : Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux mais légèrement confus nommé Diffusion. Cet artiste essaie de peindre un tableau (ou d'écrire une histoire) en commençant par une toile entièrement couverte de bruit statique (comme une télévision sans signal) et en effaçant lentement ce bruit pour révéler l'image.

Habituellement, cet artiste travaille dans un monde « continu », comme mélanger des peintures où l'on peut fondre n'importe quelle nuance de bleu. Mais dans cet article, l'artiste travaille avec des tokens discrets — imaginez-les comme des briques Lego distinctes et séparées. Vous ne pouvez pas fondre une brique « rouge » avec une brique « bleue » pour obtenir du « violet » ; vous devez choisir l'une ou l'autre.

Le problème que les auteurs abordent consiste à dire à cet artiste : « Non, pas cette brique rouge ! Fais-en une brique rouge meilleure », en utilisant un Modèle de Récompense (un critique qui juge le tableau final).

Le Problème Central : L'Effondrement du « Traducteur »

Dans l'ancienne méthode (les modèles continus), l'artiste et le critique parlent le même langage. Le critique peut dire : « Déplace ton pinceau légèrement vers la gauche », et l'artiste comprend exactement comment s'ajuster.

Mais avec ces modèles à briques Lego, le critique ne sait juger que des briques finies et dures.

La Méthode de l'« Espérance » : Certains ont essayé de donner au critique une version « floue » des briques (un mélange de rouge et de bleu) afin que l'artiste puisse recevoir des instructions fluides. Mais le critique n'avait été entraîné que sur des briques nettes et réelles. C'est comme demander à un critique gastronomique de juger un smoothie fait de carottes et de céleri mixés ; il ne sait pas quoi dire car il n'a jamais goûté cela auparavant. Le feedback est peu fiable.
La Méthode « APS » (Meilleure précédente) : D'autres ont essayé de montrer au critique une brique réelle et nette pour obtenir une bonne note, puis ont demandé à l'artiste de faire semblant que la brique était encore floue afin d'obtenir des instructions fluides. C'est comme montrer un steak parfait à un juge, puis dire au chef : « Imagine que ce steak est une soupe liquide » tout en donnant des instructions. Les instructions ne correspondent pas à la réalité, ce qui entraîne de la confusion.

La Solution : EntRGi (Le « Mètre de Confiance »)

Les auteurs introduisent EntRGi (Guidage de Récompense Conscient de l'Entropie). Imaginez cela comme un Mètre de Confiance intelligent pour l'artiste.

Au fur et à mesure que l'artiste travaille, il est parfois très sûr de la brique à choisir (entropie faible / confiance élevée), et parfois il devine totalement (entropie élevée / confiance faible).

Quand l'Artiste est Confiant : Le Mètre de Confiance dit : « Tu sais ce que tu fais ! Montre au critique la brique réelle et dure ». Cela garantit que le critique donne une note fiable et précise car il juge quelque chose qu'il comprend.
Quand l'Artiste Devine : Le Mètre de Confiance dit : « Tu n'es pas sûr ! Montrons au critique un mélange flou de possibilités ». Cela permet à l'artiste de recevoir des instructions continues et fluides sur comment s'améliorer sans briser le flux du processus créatif.

La Magie : EntRGi bascule automatiquement entre ces deux modes, brique par brique, en fonction du degré de certitude de l'artiste. Il obtient le meilleur des deux mondes : un feedback fiable du critique et des instructions fluides et précises pour l'artiste.

Le Résultat : Meilleure Création et Nouvel Entraînement

L'article montre que cette méthode fonctionne mieux que les tentatives précédentes à deux niveaux :

Adaptation au Moment du Test (La « Modification en Direct ») : Lorsque l'artiste peint un tableau, EntRGi l'aide à orienter le processus pour créer une image finale meilleure sans avoir besoin de réentraîner l'artiste depuis zéro. C'est comme avoir un réalisateur sur le plateau qui sait exactement quand donner un petit coup de pouce et quand laisser l'acteur improviser.
RGRL (Apprentissage par Renforcement Guidé par la Récompense) : Les auteurs ont également créé une nouvelle recette d'entraînement appelée RGRL. Au lieu de simplement montrer à l'artiste un tableau terminé et de dire « Bon travail » ou « Mauvais travail » (ce qui est vague), ils utilisent le feedback fluide d'EntRGi pour enseigner à l'artiste comment s'améliorer. C'est comme un entraîneur donnant des exercices spécifiques et détaillés basés sur la forme actuelle du joueur, plutôt que de simplement tenir le score.

La Conclusion

L'article affirme qu'en utilisant ce « Mètre de Confiance » (EntRGi), ils peuvent guider ces modèles de briques Lego discrets à produire des résultats de qualité supérieure à avant. Ils ont testé cela sur de grands modèles (7 milliards de paramètres) et ont constaté qu'il bat systématiquement les meilleures méthodes précédentes, à la fois lors du simple guidage du modèle pendant la génération et lors de son utilisation pour entraîner le modèle à devenir plus intelligent.

Ils ont également noté que cette méthode fonctionne même lorsque l'artiste et le critique utilisent des « vocabulaires » légèrement différents (ensembles de briques Lego différents), ce qui est un problème courant dans le monde réel.

En bref : Ils ont trouvé comment parler à un artiste Lego confus d'une manière qui rend le critique heureux et l'artiste apprenant, aboutissant à de meilleures histoires et images.

Résumé technique : Guidance de récompense consciente de l'entropie pour l'alignement des modèles de langage à diffusion

Énoncé du problème

La guidance de récompense (ou échantillonnage a posteriori) s'est avérée hautement efficace pour les modèles de diffusion continus, où des retours différentiables provenant d'un modèle de récompense permettent un raffinement itératif des étapes de génération. Cependant, l'application de ce paradigme aux Modèles de Langage à Diffusion Discrète (dLLMs) présente un défi fondamental : les dLLMs génèrent des tokens discrets, qui sont non différentiables.

Les approches existantes tentent de combler ce fossé mais font face à un compromis critique entre la fiabilité du modèle de récompense et la précision du gradient :

Relaxation continue (Espérance) : Soumettre au modèle de récompense des embeddings « doux » (valeurs attendues des probabilités de tokens) permet la propagation du gradient. Cependant, les modèles de récompense sont généralement entraînés sur des tokens durs ; ainsi, des entrées douces, hors vocabulaire, conduisent à des signaux de récompense peu fiables et à une dégradation des performances.
Estimateur Straight-Through (STE) : Des méthodes comme APS (Rout et al., 2025c) évaluent la récompense sur des tokens durs échantillonnés (assurant la fiabilité) mais propagent les gradients comme si l'entrée était douce. Cela crée un décalage entre l'endroit où la récompense est évaluée et celui où les gradients sont appliqués, entraînant des erreurs d'approximation, en particulier lorsque l'entropie prédictive du modèle est élevée (c'est-à-dire lors des premières étapes de débruitage).

Méthodologie : EntRGi

Les auteurs introduisent EntRGi (Guidance de récompense consciente de l'entropie), un mécanisme qui interpole dynamiquement, token par token, entre les relaxations de tokens continus et les tokens durs échantillonnés. L'innovation centrale réside dans l'utilisation de l'entropie prédictive par token du modèle de diffusion lui-même pour déterminer le poids d'interpolation.

Le mécanisme

À chaque position masquée $l$ durant le processus de débruitage, EntRGi construit une embedding d'entrée $e_l^{EntRGi}$ pour le modèle de récompense comme une combinaison convexe :
$e_l^{EntRGi} = (1 - w_l)e_l^{soft} + w_l e_l^{hard}$
Où :

$e_l^{soft}$ est l'embedding doux attendu dérivé de la distribution de probabilité du modèle.
$e_l^{hard}$ est l'embedding d'un token dur échantillonné.
$w_l$ est un poids adaptatif dérivé de l'entropie du token $H(q_l)$ , spécifiquement $w_l = H(q_l) / \log K$ .

Logique de l'adaptation :

Faible entropie (Confiance élevée) : Lorsque le modèle est confiant (faible entropie), $w_l \to 0$ . L'entrée est principalement l'embedding doux, permettant un flux de gradient propre sans erreur d'approximation significative car les embeddings doux et durs sont proches.
Forte entropie (Incertitude élevée) : Lorsque le modèle est incertain (forte entropie), $w_l \to 1$ . L'entrée bascule vers l'embedding du token dur. Cela garantit que le modèle de récompense reçoit des entrées réalistes et dans la distribution, préservant la fiabilité de la récompense même si l'erreur d'approximation du gradient est plus élevée.

Cette approche résout la tension en faisant confiance aux embeddings doux lorsque le modèle est confiant et en revenant aux tokens discrets lorsque l'incertitude est élevée.

Post-entraînement : RGRL

L'article propose également RGRL (Apprentissage par Renforcement Guidé par la Récompense), une recette de post-entraînement qui exploite EntRGi (ou APS) pour générer des complétions guidées par la récompense. Ces complétions sont utilisées pour affiner le dLLM par auto-distillation, créant une boucle de rétroaction dense récompense-gradient plutôt que de dépendre uniquement des récompenses scalaires utilisées dans les méthodes RL standard comme diffu-GRPO.

Contributions clés

EntRGi : Un mécanisme novateur de guidance de récompense conscient de l'entropie pour les dLLMs à diffusion discrète, qui équilibre de manière adaptative la précision du gradient et la fiabilité du modèle de récompense.
Supériorité de l'adaptation au moment de l'inférence : Validation empirique montrant qu'EntRGi surpasse l'état de l'art précédent (APS) et d'autres bases (Espérance, Best-of-N) sur plusieurs benchmarks, en particulier à des températures d'échantillonnage plus élevées où l'entropie est plus forte.
Post-entraînement RGRL : Une nouvelle recette d'entraînement qui utilise des échantillons guidés par la récompense pour l'affinement. Les auteurs démontrent que RGRL-EntRGi surpasse significativement diffu-GRPO (un algorithme RL largement adopté pour les dLLMs), réalisant jusqu'à une amélioration relative de 70 % des scores de récompense sur des jeux de données spécifiques.
Robustesse face au décalage de tokenizer : La méthode reste efficace même lorsque le dLLM et le modèle de récompense ont des tokenizers incompatibles (par exemple, LLaDA vs Qwen/Llama), un scénario courant dans le monde réel où les méthodes basées sur le gradient existantes peinent souvent.

Résultats expérimentaux

Les auteurs ont évalué EntRGi sur des modèles de 7 milliards de paramètres (Dream-v0-Instruct-7B et LLaDA-8B-Instruct) à travers cinq jeux de données multi-compétences et quatre modèles de récompense.

Performance au moment de l'inférence : EntRGi a constamment obtenu des scores de récompense Top@1 et Avg@4 plus élevés que APS et l'Espérance. Notamment, alors que les performances d'APS se dégradaient considérablement à des températures plus élevées ( $\tau=0.7$ ), EntRGi maintenait ou améliorait les performances, démontrant sa capacité à gérer efficacement les états à haute entropie.
Efficacité du post-entraînement : RGRL-EntRGi a montré une convergence plus rapide et des scores de récompense finaux plus élevés par rapport à diffu-GRPO. Les gains étaient les plus marqués sur les jeux de données avec des récompenses initiales plus faibles (par exemple, WildChat-IF), suggérant que la méthode est particulièrement efficace pour les tâches d'alignement difficiles.
Études d'ablation : L'analyse a confirmé que le pondération basée sur l'entropie est supérieure aux heuristiques alternatives (comme la distance L2) et que la méthode réduit l'erreur d'approximation lors des premières étapes de débruitage où l'entropie est la plus élevée.

Importance

L'article affirme qu'EntRGi fournit une solution fondée sur des principes au conflit « discret vs différentiable » dans les modèles de langage à diffusion. En exploitant l'incertitude du modèle comme signal pour réguler l'intégration des retours, EntRGi permet :

Un pilotage plus fort au moment de l'inférence : Permettant aux dLLMs d'optimiser des objectifs spécifiques à la tâche sans réentraînement, avec une fiabilité comparable à celle des modèles de diffusion continus.
Des alternatives viables de post-entraînement : Débloquant la rétroaction dense récompense-gradient comme une alternative plus efficace au fine-tuning supervisé et au RL à récompense scalaire pour les dLLMs.

Les auteurs positionnent ce travail comme une étape nécessaire pour rendre l'adaptation guidée par la récompense et le post-entraînement robustes et évolutifs pour la nouvelle classe émergente de modèles de langage à diffusion discrète.