💬 NLP

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn est un nouveau cadre de diffusion qui surmonte la limitation de génération à longueur fixe des modèles de langage de diffusion existants en introduisant des états de contrôle de longueur dynamique, permettant un remplissage de code à longueur variable et flexible qui atteint des performances comparables aux modèles autorégressifs de pointe sans nécessiter de changements architecturaux.

Auteurs originaux : Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Publié 2026-02-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de remplir un espace vide dans une histoire ou un morceau de code. Vous avez le début (le préfixe) et la fin (le suffixe), et vous devez écrire ce qui va au milieu.

Pendant longtemps, les programmes informatiques les plus intelligents (appelés Modèles Autorégressifs) ont fait cela en écrivant un mot à la fois, de gauche à droite, comme une personne tapant une phrase. Ils sont très doués pour cela.

Ensuite, un nouveau type de programme appelé Modèle de Langage par Diffusion (DLM) est arrivé. Voyez cela comme des sculpteurs. Au lieu d'écrire mot par mot, ils commencent avec un bloc d'argile où la partie centrale est complètement cachée (masquée). Ils dégrossissent les parties cachées, affinant la forme jusqu'à ce que les mots parfaits apparaissent. C'est excellent car ils peuvent corriger les erreurs dans n'importe quel ordre, pas seulement de gauche à droite.

Le Problème : Le Piège du « Canevas à Taille Fixe »
Cependant, ces sculpteurs avaient un défaut majeur. Ils ne pouvaient travailler que sur un bloc d'argile qui faisait exactement la taille que vous leur indiquiez.

Si vous leur donniez un petit bloc (disons 4 mots cachés) mais que la réponse nécessitait 20 mots, ils manqueraient d'espace et donneraient une réponse brisée, incomplète.
Si vous leur donniez un énorme bloc (disons 64 mots cachés) mais que la réponse n'avait besoin que de 4 mots, ils seraient confus et rempliraient l'espace supplémentaire avec du non-sens ou des déchets répétitifs.

L'article appelle cela le problème du « Canevas à Taille Fixe ». Le modèle est coincé à attendre que vous deviniez la taille exacte du trou avant de commencer à travailler. Si vous vous trompez, le résultat est mauvais.

La Solution : DREAMON
Les auteurs introduisent DREAMON, une nouvelle façon d'apprendre à ces sculpteurs comment changer la taille de leur bloc d'argile pendant qu'ils travaillent.

Ils ont ajouté deux « commandes magiques » spéciales au vocabulaire du modèle :

[expand] : « J'ai besoin de plus d'espace ! Transforme cet emplacement caché unique en deux emplacements cachés. »
[delete] : « J'ai trop d'espace ! Supprime cet emplacement caché entièrement. »

Comment cela fonctionne (L'analogie)
Imaginez que le modèle est en train de dessiner un tableau à l'intérieur d'un cadre.

L'ancienne méthode : Vous dites au modèle, « Dessine à l'intérieur de ce carré de 10x10. » Si le dessin doit faire 20x20, le modèle est écrasé. Si le dessin doit faire 2x2, l'espace est gaspillé.
La méthode DREAMON : Vous donnez un cadre au modèle, mais vous le laissez tenir une télécommande. Pendant qu'il dessine, s'il réalise que le dessin devient trop grand pour le cadre, il appuie sur [expand] et le cadre grandit magiquement. S'il réalise que le dessin est minuscule et que le cadre est immense, il appuie sur [delete] et le cadre rétrécit.

Le modèle fait cela entièrement de lui-même, en fonction de ce qu'il pense que la réponse devrait être. Il n'a pas besoin que vous lui indiquiez la longueur à l'avance.

Les Résultats
Les chercheurs ont testé cela sur des tâches de codage (remplir des parties manquantes de programmes informatiques).

Avant DREAMON : Les modèles de diffusion étaient terribles pour cela si la taille du « trou » ne correspondait pas parfaitement à la réponse. Leurs performances chutaient d'environ 38 % simplement parce que la taille était légèrement décalée.
Après DREAMON : Les modèles sont devenus aussi bons que les meilleurs rédacteurs « mot par mot » (les modèles autorégressifs). Ils pouvaient gérer des trous de n'importe quelle taille, agrandissant ou rétrécissant la réponse jusqu'à ce qu'elle soit parfaite.
Efficacité : Ils ont également ajouté une astuce appelée « Deletion Broadcasting » (Diffusion de Suppression). Si le modèle décide de supprimer un gros morceau du cadre, il ne le fait pas un petit morceau à la fois ; il supprime tout le bloc instantanément, ce qui rend le processus beaucoup plus rapide.

En Résumé
DREAMON prend un outil puissant mais rigide (les Modèles de Diffusion) et lui donne la flexibilité de s'étirer et de se contracter. Cela élimine le besoin pour les humains de deviner la longueur parfaite de la réponse, permettant à ces modèles de enfin rivaliser avec les meilleurs outils d'IA d'écriture de code que nous possédons, tout en ayant l'avantage de pouvoir corriger les choses dans n'importe quel ordre.

Résumé Technique : DREAMON – Modèles de Langage par Diffusion pour l'Infilling de Code au-delà du Canevas à Taille Fixe

1. Énoncé du Problème

Les modèles de langage par diffusion (DLM - Diffusion Language Models) offrent une alternative prometteuse aux modèles autorégressifs en permettant une génération flexible et dans n'importe quel ordre, ce qui est théoriquement idéal pour les tâches d'infilling de code (génération de contenu entre un préfixe et un suffixe). Cependant, les DLM actuels souffrent d'une limitation critique : ils nécessitent une séquence masquée de longueur fixe préspécifiée pour la génération.

Cette contrainte crée un goulot d'étranglement appelé « canevas à taille fixe ». Dans l'infilling de code, la longueur idéale de la complétion varie considérablement selon les exemples. Lorsque la longueur du masque prédéfini ne correspond pas à la longueur de la solution réelle, les performances chutent drastiquement. L'article rapporte que le modèle Dream-Coder-7B subit une baisse de performance moyenne de 38 % sur le benchmark HumanEval-Infilling lorsque la longueur du masque ne correspond pas à la cible. Plus précisément :

Trop peu de masques : Le modèle manque d'espace suffisant pour générer du code significatif, ce qui conduit à des solutions incomplètes.
Trop de masques : Le modèle a tendance à sur-générer des extraits de code inutiles ou incorrects pour combler l'espace excédentaire.

Les solutions existantes reposent souvent sur des techniques de prompting spécialisées ou des contournements qui perturbent les structures contextuelles naturelles, mais les DLM ont manqué d'un mécanisme natif pour ajuster dynamiquement la longueur de sortie.

2. Méthodologie : DREAMON

Les auteurs proposent DREAMON, un cadre qui permet une génération de longueur variable et dynamique dans les modèles de diffusion discrets sans modification architecturale. L'innovation centrale est l'introduction de deux états de contrôle de longueur intégrés au processus de diffusion.

2.1 Mécanisme Central : États Spéciaux

DREAMON augmente le vocabulaire avec deux jetons sentinelles spéciaux :

[expand] : Lorsqu'il est prédit, ce jeton est déterministement étendu en deux jetons [mask], augmentant ainsi la longueur de la séquence et offrant plus d'espace pour la génération.
[delete] : Lorsqu'il est prédit, ce jeton supprime la position correspondante de la séquence, contractant ainsi la longueur.

2.2 Procédure d'Entraînement

Le processus d'entraînement implique une augmentation de données et une repondération de la perte (loss re-weighting) :

Construction de la Séquence Augmentée ( $z_0$ ) : À partir de la séquence d'entrée originale ( $x_0$ ), les auteurs construisent une séquence augmentée $z_0$ . Des segments de jetons aléatoires sont fusionnés en jetons [expand], et des jetons [delete] sont insérés. Cela simule la nécessité d'un ajustement de longueur pendant le processus de diffusion directe (forward diffusion).
Processus Direct (Forward Process) : La diffusion masquée standard est appliquée à $z_0$ . Crucialement, les états [expand] et [delete] sont tous deux mappés vers [mask] lors du processus de bruitage direct, garantissant qu'ils contribuent au signal d'apprentissage.
Pondération de la Perte : Un déséquilibre important existe où les cibles [delete] sont plus fréquentes que les cibles [expand] (puisqu'un [delete] remplace un jeton, tandis qu'un [expand] représente la fusion de plusieurs jetons). Pour éviter que le modèle ne sur-apprenne (overfitting) les signaux de suppression, un schéma de pondération de la perte est introduit. La contribution de la perte des prédictions [delete] est réduite de sorte que le poids total de toutes les prédictions [delete] dans une séquence soit égal au poids d'une seule prédiction [mask] standard.

2.3 Procédure d'Inférence

Pendant l'inférence, le modèle effectue un débruitage standard mais avec un contrôle de longueur dynamique :

Trajectoire Adaptative : Le modèle prédit toutes les positions masquées. Si [expand] est prédit, la position est remplacée par deux jetons [mask]. Si [delete] est prédit, le jeton est supprimé.
Diffusion de Suppression (Deletion Broadcasting) : Pour améliorer l'efficacité lorsque le masque initial est beaucoup plus grand que la cible, les auteurs introduisent une heuristique : si le modèle prédit un [delete], tous les jetons suivants à droite (s'ils sont tous des [mask]) sont immédiatement éliminés. Cela transforme un processus de suppression jeton par jeton en une action de prédiction de longueur, réduisant considérablement les étapes d'inférence.
Contraintes : Une longueur de sortie maximale ( $L_{max}$ ) est imposée pour éviter une croissance illimitée.

3. Contributions Clés

Contrôle de Longueur Dynamique : DREAMON est le premier cadre permettant une génération de longueur variable et native dans les modèles de langage par diffusion en utilisant uniquement deux jetons spéciaux ([expand] et [delete]) sans changer l'architecture du modèle.
Faible Surcharge d'Entraînement : La méthode ne nécessite que des modifications minimales de l'objectif d'entraînement (états auxiliaires et pondération de la perte) et peut être appliquée aux DLM pré-entraînés existants (ex: Dream-Coder-7B, DiffuCoder-7B) avec un coût de calcul supplémentaire négligeable (0,15 % du coût de pré-entraînement).
Récupération de Performance : L'approche permet aux modèles de diffusion d'atteindre des performances comparables aux meilleurs modèles autorégressifs, éliminant efficacement le goulot d'étranglement de la longueur fixe.

4. Résultats Expérimentaux

Les auteurs ont évalué DREAMON sur HumanEval-Infilling (ligne simple et multi-lignes) et SantaCoder-FIM (sous-ensemble Python).

Comparaison avec les Baselines : Les modèles de diffusion standards (Dream-7B, DiffuCoder-7B, DreamCoder-7B) accusaient un retard significatif par rapport aux bases autorégressives (ex: Qwen2.5-Coder-7B, Deepseek-Coder-6.7B) en raison des contraintes de longueur fixe.
Performance de DREAMON :
- DREAMON a obtenu une augmentation absolue moyenne de performance de 26,4 % par rapport aux baselines de diffusion.
- Sur HumanEval-Infilling, les modèles améliorés par DREAMON (ex: DiffuCoder-7B + DREAMON) ont atteint 92,2 Pass@1 (ligne simple) et 63,1 Pass@1 (multi-lignes), surpassant ou égalant les meilleurs modèles autorégressifs comme Qwen2.5-Coder-7B.
- Les variantes DREAMON ont atteint des niveaux proches de l'oracle (performance lorsque la longueur du masque initial correspond à la vérité terrain), démontant que le modèle peut s'adapter avec succès à la bonne longueur quelle que soit la taille du masque initial.
Études d'Ablation :
- La suppression de [expand] ou de [delete] a entraîné des chutes de performance significatives, confirmant que les deux mécanismes sont nécessaires.
- L'équilibrage de la perte était critique ; sans lui, la performance a chuté d'environ 7 % en moyenne à cause du sur-apprentissage de la suppression.
- La diffusion de suppression (Deletion broadcasting) a réduit le nombre total d'étapes d'inférence d'environ 50 % (ex: de 122,8 à 52,4 étapes pour une longueur de masque de 64) sans sacrifier la qualité.

5. Signification et Revendications

L'article affirme que DREAMON lève une barrière fondamentale au déploiement pratique des modèles de langage par diffusion. En permettant l'ajustement dynamique de la longueur, DREAMON fait progresser considérablement la flexibilité et l'applicabilité des DLM pour les tâches de génération de longueur variable, particulièrement l'infilling de code.

Les auteurs positionnent leur travail comme une étape vers la mise en concurrence des DLM avec les modèles autorégressifs dans des scénarios réels où la longueur de sortie est inconnue. Ils notent que bien que leur conception actuelle utilise un facteur d'expansion unique (un-vers-deux), les travaux futurs pourraient explorer des vocabulaires d'expansion plus riches ou des têtes de prédiction de longueur explicites pour optimiser davantage l'efficacité. Le travail souligne que ces gains sont obtenus sans changement architectural du transformer sous-jacent, préservant la simplicité du cadre de diffusion original.