💬 NLP

Unlocking Prompt Infilling Capability for Diffusion Language Models

Ce papier démontre que l'extension du masquage à l'ensemble de la séquence lors du réglage fin supervisé permet de débloquer la capacité d'inférence des modèles de langage à diffusion masquée, leur permettant de compléter efficacement des invites de manière compétitive par rapport aux modèles conçus manuellement.

Auteurs originaux : Yoshinari Fujinuma, Keisuke Sakaguchi

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yoshinari Fujinuma, Keisuke Sakaguchi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Problème : L'Acteur qui ne joue que la fin de la pièce

Imaginez un acteur de théâtre très talentueux, capable de jouer n'importe quel rôle. C'est un modèle de langage "diffusion" (une nouvelle génération d'intelligence artificielle).

Contrairement aux vieux modèles qui écrivent une phrase mot par mot, de gauche à droite (comme un enfant qui apprend à écrire), ce nouvel acteur peut regarder toute la scène en même temps. Il peut comprendre le début, le milieu et la fin, et il est capable de remplir les trous n'importe où dans le texte, comme un puzzle.

Le problème ?
Jusqu'à présent, les entraîneurs de cet acteur (les chercheurs) lui donnaient un script bizarre pour ses répétitions :

Le début de la pièce (la question ou l'instruction) était écrit en noir, bien visible.
Seule la fin (la réponse) était cachée sous un masque.
L'acteur devait deviner la fin.

Résultat : L'acteur est devenu un expert pour répondre aux questions, mais il a oublié comment compléter les questions elles-mêmes. Si vous lui donnez une instruction avec des trous (par exemple : "Voici un problème de mathématiques pour un élève : [TROU]"), il panique. Il ne sait pas quoi mettre dans le trou, car il n'a jamais été entraîné à faire ça. Il remplit souvent les trous avec du vide ou des erreurs.

C'est comme si vous appreniez à quelqu'un à cuisiner en lui donnant toujours les ingrédients, mais en lui demandant seulement de deviner le plat final. Si vous lui donnez un plat à moitié prêt et que vous lui demandez de deviner les ingrédients manquants, il échouera, même s'il a un cerveau capable de le faire.

💡 La Solution : L'entraînement "Tout Masqué"

Les auteurs de cette étude ont eu une idée simple mais révolutionnaire : changer les règles de l'entraînement.

Au lieu de cacher seulement la réponse, ils ont décidé de cacher tout le texte (la question ET la réponse) pendant l'entraînement.

Ils donnent à l'acteur un script avec des trous partout.
Ils lui disent : "Devine ce qui manque ici, et aussi ce qui manque là."

C'est comme si on apprenait à un détective à reconstituer toute l'histoire, pas seulement la conclusion.

🚀 Le Résultat : L'IA qui écrit ses propres instructions

Une fois cet entraînement terminé, l'IA acquiert une super-pouvoir : l'infilling de prompts (remplissage de consignes).

Voici comment ça marche dans la vraie vie :

Vous donnez à l'IA un modèle de consigne avec des trous, par exemple : "Voici un problème pour un élève : [TROU]... Combien ça coûte ?"
Vous lui montrez quelques exemples de problèmes et de réponses (des "few-shots").
L'IA utilise sa capacité à deviner les trous pour écrire elle-même la consigne parfaite pour la tâche, en se basant sur les exemples.

Pourquoi c'est génial ?

Mieux que l'humain : Souvent, l'IA trouve des formulations de consignes plus intelligentes et précises que celles qu'un humain aurait écrites à la main.
Adaptabilité : Si vous voulez que l'IA note des résumés avec des notes décimales (ex: 4,8 sur 5) au lieu de nombres entiers, elle va "deviner" et écrire cette règle précise dans la consigne, sans que vous ayez à le lui dire.
Transfert : Une consigne écrite par une IA peut être utilisée par une autre IA pour mieux fonctionner. C'est comme si un chef étoilé écrivait une recette parfaite, et qu'un autre chef pouvait l'utiliser pour cuisiner aussi bien.

🧩 L'Analogie Finale : Le Puzzle

Imaginez que vous avez un puzzle de 1000 pièces.

L'ancienne méthode (Masquage réponse uniquement) : On vous donne les 900 pièces du bord (le cadre) et on vous demande de trouver les 100 pièces du centre. Vous apprenez à remplir le centre, mais vous ne savez pas reconstruire le bord si on vous enlève des pièces.
La nouvelle méthode (Masquage séquence complète) : On vous donne le puzzle avec des trous aléatoires partout, au bord et au centre. Vous apprenez à reconstruire n'importe quelle partie du puzzle, peu importe où se trouve le trou.

En résumé

Cette recherche prouve que le problème n'était pas la "tête" de l'IA (son architecture), mais la façon dont on l'a "éduquée" (son entraînement). En changeant simplement la méthode d'entraînement pour cacher aussi bien les questions que les réponses, on débloque une capacité incroyable : l'IA peut maintenant inventer ses propres instructions pour mieux faire son travail, rendant les interactions avec elle beaucoup plus fluides et intelligentes.

1. Problématique

Les modèles de langage par diffusion masquée (dLMs) sont théoriquement capables de générer du texte de manière bidirectionnelle, c'est-à-dire qu'ils peuvent remplir n'importe quelle position masquée d'une séquence en se basant sur le contexte environnant (à la fois à gauche et à droite). Cette capacité d'infilling (remplissage) est un avantage distinctif par rapport aux modèles autoregressifs qui génèrent strictement de gauche à droite.

Cependant, l'article identifie une limitation majeure : les dLMs actuels (comme LLaDA et Dream) ne peuvent pas exploiter cette capacité pour le remplissage de prompts.

Cause racine : Ce n'est pas une limitation architecturale, mais une limitation d'entraînement. Lors du Supervised Fine-Tuning (SFT), la pratique standard consiste à masquer uniquement les tokens de la réponse (response-only masking), tandis que le prompt reste entièrement visible.
Conséquence : Le modèle apprend à débruitage (denoise) les réponses données des prompts propres, mais n'a jamais été entraîné à débruitage des prompts eux-mêmes. Cela crée un écart entre l'entraînement et l'inférence (training-inference gap), empêchant le modèle d'inférer ou d'optimiser des prompts à partir d'exemples peu nombreux (few-shot).

2. Méthodologie

Les auteurs proposent une modification simple mais fondamentale de la stratégie d'entraînement pour débloquer cette capacité.

A. Entraînement avec Masquage de Séquence Complète (Full-Sequence Masking - FS)

Au lieu de masquer uniquement la réponse, les auteurs appliquent un masquage aléatoire sur l'ensemble de la séquence $X = (P, R)$ , où $P$ est le prompt et $R$ la réponse.

Procédure : Pour chaque exemple d'entraînement, un ratio de masquage $t$ est échantillonné. Les tokens à masquer sont sélectionnés aléatoirement dans tout le texte, exposant le modèle à des motifs de corruption variés : masquage uniquement du prompt, uniquement de la réponse, ou des deux.
Objectif : Le modèle apprend à reconstruire n'importe quel token masqué, qu'il soit dans le prompt ou la réponse, en utilisant le contexte bidirectionnel.

B. Raffinement Optionnel (FS + RO)

Après l'entraînement avec masquage complet, une étape de fine-tuning supplémentaire avec un masquage uniquement sur les réponses (Response-Only) peut être appliquée. Cela permet de spécialiser le modèle pour la génération standard tout en conservant la capacité d'infilling acquise.

C. Protocole d'Inférence : Infilling de Prompt

Lors de l'inférence, le processus est le suivant :

On fournit un modèle de prompt partiellement masqué et quelques exemples étiquetés (few-shot) avec leurs réponses de référence.
Le dLM débruitage les tokens masqués du prompt pour générer un prompt complet et adapté à la tâche.
Plusieurs candidats de prompts sont générés et validés sur les exemples few-shot (en générant des réponses via un LLM ou un dLM).
Le meilleur prompt infillé est sélectionné et utilisé pour l'inférence finale sur l'ensemble des données de test.

3. Contributions Clés

Identification de la cause : Démonstration que l'écart entre l'entraînement et l'inférence, causé par le masquage exclusif des réponses lors du SFT, est le frein principal à l'infilling de prompts, et non l'architecture du modèle.
Nouvelle stratégie d'entraînement : Introduction du masquage de séquence complète (FS) comme ingrédient essentiel pour apprendre l'infilling de prompts.
Protocole d'inférence : Mise en place d'une méthode permettant de générer des prompts optimisés à partir de réponses cibles, surpassant souvent les templates conçus manuellement.
Généralisation et Complémentarité : Démonstration que ces prompts infillés se transfèrent efficacement entre différents modèles et modèles d'architectures, et qu'ils sont complémentaires aux méthodes d'optimisation de prompts existantes (comme COPRO ou GEPA).

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de type "LLM-as-a-Judge" (évaluation de résumés, BigGen-Bench) et de raisonnement mathématique (GSM8K).

Performance sur GSM8K : Les checkpoints publics (sans FS) voient leurs performances chuter drastiquement lors d'une tentative d'infilling (ex: LLaDA passe de 73,1% en ICL à 64,8% en infilling). En revanche, les modèles entraînés avec FS atteignent des performances supérieures à l'ICL standard (76,4% vs 73,1%) avec des prompts beaucoup plus courts (315 tokens vs 3333 tokens).
Évaluation LLM-as-a-Judge (SummEval & BigGen-Bench) :
- Les modèles avec FS montrent une corrélation significative avec le jugement humain (Spearman ~0,535 pour LLaDA FS+RO), là où les checkpoints publics échouent presque totalement (corrélation ~0,08).
- L'infilling permet de générer des rubriques de notation (score rubrics) plus précises, incluant des scores flottants non uniformes (ex: 1.2, 4.8) déduits des exemples, ce qui améliore la corrélation humaine.
- Le masquage complet (FS) est crucial : le masquage uniquement réponse (RO) améliore légèrement les checkpoints publics mais reste inférieur à FS.
Transfert de Prompt : Un prompt infillé par un modèle entraîné avec FS+RO améliore les performances de modèles plus faibles ou non entraînés avec FS, prouvant la transférabilité de la capacité d'infilling.
Combinaison avec l'Optimisation de Prompts : L'infilling par diffusion améliore les prompts déjà optimisés par des méthodes autoregressives (COPRO, GEPA), réduisant la variance et augmentant la précision, notamment sur COPRO.

5. Signification et Implications

Ce travail remet en question l'idée que certaines capacités des modèles de langage nécessitent des innovations architecturales complexes. Il démontre que les pratiques d'entraînement sont le goulot d'étranglement principal.

Paradigme d'entraînement : Il suffit d'exposer les modèles à des signaux d'entraînement appropriés (masquage bidirectionnel complet) pour débloquer des capacités théoriquement possibles mais jamais apprises.
Efficacité des prompts : L'infilling de prompts permet de créer des instructions optimisées, concises et adaptées à la tâche sans ingénierie manuelle intensive, en exploitant la nature bidirectionnelle des modèles de diffusion.
Avenir des dLMs : Cette approche ouvre la voie à une utilisation plus large des modèles de diffusion pour des tâches de raisonnement, d'optimisation et d'adaptation de prompts, comblant le fossé entre leur potentiel théorique et leurs performances pratiques actuelles.

En résumé, l'article prouve que le "verrouillage" de la capacité d'infilling des prompts n'est pas un défaut de conception des modèles de diffusion, mais simplement le résultat d'une stratégie de fine-tuning trop restrictive, facilement corrigible par un masquage de séquence complète.