💬 NLP

Unlocking Prompt Infilling Capability for Diffusion Language Models

Dit paper toont aan dat het uitbreiden van de supervised finetuning naar volledige sequentiemaskering de infill-capaciteit van diffusion-taalmodellen activeert, waardoor automatisch gegenereerde prompts vaak beter presteren dan handmatig ontworpen sjablonen.

Oorspronkelijke auteurs: Yoshinari Fujinuma, Keisuke Sakaguchi

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yoshinari Fujinuma, Keisuke Sakaguchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Het "Twee-Weg" Geheim van AI

Stel je voor dat een Diffusie Taalmodel (een slimme AI) als een kunstenaar is die een schilderij maakt.

Normale AI's (zoals ChatGPT) werken als een schilder die alleen van links naar rechts werkt. Hij begint met een blanco doek, schrijft het eerste woord, dan het tweede, en zo verder. Hij kan niet terugkijken of iets in het midden van de zin veranderen zonder alles opnieuw te doen.
Diffusie AI's werken anders. Ze beginnen met een doek dat volledig vol is met "ruis" (verkeerde woorden of vlekken) en wissen die ruis stap voor stap weg totdat een helder beeld overblijft. Ze kunnen op elk punt in de zin kijken en iets veranderen, zolang ze maar naar de rest van de zin kijken. Dit heet "bidirectioneel" (twee-weg).

Het Probleem: Een Leerling die nooit mag oefenen

Het probleem dat deze auteurs ontdekten, is dat deze slimme Diffusie AI's een speciale gave hadden, maar dat niemand hen ooit had laten oefenen om die te gebruiken.

De Oefening: Tot nu toe werden deze AI's getraind door alleen de antwoorden te laten "opruimen" (de ruis wegwerken). De vragen (de prompts) bleven altijd schoon en duidelijk.
De Vergelijking: Stel je voor dat je een leerling in de klas zet. Je geeft hem een vraag op het bord (die is perfect leesbaar) en laat hem alleen het antwoord op het bord schrijven. Je doet dit duizenden keren.
- Vervolgens vraag je de leerling: "Kun je nu een vraag bedenken die past bij dit antwoord?"
- De leerling kijkt je verbaasd aan. Hij heeft nooit geoefend om vragen te bedenken. Hij weet alleen hoe hij antwoorden schrijft. Hij is architectonisch in staat om vragen te stellen (zijn hersenen kunnen twee kanten op), maar hij heeft het niet geleerd door zijn training.

Dit noemen de auteurs een "trainings-inferentie gat". De technologie kon het, maar de training had het verborgen.

De Oplossing: "Volledige Maskering"

De auteurs hebben een simpele, maar revolutionaire oplossing bedacht: Volledige Sequentie Maskering.

De Nieuwe Oefening: Tijdens het trainen worden nu zowel de vraag als het antwoord deels onleesbaar gemaakt (gemaskeerd). De AI moet nu niet alleen het antwoord invullen, maar ook delen van de vraag zelf invullen op basis van het antwoord.
De Analogie: Het is alsof je de leerling nu een halfvolledige vraag geeft en een antwoord, en zegt: "Jij moet nu de vraag zelf afmaken zodat deze perfect past bij dit antwoord."

Door dit te doen, leren ze dat ze de vraag kunnen "opfrissen" of "aanpassen" om beter te werken.

Wat levert dit op? (De Magie van "Prompt Infilling")

Zodra de AI dit heeft geleerd, kan hij iets geweldigs doen: Prompt Infilling (het invullen van prompts).

De "Magische Schets": Je geeft de AI een ruwe schets van een vraag met lege plekken (bijvoorbeeld: "Je bent een [MASK] die [MASK] moet doen").
De Context: Je geeft een paar voorbeelden van goede vragen en antwoorden.
Het Resultaat: De AI vult de lege plekken in met de perfecte woorden. Hij bedenkt zelf de beste instructies, de beste regels en de beste toon.

Waarom is dit cool?

Beter dan mensen: De AI bedenkt vaak betere vragen dan mensen handmatig zouden schrijven.
Korter en krachtiger: In plaats van een hele lange, saaie instructie te geven, kan de AI een korte, krachtige vraag bedenken die precies doet wat je wilt.
Overdraagbaar: Een vraag die de AI voor Model A heeft bedacht, werkt vaak ook heel goed voor Model B.

Samenvatting in één zin

De auteurs hebben ontdekt dat we Diffusie AI's te veel hebben getraind als "antwoordgevers" en te weinig als "vraagdenkers"; door ze te laten oefenen met het invullen van zowel vragen als antwoorden, hebben we een nieuwe, krachtige vaardigheid vrijgegeven die AI's helpt om zichzelf beter te begrijpen en betere instructies te bedenken.

Het is alsof je een auto hebt die technisch gezien kan rijden achteruit, maar die alleen vooruit heeft leren rijden. Door de bestuurder te laten oefenen met achteruitrijden, ontdek je dat de auto nu in elke richting perfect kan navigeren.

Titel: Unlocking Prompt Infilling Capability for Diffusion Language Models

Auteurs: Yoshinari Fujinuma (Patronus AI) en Keisuke Sakaguchi (Tohoku University, RIKEN)

1. Het Probleem: De Kloof tussen Training en Inferentie

Masked Diffusion Language Models (dLM's) genereren tekst via iteratief bidirectioneel ontdoemen (denoising), waarbij tokens over de hele sequentie geleidelijk worden vrijgegeven. In theorie kunnen deze modellen elke gemaskeerde positie invullen, ongeacht of deze zich in de prompt (instructie) of in de respons bevindt. Dit zou een krachtig voordeel moeten zijn ten opzichte van autoregressieve modellen die strikt links-naar-rechts werken.

Echter, de huidige praktijk van Supervised Fine-Tuning (SFT) voor dLM's (zoals LLaDA en Dream) beperkt dit vermogen. Tijdens de training wordt alleen de respons gemaskeerd, terwijl de prompt volledig zichtbaar blijft.

Gevolg: Het model leert responsen te genereren op basis van schone prompts, maar krijgt nooit de trainingssignalen om prompts zelf te "ontdoemen" of te invullen.
Het Resultaat: Er ontstaat een training-inference gap. Hoewel de architectuur bidirectioneel is, is het vermogen om prompts in te vullen (prompt infilling) niet getraind en dus niet beschikbaar tijdens inferentie. Bestaande checkpoints falen vaak bij het invullen van prompts en vullen deze zelfs op met eind-tokens (EOS) in plaats van zinvolle inhoud.

2. Methodologie: Full-Sequence Masking

De auteurs introduceren een eenvoudige maar fundamentele wijziging in het trainingstraject om dit probleem op te lossen: Full-Sequence Masking (FS) tijdens de SFT-fase.

Full-Sequence Masking (FS): In plaats van alleen de respons te maskeren, wordt de volledige sequentie $X = (P, R)$ $X = (P, R)$ (prompt + respons) gemaskeerd. Voor elke trainingsexemplaar wordt een maskeringsratio $t$ $t$ getrokken en willekeurige tokens uit zowel de prompt als de respons gemaskeerd.
- Dit dwingt het model om te leren hoe het zowel prompts als responsen kan reconstrueren op basis van de omringende context.
Optionele Verfijning (FS+RO): Na de FS-fase kan een tweede fase met alleen respons-masking (Response-Only masking) worden toegevoegd. Dit specialiseert het model voor standaard generatie-taken zonder het geleerde prompt-infilling-vermogen te verliezen.
Inferentie Procedure (Prompt Infilling):
1. Een prompt-sjabloon met gemaskeerde gebieden (bijv. de scoring-rubriek of taakbeschrijving) wordt gepresenteerd.
2. Samen met een paar-shot voorbeelden (input + gewenste output) worden de gemaskeerde tokens door het dLM ontdoemd.
3. Het model genereert een volledig, taak-geoptimaliseerde prompt.
4. Deze gegenereerde prompt wordt gevalideerd en vervolgens gebruikt voor alle verdere inferentie.

3. Belangrijkste Bijdragen

Identificatie van de Beperking: De auteurs tonen aan dat het gebrek aan prompt-infilling bij dLM's geen architecturale beperking is, maar een direct gevolg is van de huidige SFT-praktijk (alleen respons-maskering).
Full-Sequence Masking: Ze introduceren FS als de sleutelcomponent om dit vermogen te activeren.
Protocol voor Prompt Infilling: Ze stellen een procedure voor waarbij dLM's prompts automatisch genereren op basis van few-shot voorbeelden, zonder handmatig engineering.
Complementariteit: Ze tonen aan dat deze methode werkt in combinatie met bestaande methoden voor prompt-optimalisatie (zoals COPRO en GEPA) en prestaties verder verbetert.

4. Resultaten en Evaluatie

De methodologie werd getest op diverse benchmarks, waaronder GSM8K (wiskundig redeneren), SummEval (samenvattingsevaluatie) en BigGen-Bench (LLM-as-a-Judge).

Prestatieverbetering:
- Op GSM8K daalde de prestatie van openbare checkpoints (zonder FS) drastisch bij pogingen tot prompt-infilling (bijv. Dream daalde van 79,3% naar 54,3%). Met FS-training herstelde en verbeterde het vermogen.
- Op SummEval (LLM-as-a-Judge) bereikte het model met FS+RO-training een Spearman-correlatie van 0,535 met menselijke beoordelingen, wat significant hoger is dan de openbare checkpoints (0,087) of modellen met alleen respons-maskering (RO).
- Het model slaagde erin om niet-integer scores (bijv. 1.2, 4.8) af te leiden uit few-shot voorbeelden, wat leidde tot een betere correlatie met menselijke oordelen dan vaste, handmatig ontworpen rubrieken.
Generalisatie en Transfer:
- Prompten die zijn gegenereerd door een model met FS-training, werken effectief op andere modelvarianten (zelfs die zonder FS-training), hoewel de prestaties het hoogst zijn wanneer het ontvangende model ook getraind is met FS.
- Op BigGen-Bench toonde FS het beste vermogen om te generaliseren met de laagste variantie, wat suggereert dat het model robuustere patronen leert dan bij alleen respons-maskering.
Efficiëntie:
- Prompt-infilling met FS+RO op GSM8K bereikte 76,4% nauwkeurigheid met slechts 315 tokens, terwijl standaard 16-shot in-context learning (ICL) 3333 tokens vereiste voor een lagere nauwkeurigheid (73,1%). Dit toont aan dat het model essentiële redeneerpatronen kan distilleren in compacte prompts.
Combinatie met Andere Methoden:
- Wanneer gecombineerd met COPRO (een prompt-optimalisatiemethode), verbeterde het infilling-proces de prestaties aanzienlijk en verlaagde het de variantie, wat aangeeft dat het lokale, gerichte aanpassingen kan maken die globale herschrijfmethode niet kunnen.

5. Betekenis en Conclusie

De kernboodschap van dit artikel is dat trainingspraktijken, en niet architecturale beperkingen, de primaire bottleneck zijn voor het benutten van het volledige potentieel van Diffusion Language Models.

Paradigmaverschuiving: Het artikel toont aan dat bidirectionele modellen niet automatisch alle bidirectionele taken kunnen uitvoeren; ze moeten specifiek worden getraind om prompts te manipuleren.
Praktische Toepassing: Door full-sequence masking toe te passen, kunnen dLM's automatisch geoptimaliseerde prompts genereren die handmatige engineering overtreffen. Dit is vooral waardevol voor complexe taken zoals "LLM-as-a-Judge", waar de structuur van de prompt (rubrieken, scorebereik) cruciaal is voor de kwaliteit van de evaluatie.
Toekomst: Dit suggereert dat veel capaciteiten die we momenteel als "architecturale innovaties" zien, mogelijk simpelweg het resultaat zijn van het blootstellen van modellen aan de juiste trainingssignalen.

Kortom, de paper biedt een oplossing voor een fundamenteel trainingsprobleem dat het gebruik van dLM's voor geavanceerde prompt-engineering en adaptatie blokkeerde, en bewijst dat deze modellen hiermee superieure resultaten kunnen behalen.