💬 NLP

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn is een nieuw diffusie-framework dat de beperking van generatie met een vaste lengte van bestaande Diffusion Language Models overwint door dynamische lengtecontrole-toestanden te introduceren, wat flexibele, variabele lengte code-infilling mogelijk maakt die prestaties bereikt die vergelijkbaar zijn met state-of-the-art autoregressieve modellen zonder architecturale wijzigingen te vereisen.

Oorspronkelijke auteurs: Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lege ruimte probeert in te vullen in een verhaal of een stuk code. Je hebt het begin (de prefix) en het einde (de suffix), en je moet schrijven wat er in het midden komt.

Lama tijd lang hebben de slimste computerprogramma's (genaamd Autoregressive Modellen) dit gedaan door één woord tegelijk te schrijven, van links naar rechts, zoals iemand die een zin typt. Ze zijn hier erg goed in.

Toen kwam er een nieuw type programma, een Diffusion Language Model (DLM). Denk aan deze als beeldhouwers. In plaats van woord voor woord te schrijven, beginnen zij met een blok klei waarbij het middelste deel volledig verborgen is (gemaskeerd). Ze hakken de verborgen delen weg en verfijnen de vorm totdat de perfecte woorden verschijnen. Dit is geweldig omdat ze fouten in elke willekeurige volgorde kunnen herstellen, niet alleen van links naar rechts.

Het Probleem: De "Vaste Canvas"-valstrik
Deze beeldhouwers hadden echter een grote tekortkoming. Ze konden alleen werken op een blok klei dat precies de grootte had die jij hen vertelde te gebruiken.

Als je ze een klein blok gaf (bijvoorbeeld 4 verborgen woorden) maar het antwoord had 20 woorden nodig, zouden ze zonder ruimte komen te zitten en een kapot, incompleet antwoord geven.
Als je ze een enorm blok gaf (bijvoorbeeld 64 verborgen woorden) maar het antwoord slechts 4 woorden nodig had, zouden ze in de war raken en de extra ruimte vullen met onzin of repetitieve troep.

De paper noemt dit het "Fixed-Size Canvas"-probleem. Het model zit vast in de afwachtende stand, wachtend tot jij de exacte juiste grootte van het gat raadt voordat het kan beginnen met werken. Als je het fout raadt, is het resultaat slecht.

De Oplossing: DREAMON
De auteurs introduceren DREAMON, een nieuwe manier om deze beeldhouwers te leren hoe ze de grootte van hun blok klei kunnen veranderen terwijl ze aan het werk zijn.

Ze voegden twee speciale "magische commando's" toe aan de vocabulaire van het model:

[expand]: "Ik heb meer ruimte nodig! Verander deze ene verborgen plek in twee verborgen plekken."
[delete]: "Ik heb te veel ruimte! Verwijder deze verborgen plek volledig."

Hoe het werkt (De Analogie)
Stel je voor dat het model een tekening maakt binnen een lijst.

De Oude Manier: Je vertelt het model: "Teken binnen een vierkant van 10x10." Als de tekening 20x20 moet zijn, wordt de tekening samengedrukt. Als de tekening 2x2 moet zijn, is de ruimte verspilling.
De DREAMON-Manier: Je geeft het model een lijst, maar je laat het een afstandsbediening vasthouden. Terwijl het model tekent, kan het, als het merkt dat de tekening te groot wordt voor de lijst, op [expand] drukken en de lijst groeit magisch. Als het model merkt dat de tekening piepklein is en de lijst enorm, drukt het op [delete] en de lijst krimpt.

Het model doet dit volledig op eigen initiatief, gebaseerd op wat het denkt dat het antwoord zou moeten zijn. Het heeft niet van jou nodig om vooraf de lengte te raden.

De Resultaten
De onderzoekers testten dit op programmeertaken (het invullen van ontbrekende delen van computerprogramma's).

Vóór DREAMON: Waren de diffusion modellen erg slecht in dit, als de "gat"-grootte niet perfect overeenkwam met het antwoord. Hun prestaties daalden met ongeveer 38% simpelweg omdat de grootte er net naast zat.
Na DREAMON: Werden de modellen even goed als de beste "woord-voor-woord" schrijvers (de autoregressive modellen). Ze konden gaten van elke grootte aan, waarbij ze het antwoord lieten groeien of krimpen tot het precies goed was.
Efficiëntie: Ze voegden ook een truc toe genaamd "Deletion Broadcasting". Als het model besluit een groot deel van de lijst te verwijderen, doet het dat niet stukje voor stukje, maar verwijdert het het hele blok direct, wat het proces veel sneller maakt.

In het kort
DREAMON neemt een krachtig maar rigide hulpmiddel (Diffusion Models) en geeft het de flexibiliteit om zijn output uit te rekken en te krimpen. Het heft de noodzaak op voor mensen om de perfecte antwoordlengte te raden, waardoor deze modellen eindelijk kunnen concurreren met de beste code-schrijvende AI die we vandaag de dag hebben, maar dan met het voordeel dat ze zaken in elke willekeurige volgorde kunnen herstellen.

Technische Samenvatting: DREAMON – Diffusion Language Models voor Code Infilling voorbij de Fixed-Size Canvas

1. Probleemstelling

Diffusion Language Models (DLMs) bieden een veelbelovend alternatief voor autoregressieve modellen door het mogelijk te maken om flexibele, generatie in willekeurige volgorde te realiseren, wat theoretisch ideaal is voor code infilling taken (het genereren van inhoud tussen een prefix en een suffix). Echter, huidige DLMs lijden aan een kritieke beperking: ze vereisen een vooraf gespecificeerde, vaste lengte van de gemaskeerde sequentie voor generatie.

Deze beperking creëert een "fixed-size canvas" bottleneck. Bij code infilling varieert de ideale lengte van de voltooiing aanzienlijk per voorbeeld. Wanneer de vooraf gedefinieerde masklengte niet overeenkomt met de lengte van de grondwaarheid (ground-truth), degradeert de prestatie drastisch. Het artikel rapporteert dat Dream-Coder-7B een gemiddelde prestatiedaling van 38% ervaart op de HumanEval-Infilling benchmark wanneer de masklengte afwijkt van de doelstelling. Specifiek:

Te weinig masks: Het model heeft onvoldoende ruimte om betekenisvolle code te genereren, wat leidt tot incomplete oplossingen.
Te veel masks: Het model heeft de neiging om overbodige of onjuiste codestukken te genereren om de overtollige ruimte op te vullen.

Bestaande oplossingen vertrouwen vaak op gespecialiseerde prompting of workarounds die natuurlijke contextuele structuren verstoren, maar DLMs hebben een gebrek aan een intrinsiek mechanisme om de outputlengte dynamisch aan te passen.

2. Methodologie: DREAMON

De auteurs stellen DREAMON voor, een framework dat dynamische, variabele lengtegeneratie mogelijk maakt in discrete diffusion models zonder architecturale wijzigingen. De kerninnovatie is de introductie van twee lengtecontrole-statussen die zijn geïntegreerd in het diffusieproces.

2.1 Kernmechanisme: Speciale Statussen

DREAMON breidt de vocabulaire uit met twee speciale sentinel tokens:

[expand]: Wanneer dit token wordt voorspeld, wordt dit deterministisch uitgebreid naar twee [mask] tokens, wat de sequentielengte effectief vergroot en meer ruimte biedt voor generatie.
[delete]: Wanneer dit token wordt voorspeld, verwijdert dit de corresponderende positie uit de sequentie, wat de lengte effectief inkrimpt.

2.2 Trainingsprocedure

Het trainingsproces omvat data-augmentatie en loss re-weighting:

Geaugmenteerde Sequentie Constructie ( $z_0$ ): Vanuit de oorspronkelijke inputsequentie ( $x_0$ ) construeren de auteurs een geaugmenteerde sequentie $z_0$ . Willekeurige token-spans worden samengevoegd tot [expand] tokens, en [delete] tokens worden ingevoegd. Dit simuleert de noodzaak voor lengteaanpassing tijdens het forward diffusieproces.
Forward Proces: Standaard masked diffusion wordt toegepast op $z_0$ . Cruciaal is dat zowel de [expand] als de [delete] statussen worden toegewezen aan [mask] tijdens het forward noising proces, waardoor ze bijdragen aan het leerproces.
Loss Weighting: Er bestaat een aanzienlijke onbalans waarbij [delete] targets frequenter voorkomen dan [expand] targets (omdat één [delete] één token vervangt, terwijl één [expand] een samenvoeging van meerdere tokens vertegenwoordigt). Om te voorkomen dat het model overfit op deletie-signalen, wordt een loss weighting schema geïntroduceerd. De bijdrage aan de loss van [delete] voorspellingen wordt afgeschaald zodat het totale gewicht van alle [delete] voorspellingen in een sequentie gelijk is aan het gewicht van een enkele standaard [mask] voorspelling.

2.3 Inference Procedure

Tijdens inference voert het model standaard denoising uit, maar met dynamische lengtecontrole:

Adaptief Traject: Het model voorspelt alle gemaskeerde posities. Als [expand] wordt voorspeld, wordt de positie vervangen door twee [mask] tokens. Als [delete] wordt voorspeld, wordt het token verwijderd.
Deletion Broadcasting: Om de efficiëntie te verbeteren wanneer de initiële mask veel groter is dan de doelstelling, introduceren de auteurs een heuristiek: als het model een [delete] voorspelt, worden alle daaropvolgende tokens aan de rechterkant (indien dit allemaal [mask] tokens zijn) onmiddellijk geëlimineerd. Dit transformeert een token-voor-token deletieproces naar een lengtevoorspelling actie, wat het aantal inference stappen aanzienlijk vermindert.
Constraints: Een maximale outputlengte ( $L_{max}$ ) wordt afgedwongen om ongecontroleerde groei te voorkomen.

3. Belangrijkste Bijdragen

Dynamische Lengtecontrole: DREAMON is het eerste framework dat variabele lengtegeneratie mogelijk maakt in masked diffusion models met gebruik van slechts twee speciale tokens ([expand] en [delete]) zonder de modelarchitectuur te wijzigen.
Minimale Trainingsoverhead: De methode vereist slechts minimale aanpassingen aan de trainingsdoelstelling (auxiliary states en loss weighting) en kan worden toegepast op bestaande pre-trained DLMs (bijv. Dream-Coder-7B, DiffuCoder-7B) met verwaarloosbare extra rekenkracht (0,15% van de pretraining kosten).
Prestatieherstel: De aanpak stelt diffusion models in staat om prestaties te behalen die vergelijkbaar zijn met state-of-the-art autoregressieve modellen, waardoor de fixed-length bottleneck effectief wordt weggenomen.

4. Experimentele Resultaten

De auteurs evalueerden DREAMON op HumanEval-Infilling (single-line en multi-line) en SantaCoder-FIM (Python subset).

Baseline Vergelijking: Standaard diffusion models (Dream-7B, DiffuCoder-7B, DreamCoder-7B) bleven aanzienlijk achter bij autoregressieve baselines (bijv. Qwen2.5-Coder-7B, Deepseek-Coder-6.7B) vanwege de fixed-length beperkingen.
DREAMON Prestaties:
- DREAMON bereikte een gemiddelde absolute prestatieverbetering van 26,4% ten opzichte van de diffusion baselines.
- Op HumanEval-Infilling bereikten DREAMON-verbeterde modellen (bijv. DiffuCoder-7B + DREAMON) 92,2 Pass@1 (single-line) en 63,1 Pass@1 (multi-line), waarmee ze de top autoregressieve modellen zoals Qwen2.5-Coder-7B evenaren of overtreffen.
- DREAMON varianten behaalden prestaties nabij oracle-niveaus (prestaties wanneer de initiële masklengte overeenkomt met de grondwaarheid), wat aantoont dat het model succesvol de juiste lengte kan aanpassen, ongeacht de initiële maskgrootte.
Ablatie Studies:
- Het verwijderen van ofwel [expand] ofwel [delete] veroorzaakte significante prestatiedalingen, wat bevestigt dat beide mechanismen noodzakelijk zijn.
- Loss balancing was cruciaal; zonder dit daalde de prestatie met gemiddeld ~7% door overfitting op deletie.
- Deletion broadcasting verminderde het totaal aantal inference stappen met ongeveer 50% (bijv. van 122,8 naar 52,4 stappen bij een masklengte van 64) zonder kwaliteitsverlies.

5. Betekenis en Claims

Het artikel claimt dat DREAMON een fundamentele barrière wegneemt voor de praktische inzetbaarheid van Diffusion Language Models. Door dynamische lengteaanpassing mogelijk te maken, brengt DREAMON de flexibiliteit en toepasbaarheid van DLMs voor variabele lengte generatie taken aanzienlijk vooruit, met name voor code infilling.

De auteurs positioneren hun werk als een stap naar het competitief maken van DLMs met autoregressieve modellen in real-world scenario's waar de outputlengte onbekend is. Ze merken op dat hoewel hun huidige ontwerp een enkele expansiefactor gebruikt (één-naar-twee), toekomstig werk rijkere expansie-vocabulaire of expliciete lengte-voorspellingskoppen kan verkennen om de efficiëntie verder te optimaliseren. Het werk benadrukt dat deze winsten worden behaald met geen enkele architecturale wijziging aan de onderliggende transformer, waardoor de eenvoud van het originele diffusie framework behouden blijft.