💬 NLP

Constrained Code Generation with Discrete Diffusion

Dit artikel introduceert Constrained Diffusion for Code (CDC), een trainingsvrij neurosymbolisch raamwerk dat voldoening aan beperkingen direct integreert in het discrete diffusie-ontruisingsproces om codegeneratie te sturen naar functioneel correcte, veilige en syntactisch geldige programma's met minimale corrigerende berekening.

Oorspronkelijke auteurs: Lize Shao, Michael Cardei, Zichen Xie, Ferdinando Fioretto, Wenxi Wang

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lize Shao, Michael Cardei, Zichen Xie, Ferdinando Fioretto, Wenxi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar iets slordige kunstenaar probeert te leren een perfect landschap te schilderen. De kunstenaar schildert het beeld niet streep voor streep van links naar rechts. In plaats daarvan begint hij met een canvas dat volledig bedekt is met grijze mist (het "masker"). Hij verwijdert langzaam de mist, waardoor het beeld eronder zichtbaar wordt, en verfijnt het beeld keer op keer totdat het uiteindelijke beeld verschijnt. Zo genereren Discrete Diffusie-modellen code: ze beginnen met een leeg, gemaskeerd blad en "denoisen" dit iteratief tot een werkend programma.

Het probleem is dat deze kunstenaar uitstekend is in dingen die er uitzien als code, maar vaak fouten maakt die de logica breken (functionele fouten) of de deur wijd openzetten voor hackers (veiligheidskwetsbaarheden). Normaal gesproken moet je, als je een fout opvangt, de kunstenaar vertellen het hele schilderij weg te gooien en opnieuw te beginnen. Dit is traag en verspillend.

CDC (Constrained Diffusion for Code) is een nieuwe methode die fungeert als een slimme, real-time kunstkritiek die direct naast de kunstenaar staat terwijl hij nog aan het schilderij werkt.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het "Pauze en Controle"-Moment

Bij traditionele methoden controleer je het schilderij pas wanneer het 100% klaar is. Als het verkeerd is, gooi je het weg.
CDC is anders. Omdat de kunstenaar aan het hele beeld tegelijk werkt (niet slechts één penseelstreek per keer), kan CDC het proces op elk moment pauzeren. Het kijkt naar het "halfvoltooide" schilderij en vraagt: "Ziet dit deel eruit alsof het zal werken? Is er hier een veiligheidslek?"

2. De Twee Gespecialiseerde Critici

CDC gebruikt twee verschillende soorten "critici", afhankelijk van welk type fout het zoekt:

De "Logica-trainer" (GradGuide):
- De Taak: Controleert of de code daadwerkelijk werkt (bijvoorbeeld: telt deze wiskundefunctie de getallen correct op?).
- De Analogie: Stel je voor dat de kunstenaar een brug schildert. De Logica-trainer zegt niet zomaar "Het is verkeerd." Hij wijst naar de specifieke pijler die er zwak uitziet en zegt: "De wiskunde hier klopt niet. Laten we gewoon die ene pijler opnieuw schilderen."
- Hoe het werkt: Het gebruikt een "surrogaat" (een kleinere, snelle AI) om te voorspellen of de code een test zal halen. Als het een mislukking voorspelt, vindt het de exacte woorden (tokens) die de fout veroorzaken en zegt de hoofdkunstenaar om zich alleen te richten op het corrigeren van die specifieke woorden, terwijl de rest van het schilderij ongemoeid blijft.
De "Veiligheidsinspecteur" (MDFI):
- De Taak: Controleert of de code veilig is (bijvoorbeeld: laat deze code hackers toe om data te stelen?).
- De Analogie: Stel je voor dat de kunstenaar een bankkluis schildert. De Veiligheidsinspecteur ontdekt een verborgen valdeur die er niet zou mogen zijn. In plaats van de kunstenaar te vertellen de hele kluis opnieuw te schilderen, zegt de Inspecteur: "Bedek die valdeur met een nieuwe muur en voeg hier een slot toe."
- Hoe het werkt: Het gebruikt een statische analyzer (een tool die codestructuur leest) om gevaarlijke patronen te vinden. Als het een kwetsbaarheid vindt, "remaskert" het (verbergt) alleen het slechte deel en voegt het een prompt toe die de kunstenaar vertelt: "Repareer deze specifieke plek met een veilig patroon."

3. De "Chirurgische Reparatie"

De magie van CDC is dat het de kunstenaar niet dwingt om opnieuw te beginnen.

Oude Manier: "Deze code heeft een bug. Wis alles en schrijf een nieuwe." (Verspillend).
CDC-Manier: "Je maakte een kleine fout in regel 14. Laten we gewoon die drie woorden wissen en het opnieuw proberen, terwijl we alles behouden wat je perfect hebt gedaan."

Waarom Dit Belangrijk Is (Volgens het Onderzoek)

De onderzoekers testten dit op standaard programmeeruitdagingen (zoals HumanEval-X en MBPP) en veiligheidstests (CWEval). Ze ontdekten dat:

Betere Resultaten: CDC het aantal programma's dat daadwerkelijk werkte en veilig was, aanzienlijk verhoogde. Bijvoorbeeld, op één test verdubbelde het het slagingspercentage van een populair model.
Minder Verspilling: Het loste problemen op door zeer weinig woorden te bewerken (vaak slechts een tiental), terwijl andere methoden die tot het einde wachten vaak enorme stukken van de code moesten herschrijven.
Geen Opnieuw Trainen: Het beste deel is dat CDC geen opnieuw trainen van het enorme AI-model vereist. Het is een "plug-and-play"-laag die bovenop bestaande modellen zit om ze beter te sturen.

Samenvattend: CDC verandert codegeneratie van een "gok-en-controle" spel (waarbij je mislukte pogingen weggooit) in een "geleide verfijning"-proces. Het vangt fouten op terwijl de code nog wordt gebouwd en maakt kleine, precieze aanpassingen, zodat het eindresultaat zowel functioneel als veilig is zonder tijd te verspillen aan het opnieuw genereren van het hele ding.

Technische Samenvatting: Gelimiteerde Codegeneratie met Discrete Diffusie

Probleemstelling

Codegeneratiemodellen, met name discrete diffusiemodellen, hebben zich ontwikkeld als een veelbelovend paradigma voor het construeren van programma's door iteratieve verfijning van gedeeltelijk beschadigde tokenreeksen. Er bestaat echter een kritieke beperking: het trainingsdoel van deze generatieve modellen komt overeen met een doeldistributie, maar vat programmaniveau-beperkingen zoals functionele correctheid, beveiligingseigenschappen of strikte syntactische validiteit niet inherent samen. Hoewel een gegenereerd programma onder het basismodel zeer plausibel kan zijn, kan het toch onjuist gedrag vertonen of kwetsbaarheden bevatten die uitgebuit kunnen worden.

Bestaande begeleidingsmechanismen (zoals prompting, herordening, afwijzingssteekproeven, naverwerking) grijpen doorgaans pas in nadat een kandidaat-programma volledig is gegenereerd. Deze aanpak is inefficiënt en onbetrouwbaar voor codegeneratie, omdat de zoekruimte sterk combinatorisch is en de subset van programma's die semantische of beveiligingsbeperkingen voldoet, een klein haalbaar gebied kan vormen. Benaderingen na het feit vereisen vaak het opnieuw genereren van grote achtervoegsels of volledige programma's om globale structurele of semantische schendingen te herstellen.

Discrete diffusiemodellen bieden een unieke kans om dit aan te pakken: hun omgekeerde ontdeningsproces blootstelt een globale programmastatus op elk tussenstadium. Deze structuur biedt natuurlijke interventiepunten om beperkingen direct in het generatieproces te integreren voordat de definitieve code wordt vastgelegd.

Methodologie: Gelimiteerde Diffusie voor Code (CDC)

Het artikel introduceert Constrained Diffusion for Code (CDC), een trainingsvrij neurosymbolisch inferentiekader dat programmaniveau-beperkingen direct integreert in het omgekeerde ontdeningsproces van discrete diffusiemodellen. CDC behandelt de diffusiesteekproeftrajectorie als een bewerkbare programmarepresentatie. Op elk ontdeningsstadium voert het kader vier kernoperaties uit:

Voorstel voor schone toestand: De basisontdenker voorspelt een volledige schone-tokendistributie ( $\hat{x}^{(t)}_0$ ) over de programmareeks.
Beperkingbewuste lokalisatie: Een beperkingsevaluator ( $E$ ) beoordeelt het kandidaat-programma tegenover doelspecificaties (bijvoorbeeld unit-tests, beveiligingsanalyses). Het retourneert schendingsscores en gestructureerde feedback. Een lokalisatiekaart ( $M$ ) vertaalt deze feedback vervolgens naar specifieke tokenregio's ( $S_t$ ) die verantwoordelijk zijn voor de schending.
Beperkingbewuste correctie: Een beperkingbewuste operator ( $P_C$ ) herziet de voorstelverdeling binnen de gelokaliseerde regio's. Het doel is om beperkingsschendingen te verminderen terwijl men dicht bij de distributie van de basisontdenker blijft (verankerd via Kullback-Leibler-divergentie).
Gelimiteerde omgekeerde update: Het gecorrigeerde voorstel wordt gebruikt om de omgekeerde keten naar het volgende tijdstip te laten vorderen.

CDC instantieert dit kader met twee specifieke operatoren die zijn toegespitst op verschillende beperkingstypen:

GradGuide (Functionele Correctheid): Deze operator behandelt zachte beperkingen met behulp van een geleerd surrogaatmodel ( $g_\phi$ $g_{ϕ}$ ) dat is getraind op uitvoeringsgestuurde labels (bijvoorbeeld test-succesresultaten).
- Het converteert tokenverdelingen naar zachte embeddings om een tevredenheidsscore te voorspellen.
- Het lokaliseert fouten door gradiënten van de surrogaatschending te berekenen met betrekking tot tokenembeddings, waardoor regio's met hoge salientie worden geïdentificeerd.
- Het past correcties toe via KL-verankerde projectie (het verschuiven van de waarschijnlijkheidsdistributie naar haalbare tokens) en beperking-geactiveerde lokale hermaskering (het opnieuw openen van vastgelegde tokens voor herontdenking als het tussentijdse programma nog steeds beperkingen schendt).
MDFI (Beveiliging): Deze operator behandelt harde beperkingen met behulp van statische programmanaalyse.
- Een statische analyzer construeert een gedeeltelijk programmagraaf (combinatie van AST en dataflow) vanuit de tussentijdse toestand.
- Het identificeert kwetsbaarheidsgetuigen (bijvoorbeeld onveilige dataflowpaden of structurele patronen) en lokaliseert deze naar tokenreeksen.
- Het past discrete interventies toe: substitutie (hermaskeren van onveilige constructies) en invoegen (injecteren van nieuwe maskertokens voor ontbrekende bewakers of controles).
- Het injecteert remediërende hints direct in de conditioneringscontext om de resterende ontdeningsstappen te sturen.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Beperkingbewuste Lokalisatie: Een algemeen mechanisme dat feedback op programmaniveau van surrogaten of statische analyzers in kaart brengt naar specifieke tokenregio's voor revisie tijdens het ontdenken.
Beperkingbewuste Correctie: Trainingsvrije operatoren die gelokaliseerde regio's herzien terwijl ze dicht bij de basisontdenker blijven. Deze ondersteunen differentieerbare begeleiding (via gradiënten en KL-verankerde updates) en niet-differentieerbare symbolische feedback (via gerichte hermaskering en invoeging).
Empirische Evaluatie: Bewijs dat aantoont dat het integreren van beperkingen tijdens het ontdenken de codegeneratie verbetert op het gebied van functionele correctheid, syntaxis en beveiligingsbenchmarks, en dat het discrete diffusie- en autoregressieve baselines overtreft met minder bewerkte tokens.

Experimentele Resultaten

De auteurs hebben CDC geëvalueerd op HumanEval-X C++, MBPP-C++, CWEval en LLMSecEval+ met Dream-Coder 7B, DiffuCoder 7B en Dream-7B als ruggengraat.

Functionele Correctheid: CDC verbeterde de pass@1- en pass@10-rates aanzienlijk. Op HumanEval-X C++ verbeterde CDC de pass@1 van Dream-Coder 7B van 34,1% naar 65,2% en het compilatiesucces van 67,1% naar 79,2%. Op MBPP-C++ verbeterde pass@1 van 27,7% naar 59,2%. Deze resultaten overtroffen state-of-the-art autoregressieve modellen (zoals DeepSeek-Coder 6.7B) op verschillende metrieken.
Beveiliging: CDC verbeterde het gezamenlijke succes van functionaliteit en beveiliging aanzienlijk. Op CWEval steeg de gezamenlijke pass@1 (fs@1) van 12,04% naar 34,26%. Op LLMSecEval+ steeg de beveiligingspass@1 (sec@1) van 54,67% (vanilla) naar 80,67%, waarmee het autoregressieve her-prompting overtrof.
Efficiëntie en Lokalisatie: CDC toonde superieure efficiëntie in vergelijking met autoregressief her-prompten. Waar autoregressieve methoden vaak volledige programma's opnieuw genereren (bijvoorbeeld mediaan 113 tokens bewerkt op CWEval), voerde CDC sterk gelokaliseerde bewerkingen uit (mediaan 12 tokens op CWEval). Dit bevestigt dat CDC correcties concentreert op beperkingrelevantie regio's in plaats van te vertrouwen op brede hergeneratie.

Betekenis en Aanspraken

Het artikel beweert dat discrete diffusiemodellen als een natuurlijk substraat dienen voor gelimiteerde codegeneratie. Door gebruik te maken van de globale, bewerkbare staten die tijdens het steekproeven worden blootgesteld, stelt CDC gefocuste beperkingscorrectie tijdens generatie mogelijk, in plaats van te vertrouwen op filtering na het feit of hergeneratie van het volledige programma.

De auteurs benadrukken dat deze aanpak de integratie van zowel zachte (surrogaatgebaseerde) als harde (symbolisch analyzer-gebaseerde) beperkingen mogelijk maakt zonder het basismodel opnieuw te trainen. De resultaten suggereren dat beperkingsintegratie tijdens het ontdenken diffusiegebaseerde codemodellen concurrerend kan maken met sterke autoregressieve generators, en een efficiëntere en gerichte weg biedt naar het genereren van veilige en functioneel correcte code. Het werk positioneert zichzelf als een stap naar betrouwbaardere en veiligere generatieve AI voor software-engineering door modellen naar haalbare oplossingen te sturen voordat de definitieve output wordt vastgelegd.