🤖 machine learning

The Alignment Problem in Constrained Code Generation

Dit artikel onthult dat een mismatch tussen taalmodellen en incomplete constrained decoders de prestaties van codegeneratie ernstig kan verslechteren door waarschijnlijkheidsverdelingen te verstoren en timeouts te veroorzaken, wat unconstrained decoding vaak effectiever maakt voor functionele correctheid.

Oorspronkelijke auteurs: Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Overbezorgde Ouder"-probleem

Stel je voor dat je een zeer getalenteerd maar licht chaotisch kind (het AI-model) leert hoe het een verhaal moet schrijven (de Code).

Meestal laat je het kind schrijven wat het wil. Soms maakt het spelfouten of gebruikt het de verkeerde grammatica, maar vaak krijgt het de kern van het verhaal wel goed. Dit is Unconstrained Decoding.

Om de fouten te herstellen, besluit je een strenge redacteur te zijn (de Constrainer). Je zegt tegen het kind: "Je mag alleen woorden gebruiken die voldoen aan deze specifieke grammaticaregel. Als je probeert een woord te schrijven dat de regel overtreedt, stop ik je onmiddellijk en dwing ik je om een ander woord te kiezen."

Het artikel stelt dat hoewel dit een geweldig idee lijkt om fouten te voorkomen, het vaak averechts werkt. Als je redactieregels onvolledig zijn (dat wil zeggen: je kent niet álle regels van de taal, of je blokkeert geldige manieren van schrijven), dwing je het kind er uiteindelijk toe om op een vreemde, onnatuurlijke manier te schrijven, puur om aan jouw beperkte regels te voldoen. Het resultaat? Het verhaal wordt onzinnig, het kind raakt gefrustreerd en stopt voortijdig met schrijven, en het uiteindelijke verhaal is slechter dan wanneer je ze gewoon vrij had laten schrijven.

De Drie Belangrijkste Spelers

Het artikel identificeert drie zaken die met elkaar moeten "op bedje moeten" om dit te laten slagen:

Het Model (Het Kind): De AI die de code genereert. Het heeft door zijn training een enorme hoeveelheid kennis opgedaan over hoe code er normaal gesproken uitziet.
Het Doel (De Target): De perfecte, correcte code die we eigenlijk willen (bijv. geldige TypeScript).
De Constrainer (De Redacteur): Het hulpmiddel dat probeert de AI te dwingen de regels te volgen (zoals het controleren van types of syntaxis) terwijl deze aan het schrijven is.

Het Probleem: De "Redacteur" is vaak onvolledig. Het kent niet elke geldige manier om code te schrijven. Het kan een geldige zin blokkeren omdat het een specifieke functie nog niet heeft geleerd (zoals "forward references", waarbij je een woord gebruikt voordat je het hebt gedefinieerd).

De "Misalignment" Analogie

Beschouw de hersenen van de AI als een kaart van een stad die het heel goed kent.

Het Doel is de bestemming die je wilt bereiken.
De Constrainer is een reeks wegblokkades die je plaatst om ervoor te zorgen dat de bestuurder op de "juiste" wegen blijft.

Als je wegblokkades perfect zijn, blijft de bestuurder op de beste wegen en komt hij veilig aan.
Maar als je wegblokkades onvolledig zijn (je hebt een geldige afkorting geblokkeerd omdat je niet wist dat die bestond), wordt de bestuurder gedwongen een omweg te nemen via een moeras (gebieden met een lage waarschijnlijkheid). Ze kunnen vast komen te zitten in de modder (timeout), zonder benzine komen te zitten (tokens opgebruikt raken), of aankomen op een plek die eruitziet als de bestemming, maar niet het juiste huis is (de syntaxis is correct, maar de code werkt niet).

Wat de Onderzoekers Ontdekten

Het team heeft experimenten uitgevoerd met verschillende AI-modellen en twee soorten code (TypeScript en TOML). Dit is wat zij ontdekten:

1. De "Strenge Redacteur" Maakt het Vaak Slechter (RQ0)
Wanneer ze een standaard "onvolledige" redacteur gebruikten (één die sommige geldige code blokkeert), presteerde de AI slechter dan wanneer het vrij had mogen schrijven.

Het Resultaat: De AI genereerde code die technisch gezien "veilig" was (geen syntaxisfouten), maar niet daadwerkelijk deed wat de vraag was.
De Analogie: Het is alsoك een chef-kok dwingen om alleen ingrediënten te gebruiken uit een piepkleine, onvolledige voorraadkast. De chef kan misschien een gerecht maken dat er perfect uitziet, maar het smaakt verschrikkelijk omdat hij gedwongen werd om vreemde vervangers te gebruiken.

2. De "Bias" (RQ1)
De onderzoekers ontdekten dat de "onvolledige redacteur" de AI dwingt om woorden te kiezen die het normaal gesproken nooit zou kiezen.

Het Resultaat: De AI begint "onwaarschijnlijke" code te genereren. Het is alsof je een jazzmuzikant dwingt om alleen noten te spelen uit een specifieke toonladder waar hij een hekel aan heeft. De muziek wordt stijf en onnatuurlijk.
Het Gevolg: De AI geeft vaak de strijd op (time out) omdat het geen pad kan vinden dat voldoet aan de onvolledige regels van de redacteur.

3. Kunnen We Het Oplossen? (RQ2)
Ze probeerden de AI te "leren" de beperkte regels van de redacteur beter te begrijpen door middel van fine-tuning.

Het Resultaat: Dit hielp een beetje. De AI kwam minder vaak vast te zitten en de code werd iets beter.
De Kanttekening: Het lost het probleem niet volledig op. De AI bleef vechten tegen de onvolledige regels van de redacteur. Het is alsof je het kind leert om een betere schrijver te zijn, maar ze worden nog steeds gedwongen om met een kapotte pen te schrijven.

4. De "Perfecte Redacteur" (RQ3)
Ten slotte testten ze wat er gebeurt als de redacteur compleet is (hij kent elke geldige regel en blokkeert niets wat eigenlijk correct is).

Het Resultaat: Wanneer de redacteur perfect was, presteerde de AI veel beter dan bij het vrij schrijven.
De Analogie: Als je het kind een perfect set regels geeft die alles dekt, kan het een meesterwerk schrijven.
De Verrassing: De onderzoekers ontdekten dat zelfs minuscule ontbrekende details in de regels (zoals het vergeten toestaan van een spatie voor een is-gelijk-teken) de prestaties van de AI met wel 97% konden doen instorten. De AI is extreem gevoelig voor deze kleine hiaten.

De Kern van het Verhaal

Het artikel concludeert dat Constrained Decoding (een AI dwingen om regels te volgen tijdens het schrijven) alleen een goed idee is als de regels perfect in lijn (aligned) zijn met wat de AI al weet en wat de uiteindelijke code moet zijn.

Als de regels onvolledig zijn, werken ze als een slecht filter dat de natuurlijke vermogens van de AI vervormt en de code slechter maakt.
Om dit te laten werken, moeten we ofwel de regels perfect compleet maken, of de AI opnieuw trainen om perfect overeen te komen met de onvolledige regels.

Kortom: Zet geen halfbakken filter op een krachtige motor; het zal de auto alleen maar kapotmaken.

Technische Samenvatting: Het Alignment-probleem bij Beperkte Codegeneratie

Probleemstelling

Large Language Models (LLM's) hebben sterke capaciteiten getoond in codegeneratie, maar produceren regelmatig outputs met syntaxis- of typefouten, wat leidt tot compilatiefouten. In statisch getypeerde talen zoals TypeScript zijn ongeveer 94% van de compilatiefouten afkomstig van schendingen van het typesysteem in plaats van syntaxisfouten. Om dit te mitigeren, is constrained decoding (beperkte decodering) voorgesteld als een techniek om formele regels (bijv. syntaxisgrammatica's, typesystemen) af te dwingen tijdens de token-generatie, wat theoretisch structurele geldigheid garandeert.

De auteurs observeren echter een contra-intuïtief fenomeen: in voorlopige studies presteert unconstrained decoding (onbeperkte decodering) vaak beter dan constrained decoding in termen van functionele correctheid. Het papier stelt dat deze mislukking niet inherent is aan het concept van beperkingen, maar voortkomt uit een kritieke misalignment (mismatch) tussen drie kernentiteiten:

De Modeltaal ( $L_M$ ): De verzameling programma's die de LLM waarschijnlijk zal genereren op basis van de trainingsdistributie.
De Doeltaal ( $L_T$ ): De verzameling geldige programma's volgens de specificatie (bijv. de TypeScript-compilerregels).
De Beperkte Taal ( $L_C$ ): De verzameling programma's die door de door de gebruiker gedefinieerde constrainer (bijv. een incrementele parser/type-checker) worden toegestaan tijdens de decodering.

De kernthese is dat constrained decoding nadelig is wanneer de constrainer onvolledig is (geldige programma's in $L_T$ verwerpt) of onzuiver (ongeldige programma's toestaat). Een onvolledige constrainer dwingt de LLM in gebieden met een lage waarschijnlijkheid, wat leidt tot "incompleteness bias", tekstuele degeneratie en frequente timeouts, wat uiteindelijk de functionele correctheid vermindert.

Methodologie

De auteurs stellen een framework van Alignment voor om de relatie tussen $L_M$ , $L_T$ en $L_C$ te analyseren. Ze definiëren alignment als de Jaccard-gelijkenis tussen deze drie verzamelingen. De studie is gestructureerd rond drie onderzoeksvragen (Research Questions - RQs) om de kosten van misalignment en potentiële mitigaties te onderzoeken:

RQ0 (Effectiviteit): Een grootschalige empirische studie waarbij constrained versus unconstrained decoding wordt vergeleken over zes LLM's (variërend van 2B tot 80B parameters), twee benchmarks (HumanEval en MBPP) en drie temperatuurinstellingen.
RQ1 (De Kosten van Misalignment): Het kwantificeren van de "incompleteness bias" door de genereerde programma's te meten met behulp van de genormaliseerde negatieve log-likelihood (NLL). De studie analyseert hoe een onvolledige constrainer (specifiek een TypeScript type-constrainer die geen ondersteuning biedt voor forward references en user-defined types) de distributie van het model verstoort.
RQ2 (Herstel van Alignment): Het evalueren of het fine-tunen van de LLM om te voldoen aan de specifieke beperkingen van de constrainer de bias kan mitigeren. De auteurs gebruiken Group Relative Policy Optimization (GRPO) met een beloningsfunctie gebaseerd op het passeren van de incrementele type-checker.
RQ3 (Volledige Alignment): Het systematisch testen van de impact van volledigheid met behulp van TOML (een taal met een strikte, contextvrije grammatica) als sandbox. Ze vergelijken een complete syntactische constrainer met varianten waarbij specifieke functies zijn verwijderd (bijv. optionele spaties, commentaar, dotted keys) om de gevoeligheid van modellen voor verschillende gradaties van onvolledigheid te isoleren.

Belangrijkste Resultaten

1. Unconstrained Decoding Presteert Vaak Beter dan Constrained Decoding (RQ0)

Over alle configuraties heen (HumanEval en MBPP benchmarks), behaalde unconstrained decoding consequent een hogere Functionele Correctheid (FC) dan type-constrained decoding.

Timeouts: Constrained decoding leed aanzienlijk onder hogere timeout-percentages (het overschrijden van token- of tijdlimieten), vooral bij kleinere modellen en lagere temperaturen.
Type-Syntaxis vs. Functionaliteit: Hoewel constrained decoding de Type-Syntaxis Correctheid (TSC) verbeterde, vertaalde dit zich niet naar een betere functionele correctheid. Sterker nog, de beperkingen dwongen het model vaak om syntactisch geldige maar functioneel incorrecte code te genereren of veroorzaakden generatie-loops.

2. Misalignment Veroorzaakt Distributieve Bias (RQ1)

De studie bevestigde dat onvolledige constrainers LLM's naar regio's met een lage waarschijnlijkheid duwen.

NLL-analyse: Constrained oplossingen vertoonden een significant hogere NLL (wat aangeeft dat ze minder waarschijnlijk zijn onder de natuurlijke distributie van het model) vergeleken met unconstrained oplossingen.
Mechanisme van Falen: Wanneer een model probeert een functie te gebruiken die niet door de constrainer wordt ondersteund (bijv. een forward reference in TypeScript), verwerpt de constrainer het token. Het model wordt dan gedwongen een alternatief te kiezen, wat vaak leidt tot een "pad met lage waarschijnlijkheid" waar de gegenereerde code semantisch zinloos wordt of in een herhalingsloop terechtkomt totdat een timeout optreedt.

3. Fine-Tuning Mitigeert maar Elimineert de Bias Niet (RQ2)

Het fine-tunen van de LLM om de distributie van de constrainer te alignen (met behulp van GRPO) leverde gemengde maar positieve resultaten op:

Verminderde Timeouts: Fine-tuning verminderde de timeout-percentages met 53–73% (tokenlimieten) en 74–94% (tijdlimieten).
Convergentie: In sommige gevallen (bijv. Gemma-2-2B op HumanEval) maakte fine-tuning de functionele correctheid van constrained en unconstrained decoding gelijkwaardig.
Beperkingen: Ondanks verbeterde alignment bleef er enige incompleteness bias bestaan. Constrained decoding presteerde nog steeds minder goed of kwam slechts overeen met unconstrained decoding in functionele correctheid, wat suggereert dat fine-tuning alleen de fundamenteel onvolledige constrainer niet volledig kan compenseren.

4. Volledigheid is Cruciaal (RQ3)

Met behruik van TOML toonden de auteurs aan dat complete constrainers aanzienlijk beter presteren dan unconstrained decoding, vooral voor kleinere modellen.

Prestatiewinst: Met een complete constrainer zag het 2B-model (Gemma-2-2B) een toename van 53% in exact match scores vergeleken met unconstrained decoding.
Gevoeligheid voor Onvolledigheid: Het verwijderen van specifieke functies veroorzaakte drastische prestatiedalingen. Zo verminderde het verbieden van optionele spaties vóór het is-teken (c-space=) de functionele correctheid van het 80B-model met 97%. Dit geeft aan dat modellen aanzienlijk gewicht toekennen aan zelfs kleine syntactische constructen zoals spatiering.
Feature-gevoeligheid: Niet alle functies zijn even kritiek; het verwijderen van commentaar of dotted keys had minimale impact, terwijl het verwijderen van de opties voor spatiering catastrofaal was.

Betekenis en Bijdragen

Het artikel levert de volgende bijdragen aan de gemeenschap:

Empirisch Bewijs van Falen: Het biedt een grootschalige studie die aantoont dat huidige constrained decoding-benaderingen consistent worden overtroffen door unconstrained decoding in termen van functionele correctheid, wat de aanname uitdaagt dat beperkingen de codegeneratie automatisch verbeteren.
Het Alignment-Framework: Het introduceert het concept van alignment tussen de modellen taal, de doeltaal en de beperkte taal. Dit framework legt uit waarom constrained decoding faalt (incompleteness bias) en biedt een theoretische basis voor het diagnosticeren van deze problemen.
Kwantitatieve Inzichten in Mitigatie: Het demonstreert dat hoewel fine-tuning de negatieve effecten van misalignment kan verminderen (door de distributie van het model te harmoniseren met de constrainer), het geen wondermiddel is. De meest effectieve oplossing is het waarborgen van de volledigheid van de constrainer.
Ontwerprichtlijnen: Het papier biedt kwantitatieve inzichten voor het ontwerpen van constrainers, waarbij wordt benadrukt dat zelfs kleine syntactische restricties (zoals spatiering) een enorme negatieve impact kunnen hebben op de kwaliteit van de generatie.

Conclusie

Het artikel concludeert dat constrained decoding alleen voordelig is wanneer er een strikte alignment is tussen het model, de doeltaal en de beperkingen. Een onvolledige constrainer werkt als een bron van bias die de distributie van de LLM verstoort, wat leidt tot generatiefouten. Om formele garanties te bereiken zonder de functionele correctheid op te offeren, moeten beoefenaars ofwel complete constrainers ontwerpen, ofwel de distributie van het model afstemmen op de beperkingen via fine-tuning, waarbij men erkent dat de laatste methode de prestatiekloof veroorzaakt door onvolledigheid mogelijk niet volledig kan herstellen.