💻 computer science

Task Abstention for Large Language Models in Code Generation

Dit artikel stelt een theoretisch onderbouwde, distributie-vrije methode voor voor Large Language Models om af te zien van codegeneratietaken die waarschijnlijk hallucinaties zullen produceren, door de consistentie van de generatie te beoordelen aan de hand van uitvoeringsresultaten van de code, waardoor veiligere en robuustere geautomatiseerde codering mogelijk wordt zonder afhankelijkheid van externe testgevallen.

Oorspronkelijke auteurs: Yanke Zhou, Yuhao Tan, Senrong Xu, Zenan Li, Yuan Yao, Taolue Chen, Xiaoxing Ma

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanke Zhou, Yuhao Tan, Senrong Xu, Zenan Li, Yuan Yao, Taolue Chen, Xiaoxing Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Oververzekerde Chef"

Stel je voor dat je een briljante maar oververzekerde chef (het Large Language Model of LLM) inhuurt om een complex gerecht te bereiden op basis van een vaag recept. Soms is de chef fantastisch en creëert hij een perfect maaltijd. Maar vaak wordt de chef zelfverzekerd en maakt hij een gerecht dat er lekker uitziet, maar verschrikkelijk smaakt of zelfs giftig is (dit wordt een "hallucinatie" genoemd).

Momenteel vinden de meeste veiligheidscontroles na plaats dat de chef het gerecht al heeft bereid. Ze proeven het eten om te zien of het goed is. Als het slecht is, gooien ze het weg. Maar tegen die tijd heeft de chef al tijd en ingrediënten verspild, en heb je een slecht maaltijd geserveerd gekregen.

Dit paper stelt een andere vraag: Kunnen we de chef leren om te zeggen: "Ik weet niet hoe ik dit moet koken," voordat hij zelfs maar begint met het snijden van groenten?

Dit heet Task Abstention (taakafstandname). Het gaat erom te weten wanneer je een opdracht moet weigeren om een fout te voorkomen.

De Oplossing: CODEREFUSER

De auteurs hebben een systeem gebouwd dat CODEREFUSER heet. Denk hierbij aan een "Veiligheidsmanager" voor de chef. Deze manager kijkt niet alleen naar het recept; hij voert een simulatie uit om te zien of de chef waarschijnlijk zal slagen voordat hij het groene licht geeft.

Hier is hoe de Veiligheidsmanager werkt, opgesplitst in drie eenvoudige stappen:

1. De "Oefenronde" (Calibratiefase)

Voordat de Veiligheidsmanager beslissingen kan nemen, moet hij de grenzen van de chef leren kennen.

De Analogie: Stel je voor dat de manager de chef 100 oefenrecepten geeft. Voor elk daarvan probeert de chef het 64 keer te koken.
De Twist: De manager kijkt niet alleen naar het eindgerecht. Hij vraagt de chef ook om een "smaaktest" (testgevallen) voor elk recept te bedenken.
Het Probleem: Soms is de chef zo slecht in het bedenken van smaaktesten dat de test zelf kapot is (bijvoorbeeld: vragen om een negatief aantal eieren).
De Oplossing (Sample-Test Dual Filtering): De manager gebruikt een slimme truc genaamd Sample-Test Dual Filtering. Hij kijkt naar de 64 pogingen van de chef. Als de "smaaktest" van de chef 64 verschillende, chaotische resultaten oplevert (sommige ontploffen, sommige crasht), realiseert de manager zich: "Hé, deze test is kapot, niet de chef!" Hij gooit de slechte test weg en houdt de goede vast. Dit zorgt ervoor dat de manager niet in de war wordt gebracht door de eigen verwarring van de chef.

2. De Regels Stellen (De "Risicotolerantie")

Zodra de manager geoefend heeft, stelt hij de regels voor de echte wereld.

Het Doel: De manager wil ervoor zorgen dat als hij zegt "Ga aan de slag en kook", er een zeer grote kans is dat de chef zal slagen.
De Wiskunde (Vereenvoudigd): De manager gebruikt een statistische methode genaamd "Multiple Hypothesis Testing". Stel je voor dat de manager een lijst heeft met 1.000 verschillende "stopborden" (drempels). Hij test ze allemaal tegen de oefendata om de specifieke borden te vinden die garanderen dat de chef niet vaker dan, zeg maar, 20% van de tijd zal falen.
Het Resultaat: De manager maakt een strikte regelboek: "Als het zelfvertrouwen van de chef onder X ligt, of als de testresultaten te rommelig zijn, STOP."

3. De Echte Klus (Testfase)

Nu bestelt een echte klant een gerecht.

De chef probeert het een paar keer te koken (codevoorbeelden genereren).
De chef bedenkt een nieuwe smaaktest voor dit specifieke gerecht.
De Veiligheidsmanager voert opnieuw de Sample-Test Dual Filtering uit om eventuele kapotte tests op te ruimen.
De Manager controleert het regelboek.
- Scenario A: De pogingen van de chef zijn allemaal consistent en halen de tests. De Manager zegt: "Admit: Ga je gang, je kunt dit koken."
- Scenario B: De pogingen van de chef zijn overal anders, of de tests zijn te verwarrend. De Manager zegt: "Abstain: Het spijt me, ik kan je dit niet laten koken. Het is te riskant."

Waarom Dit Beter Is Dan Andere Methoden

Het paper vergelijkt hun methode met andere manieren om op fouten te controleren:

Statische Methoden (De "Grammatica-Politie"): Deze methoden lezen de code alleen om te zien of het er goed uitziet, zoals het controleren van spelling. Het paper toont aan dat dit nutteloos is voor code, omdat een zin perfect gespeld kan zijn maar nog steeds geen zin maakt (bijvoorbeeld: "De blauwe kleur at het getal").
Oude Uitvoeringsmethoden: Deze proberen de code uit te voeren, maar ruimen de slechte tests niet op. Ze raken vaak in de war door de eigen slechte testvragen van de chef en weigeren de chef te laten koken, zelfs als hij had kunnen slagen.

Het Resultaat: CODEREFUSER is veel beter in het weten wanneer "Ik weet het niet" moet worden gezegd. In tests verbeterde het de mogelijkheid om gevaarlijke taken op te sporen met ongeveer 26% ten opzichte van de beste bestaande methoden.

De Conclusie

Dit paper introduceert een manier om AI-coders veiliger te maken. In plaats van te wachten tot de AI een fout maakt en deze vervolgens te herstellen, fungeert dit systeem als een slimme supervisor die weet wanneer de AI boven zijn standje is. Het dwingt de AI om te zeggen: "Ik weet het niet," voordat het enige code genereert, waardoor het creëren van gebroken of gevaarlijke software wordt voorkomen.

Belangrijkste Leerpunt: Het is beter voor een AI om toe te geven dat hij een taak niet kan uitvoeren dan om er zelfverzekerd naast te zitten. CODEREFUSER leert de AI hoe hij die erkenning veilig en betrouwbaar kan maken.

Technische Samenvatting: Taak-Absentie voor Grootte Taalmodellen in Codegeneratie

Probleemdefinitie

Het artikel behandelt het kritieke probleem van hallucinatie in Grootte Taalmodellen (LLMs) toegepast op codegeneratie. Waar bestaand onderzoek grotendeels gericht is op steekproefhallucinatie (het detecteren van individuele codefragmenten die niet uitvoerbaar zijn of niet voldoen aan de eisen), identificeert dit werk een meer fundamentele bron van fouten: taakniveau-hallucinatie. Dit treedt op wanneer een LLM inherent onwaarschijnlijk is om een specifieke coderingstaak op te lossen vanwege ambiguïteit in de prompt of de inherente beperkingen van het model, ongeacht hoeveel steekproeven het genereert.

De auteurs formaliseren het probleem van Taak-Absentie: bepalen of een LLM een specifieke prompt voor codegeneratie moet weigeren om functioneel incorrecte code te voorkomen. Het doel is een weigeringsfunctie $r(x)$ te definiëren die taken identificeert waarbij de kans op het genereren van een correcte oplossing laag is, specifiek wanneer de metriek $H@k$ (de kans dat $k$ willekeurig gegenereerde steekproeven allemaal incorrect zijn) een door de gebruiker gedefinieerde risicotolerantie $\alpha$ overschrijdt.

Methodologie: CODEREFUSER

De voorgestelde aanpak, CODEREFUSER, is gebaseerd op het Learn Then Test (LTT)-kader en maakt gebruik van meervoudige hypothetestoetsing om rigoureuze, distributie-vrije theoretische garanties te bieden. De methode werkt in twee fasen:

1. Kalibratiefase

Constructie van de Kalibratieset: In tegenstelling tot standaard NLP-taken, bestaat de kalibratieset uit taakprompts gekoppeld aan orakeltestgevallen (waarheid).
Definitie van Toelatingsrisico: Het risico wordt gedefinieerd als de kans dat een taak wordt toegelaten (niet geweigerd) maar de LLM faalt om binnen $k$ pogingen een correcte oplossing te genereren ( $H@k$ ).
Scorefuncties: Om de syntactische diversiteit van semantisch equivalente code te hanteren, stellen de auteurs op uitvoering gebaseerde scorefuncties voor in plaats van statische linguïstische metrieken. Deze vertrouwen op het clusteren van code-steekproeven op basis van hun uitvoeringsoutput ten opzichte van testgevallen:
- Cluster Ratio (CR): Meet het aandeel steekproeven dat behoort tot de dominante semantische cluster (modelconsensus).
- Semantische Entropie (SE): Kwantificeert de onzekerheid van de taak door de diversiteit van de resulterende clusterdistributie te meten.
Selectie van Drempelwaarden: Met behulp van meervoudige hypothetestoetsing identificeert de methode een reeks geldige drempelwaarden ( $\Lambda_{valid}$ ) die garanderen dat het toelatingsrisico met hoge zekerheid ( $1-\delta$ ) onder de tolerantie $\alpha$ blijft.

2. Testfase

Dubbele Generatie: Voor een nieuwe testprompt genereert de LLM zowel codeoplossingen als bijbehorende testgevallen.
Sample-Test Dual Filtering (STDF): Een nieuw mechanisme om het probleem aan te pakken dat door de LLM gegenereerde testgevallen ongeldig of gebrekkig kunnen zijn.
- Foutenrate-filtering: Verwijdert testgevallen die wijdverspreide uitvoeringsfouten veroorzaken over de steekproefpopulatie.
- Output-diversiteitsfiltering: Verwijdert testgevallen die hoge semantische entropie induceren (wat wijst op ongedefinieerd gedrag of ongeldige invoer), terwijl de snoeiverhouding wordt beperkt om het weggooien van geldige tests te voorkomen.
Besluitvorming: De verfijnde testgevallen worden gebruikt om de code-steekproeven te clusteren. Het beslissing tot absentie wordt genomen door de gekalibreerde drempelwaarden toe te passen op de Cluster Ratio- of Semantische Entropie-scores. Als aan de criteria niet wordt voldaan, abstineert het model.

Belangrijkste Bijdragen

Formalisatie van Taak-Absentie: Het artikel introduceert en formaliseert het concept van taakniveau-absentie in codegeneratie, en onderscheidt dit van detectie van hallucinaties op steekproefniveau.
Theoretisch Gegarandeerd Kader: Het stelt een methode voor die is gebaseerd op meervoudige hypothetestoetsing en die een rigoureuze, distributie-vrije garantie biedt dat het risico van het accepteren van een "slechte" taak wordt beheerst onder een specifieke drempel.
Op Uitvoering Gebaseerde Scoremeting met STDF: De auteurs introduceren een scoreschema gebaseerd op runtime-uitvoeringsresultaten en een Sample-Test Dual Filtering (STDF)-mechanisme. Dit stelt het systeem in staat om te opereren zonder afhankelijkheid van orakeltestgevallen tijdens de testfase, terwijl het de ruis die wordt geïntroduceerd door door het model gegenereerde tests wordt gemitigeerd.
Minimale Afhankelijkheid van Orakels: De aanpak vereist orakeltestgevallen alleen tijdens de kalibratiefase, waardoor het praktisch toepasbaar is voor implementatie waar grondwaarheidstests niet beschikbaar zijn voor elke nieuwe taak.

Experimentele Resultaten

De auteurs hebben CODEREFUSER geëvalueerd op de HumanEval- en MBPP-benchmarks met behulp van vier open-source code-LLMs (DeepSeek-Coder, Qwen2.5-Coder, CodeLlama en WizardCoder).

Prestaties: CODEREFUSER presteerde aanzienlijk beter dan bestaande baselines, waaronder statische methoden (PPL, NLI, CLM) en op uitvoering gebaseerde detectoren (CodeHalu, Execution). Gemiddeld behaalde het een absolute verbetering van 26,5% in precisie van absentie ten opzichte van de beste bestaande concurrent.
Statisch versus Op Uitvoering Gebaseerd: Experimenten toonden aan dat statische methoden (zelfs met een verviervoudigde steekproefgrootte) de prestaties van op uitvoering gebaseerde methoden niet konden evenaren, wat bevestigt dat het uitvoeren van code noodzakelijk is voor nauwkeurige risicoschatting in dit domein.
Overdraagbaarheid: De methode toonde robuuste overdraagbaarheid en behield hoge prestaties wanneer kalibratie werd uitgevoerd op MBPP en testen op HumanEval, ondanks de distributiewisseling.
Risicobeheersing: Empirische resultaten bevestigden de theoretische garanties, waarbij bleek dat het toelatingsrisico in meer dan 90% van de gevallen succesvol onder de doel-tolerantie $\alpha$ werd gehouden. Bovendien bereikte CODEREFUSER deze risicobeheersing met een aanzienlijk lagere abstentiegraad (minder geldige taken weigeren) in vergelijking met basismethoden zoals PPL.

Betekenis en Claims

Het artikel claimt vooruitgang te vertegenwoordigen richting bewijsbaar correcte LLM-codegeneratie. Door modellen in staat te stellen met vertrouwen "Ik weet het niet" te zeggen voor taken die ze onwaarschijnlijk zullen oplossen, biedt de aanpak een betrouwbare mechanisme voor veiligere en robuustere codegeneratie.

De auteurs erkennen bescheiden beperkingen:

Distributiewisseling: De theoretische garantie rust op de aanname dat kalibratie- en testdata onafhankelijk en identiek verdeeld (i.i.d.) zijn. Hoewel experimenten robustheid tonen tegenover matige verschuivingen, kunnen extreme afwijkingen in de echte wereld de garanties verzwakken.
Determinisme: De methode gaat ervan uit dat taken deterministische oplossingen hebben. Het is mogelijk niet direct van toepassing op niet-deterministische of interactieve softwaresystemen.
Taalbereik: De huidige evaluatie is beperkt tot Python; de effectiviteit in andere talen (bijv. C, Java) met verschillende geheugen- of pointerkenmerken vereist verdere evaluatie.

Het werk stelt geen nieuwe toepassingen voor, maar eerder een fundamentele veiligheidslaag die kan worden geïntegreerd in bestaande workflows voor codegeneratie om het risico van hallucinatie te mitigeren.