Technische Samenvatting: DELULU – Een Geverifieerde Meertalige Benchmark voor Detectie van Codehallucinaties in Fill-in-the-Middle-taken

Probleemstelling

Grote Taalmodellen (LLMs) die worden gebruikt voor codegeneratie produceren regelmatig hallucinaties bij Fill-in-the-Middle (FIM)-taken. Dit zijn aanvullingen die syntactisch geldig en semantisch plausibel zijn, maar feitelijk onjuist, zoals verzonnen API-methoden, ongeldige parameters, niet-gedefinieerde variabelen of niet-bestaande imports. Hoewel deze fouten vaak een oppervlakkige code-review doorstaan, introduceren ze latente runtime-bugs die zich pas onder specifieke uitvoeringsomstandigheden manifesteren.

Huidige benchmarks voor codegeneratie (zoals HumanEval en MBPP) richten zich voornamelijk op generatie op functieniveau vanuit natuurlijke taalspecificaties, of missen uitvoeringsverificatie voor FIM-taken. Bestaande FIM-benchmarks (zoals HumanEval Infilling en SAFIM) zijn vaak beperkt tot Python, maken geen onderscheid tussen fouttypen en missen uitvoeringsgebaseerde ground truth om te verifiëren dat hallucinaties daadwerkelijk runtime-fouten veroorzaken. Bovendien is er geen systematische evaluatie van of frontier-LLMs deze hallucinaties betrouwbaar kunnen detecteren wanneer ze optreden als code-reviewers.

Methodologie: De DELULU Benchmark

De auteurs introduceren DELULU, een geverifieerde meertalige benchmark bestaande uit 1.951 FIM-steekproeven over 7 programmeertalen (Python, Java, TypeScript, Go, Rust, C#, C++) en 4 categorieën hallucinaties. De benchmark is opgebouwd via een rigoureuze, vijfstaps adversariele pijplijn die is ontworpen om moeilijkheid, correctheid en uitvoeringsverificatie te waarborgen:

1. Generatie van Hallucinaties: Met CLAUDE SONNET als enige generator creëert het systeem "gehallucineerde" varianten van gouden aanvullingen die zijn ontgonnen uit echte GitHub-repositories. De generator is beperkt tot het wijzigen van precies één element (methodenaam, parameter, variabele of import), terwijl de rest van de code identiek blijft, zodat de hallucinatie plausibel is en op het oppervlak niet van echte code te onderscheiden.
2. Beoordeling door Meerdere Model-Judges: Vier diverse frontier-LLMs (GPT-5.1, GPT-5.2, GPT-5.2-CODEX, GLM-4.7) evalueren de paren onafhankelijk.
3. Iteratief Adversariaal Sampling: De pijplijn analyseert meningsverschillen tussen de judges en gebruikt op embedding gebaseerde clustering om nieuwe, semantisch vergelijkbare codevoorbeelden te ontginnen die lijken op de faalmodi van de judges. Deze lus draait drie iteraties, waarbij progressief moeilijkere steekproeven aan het licht komen naarmate de nauwkeurigheid van de judges in de loop van de tijd afneemt.
4. Selectie op Basis van Moeilijkheid: Steekproeven worden gescoord op basis van hun vermogen om judges voor de gek te houden. Alleen steekproeven die moeilijk genoeg zijn om ten minste één judge voor de gek te houden (of die leiden tot overmatige afwijzing van gouden code) worden behouden.
5. Uitvoeringsverificatie op Basis van Docker: Dit is het cruciale onderscheidende kenmerk. Elke steekproef wordt verpakt in een zelfstandige Docker-container.
   • De gouden aanvulling moet compileren en draaien zonder fouten.
   • De gehallucineerde aanvulling moet een specifieke, verifieerbare runtime-fout produceren die overeenkomt met zijn categorie:
     • Methode: AttributeError
     • Parameter: TypeError
     • Niet-gedefinieerde Variabele: NameError
     • Import: ImportError
   • Een door CLAUDE SONNET ondersteunde correctielus lost afhankelijkheidsproblemen op om succesvolle verificatie te waarborgen.
6. Review door Menselijke Experts: Een panel van drie menselijke experts beoordeelt de Docker-geverifieerde steekproeven om resterende bias, triviale gevallen of labelfouten te verwijderen, wat resulteert in de uiteindelijke dataset van 1.951 steekproeven.

Belangrijkste Bijdragen

1. Taxonomie van Hallucinaties in Vier Categorieën: Een gestructureerde taxonomie waarbij elke categorie (Methode, Parameter, Niet-gedefinieerde Variabele, Import) correspondeert met een onderscheiden, verifieerbare runtime-foutklasse, wat uitvoeringsgebaseerde ground truth mogelijk maakt.
2. Adversariele Cureringspijplijn: Een nieuw vijfstapsproces dat echte code koppelt aan gehallucineerde tegenhangers, triviale gevallen filtert via multi-model-probing en uitvoeringsgebaseerde verificatie waarborgt.
3. Uitvoeringsgeverifieerde Meertalige Dataset: 1.951 steekproeven over 7 talen, elk verpakt als een zelfstandige Docker-container met drie aanroepmodi (verifieer gouden, verifieer gehallucineerd, verifieer patch).
4. Uitgebreide Evaluatie: Een evaluatie van 11 open-weight FIM-modellen uit 5 families (Qwen2.5-Coder, CodeLlama, DeepSeek-Coder-V2, StarCoder2) variërend van 0,5B tot 32B parameters.
5. Onderzoek naar Detectie door Frontier-Judges: Een evaluatie van 8 frontier-LLMs die optreden als code-reviewers om hallucinaties te detecteren, waarbij aanzienlijke gaten in detectiecapaciteiten aan het licht komen.

Resultaten

Prestaties bij Generatie

• Schalingsgrenzen: Het sterkste model, Qwen2.5-Coder-32B, behaalde slechts 84,5% pass@1 op de 950 unieke FIM-contexten. Dit geeft aan dat zelfs bij 32B parameters modellen falen bij ongeveer één op de zeven unieke contexten.
• Consistentie tussen Families: De moeilijkheid is inherent aan de taak en niet specifiek voor een model-familie. Geen enkel model over een familie heen overschreed 0,77 Edit Similarity. Zelfs het beste model over families heen (DeepSeek-Coder-V2-Lite-Instruct) bleef 1,8 pass@1-punten achter bij het beste Qwen-model.
• Typen Hallucinaties: Import-hallucinaties waren consequent de moeilijkste categorie over alle modelgroottes en talen heen (bijvoorbeeld 77,1% pass@1 voor Qwen-32B bij imports versus >85% bij andere typen), wat suggereert dat het detecteren van nep-imports specifieke ecosysteemkennis vereist en niet alleen lokale patroonvoltooiing.
• Instruction Tuning: Instruction tuning verbeterde het "stop"-gedrag (Exact Match) aanzienlijk, maar had minimale impact op de onderliggende kennis die nodig is om hallucinaties van identifiers te vermijden (Edit Similarity en CodeBLEU bleven vergelijkbaar tussen base- en instruct-modellen).

Prestaties bij Detectie

• Onopgeloste Detectie: Zelfs het sterkste judge-model, Claude-4.5-Opus, behaalde slechts 92,1% both-correct accuracy (correct accepteren van gouden code en correct afwijzen van gehallucineerde code).
• Detectiegat: Kleinere judges presteerden aanzienlijk slechter (bijvoorbeeld GPT-4o-mini op 52,3%), wat een capaciteitsbereik van 40 punten vaststelt.
• Import-Bottleneck: Detectie van import-hallucinaties bleef de moeilijkste taak voor alle judges (83,4% voor Opus), wat bevestigt dat het onderscheid maken tussen echte en nep-pakketnamen een aanhoudend capaciteitsgat is.
• Valse Negatieven: De primaire bottleneck voor judges was het afwijzen van gehallucineerde aanvullingen, niet het accepteren van gouden code.

Betekenis en Claims

Het artikel claimt dat DELULU een kritiek gat in code-evaluatie aanpakt door de eerste benchmark te bieden die gelijktijdig biedt:

1. Systematische categorisering van hallucinaties met fijnmazige typen.
2. Meertalige dekking die verder gaat dan Python.
3. Uitvoeringsgebaseerde verificatie die garandeert dat hallucinaties echte runtime-fouten produceren.
4. Adversariele moeilijkheidsgradatie die waarborgt dat de benchmark werkelijk uitdagend is.

De auteurs benadrukken dat de moeilijkheid die door DELULU aan het licht komt taakintrinsiek is en niet familiespecifiek, zoals blijkt uit de consistente faalpercentages over diverse modelarchitecturen. De resultaten suggereren dat het simpelweg schalen van modelparameters onvoldoende is om codehallucinaties op te lossen; gerichte interventies zoals curatie van trainingsdata en fine-tuning in de stijl van verifiers zijn waarschijnlijk noodzakelijk.

Het artikel positioneert DELULU niet alleen als een benchmark voor generatie, maar als een herbruikbaar hulpmiddel voor het evalueren van code-review- en verifiers-modellen, met de nadruk dat het vermogen om hallucinaties te detecteren momenteel een onopgelost probleem is, zelfs voor frontier-modellen. De benchmark wordt vrijgegeven als een test-only-artefact om contaminatie te voorkomen, waarbij de auteurs fine-tuning op de dataset expliciet afraden.