Defective Task Descriptions in LLM-Based Code Generation: Detection and Analysis

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor codegeneratie, maar hun prestaties zijn sterk afhankelijk van de aanname dat door de gebruiker verstrekte taakbeschrijvingen voldoende gedetailleerd en goed geformuleerd zijn. In de praktijk bevatten natuurlijke taalprompts vaak defecten zoals:

• Lexicale Vagheid (LV): Onnauwkeurige terminologie of synoniemen die de specificiteit verminderen.
• Onderspecificatie (US): Ontbrekende constraints, randgevallen of vereisten (bijvoorbeeld het weglaten van numerieke grenzen).
• Syntaxis en Opmaak (SF): Oppervlakkige ruis zoals typefouten, opmaakfouten of problemen met witruimte.

Deze defecten kunnen de correctheid van code drastisch verslechteren. Huidige evaluatiebenchmarks gebruiken vaak "schone" prompts, waardoor ze geen recht doen aan realistische scenario's waarin beschrijvingen imperfect zijn. Bovendien ontbreken er geautomatiseerde hulpmiddelen om deze defecten te detecteren voordat code wordt gegenereerd, en is het onduidelijk hoe verschillende modelgroottes of -architecturen met dergelijke defecten omgaan.

2. Methodologie

A. Datasetconstructie

De auteurs hebben een grootschalige dataset van 6.573 defecte taakbeschrijvingen samengesteld, afgeleid van drie gevestigde benchmarks:

1. HumanEval: Gestructureerde docstrings met getypeerde handtekeningen.
2. MBPP: Korte, informele natuurlijke taalbeschrijvingen.
3. LiveCodeBench: Competitieve programmeerproblemen met expliciete I/O-contracten en voorbeelden.

Strategie voor Defectinjectie:
Met behulp van gpt-5-mini hebben de auteurs systematisch originele beschrijvingen gemuteerd om drie defecttypes per taak te creëren:

• LV: Vervanging van specifieke termen door bredere synoniemen (bijvoorbeeld "sorteren" $\to$ "rangschikken") of hernoemen van identifiers.
• US: Verwijdering van precies één expliciete constraint (bijvoorbeeld een numerieke grens, sorteervolgorde-regel of een vereiste voor foutafhandeling).
• SF: Introductie van typefouten, delimiterfouten of inspringingsproblemen zonder de semantiek te veranderen.

Validatie:

• Geautomatiseerd: Een onafhankelijke LLM-rechter (Qwen2.5-Coder-32B) scoorde mutaties op naleving en natuurlijkheid.
• Handmatig: Drie onderzoekers verifieerden handmatig een gestratificeerd willekeurig monster (100 instanties), wat een hoge overeenkomst met de geautomatiseerde rechter bevestigde (97% naleving, 86% natuurlijkheid).

B. Experimentele Opstelling

• Geëvalueerde Modellen: 10 LLM's variërend van kleine open-source modellen (6–7B parameters) tot grote open-source modellen (15–34B) en state-of-the-art propriëtaire redeneringsmodellen (GPT-5-mini, Claude Sonnet 4).
• Metrics:
  • Codecorrectheid: Pass@1 (percentage keren dat de eerste gegenereerde oplossing de unit-tests haalt).
  • Defectdetectie: Macro-F1, Matthews Correlation Coefficient (MCC), Precisie en Recall.

C. Voorgestelde Oplossing: SpecValidator

De auteurs ontwikkelden SpecValidator, een lichtgewicht classifier ontworpen om defecten in taakbeschrijvingen te detecteren.

• Architectuur: Gebaseerd op Qwen2.5-Coder-1.5B.
• Trainingsregimes: Drie benaderingen vergeleken:
  1. Lineaire Probing: Training alleen van de classificatiekop op bevroren embeddings.
  2. LoRA Fine-tuning: Low-rank adaptatie (rank $r=16$) op attention-layers.
  3. Volledige Fine-tuning: Bijwerken van alle parameters.
• Baselines: Vergelijking met zero-shot en few-shot prompting van GPT-5-mini en Claude Sonnet 4.

3. Belangrijkste Bijdragen

1. Grootschalige Analyse: Een uitgebreide studie van 10 modellen over 3 benchmarks, die aantoont dat de impact van defecten wordt gedreven door het defecttype en de benchmarkstructuur in plaats van modelcapaciteit.
2. SpecValidator: Een zeer efficiënte, LoRA-fine-tuned classifier (1.5B model) die frontier-modellen overtreft in defectdetectie terwijl slechts 0,14% van de parameters wordt bijgewerkt.
3. Ontdekking van Real-World Defecten: Aangetoond dat SpecValidator kan generaliseren naar ongezette, real-world benchmarkbeschrijvingen, en succesvol latente "Onderspecificatie"-defecten identificeert in de ground truth van standaardbenchmarks (HumanEval, MBPP, LiveCodeBench).
4. Publieke Dataset: Publicatie van een dataset met 6.573 instanties van defecte taakbeschrijvingen ter ondersteuning van toekomstig onderzoek.

4. Belangrijkste Resultaten

A. Impact van Defecten op Codegeneratie (RQ1)

• Onderspecificatie (US) is het ernstigst: Het veroorzaakte dalingen in Pass@1 van 7,9% tot 15,3% over alle modellen en benchmarks heen. Zelfs state-of-the-art modellen (GPT-5-mini, Claude Sonnet 4) leden dalingen van ongeveer 9,7%. Geen enkel model was immuun.
• Lexicale Vagheid (LV) is gematigd: De impact varieerde per benchmark (tot een daling van 12,2% op HumanEval, maar slechts ongeveer 1,5–3,2% op MBPP). Grotere modellen (bijvoorbeeld Qwen2.5-32B) toonden betere veerkracht tegen LV.
• Syntaxis/Opmaak (SF) is verwaarloosbaar: Oppervlakkige ruis had een minimale impact (<3,7% daling), wat suggereert dat code-gespecialiseerde LLM's robuust zijn tegen typefouten.
• Benchmarkveerkracht: LiveCodeBench was bijna immuun voor alle defecten (delta's binnen ±2,0%). De auteurs schrijven dit toe aan de rijke contextuele verankering (expliciete I/O-voorbeelden), waardoor modellen ontbrekende constraints kunnen afleiden.
• Irrelevantie van Modelgrootte: Een grotere modelgrootte correleerde niet met betere robuustheid. De gevoeligheid werd bepaald door de beschrijvingsstructuur, niet door het aantal parameters van het model.

B. Prestaties bij Defectdetectie (RQ2)

• SpecValidator (LoRA) behaalde de beste prestaties: F1 = 0,804, MCC = 0,745.
• Baselines: GPT-5-mini (Zero-shot) en Claude Sonnet 4 presteerden slecht (F1 $\approx$ 0,47–0,52), wat aangeeft dat sterke codegeneratiecapaciteiten niet overdragen naar meta-redenering over promptkwaliteit in een zero-shot setting.
• Efficiëntie: De LoRA-aanpak (0,14% trainbare parameters) presteerde beter dan Volledige Fine-tuning (100% parameters), waarschijnlijk door overfitting in de laatste.
• Foutmodus: De primaire verwarring was tussen de klassen Clean en Onderspecificeerd, aangezien US-defecten geen positieve tekstuele sporen achterlaten (ze zijn grammaticaal correct maar missen informatie).

C. Generalisatie naar Real Prompts (RQ3)

• Wanneer toegepast op de originele "schone" beschrijvingen van de benchmarks, markeerde SpecValidator 83 van de 456 (18,2%) als defect (specifiek Onderspecificeerd).
• Validatie:
  • Deze gemarkeerde beschrijvingen resulteerden in een Pass@1 van bijna nul over alle 10 modellen (90,9% faalpercentage op MBPP, 98,0% op LiveCodeBench).
  • Handmatige inspectie van 33 gemarkeerde MBPP-gevallen bevestigde dat 72,7% echt onderspecificeerd was.
• Conclusie: Standaardbenchmarks bevatten latente defecten die codegeneratie aanzienlijk belemmeren, en SpecValidator kan deze detecteren.

5. Betekenis en Implicaties

• Hernieuwde Definitie van Robuustheid: De studie daagt het idee uit dat grotere modellen inherent robuuster zijn. In plaats daarvan is robuustheid een functie van de structuur van de taakbeschrijving (bijvoorbeeld aanwezigheid van I/O-voorbeelden).
• Kwaliteit van Benchmarks: De ontdekking van latente defecten in belangrijke benchmarks (zoals MBPP en LiveCodeBench) suggereert dat huidige evaluatiemetrics kunnen worden opgeblazen of misleidend zijn als ze geen rekening houden met promptkwaliteit.
• Praktische Tooling: SpecValidator biedt een rekenkundig goedkope, zeer nauwkeurige methode om prompts te auditen voordat code wordt gegenereerd, wat verspilde rekencapaciteit en mislukte implementaties voorkomt.
• Toekomstige Richtingen: Het artikel pleit voor het overstijgen van simpele perturbatiestudies naar gestructureerde analyse van specificatiedefecten en benadrukt de noodzaak van benchmarks met rijkere contextuele verankering om betrouwbare LLM-gebaseerde codegeneratie te waarborgen.