When Prompt Under-Specification Improves Code Correctness: An Exploratory Study of Prompt Wording and Structure Effects on LLM-Based Code Generation

1. Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden gebruikt voor codegeneratie, is de correctheid van hun output sterk afhankelijk van de formulering van de prompt. Eerdere onderzoek heeft vastgesteld dat onvoldoende specificatie (ontbrekende of verzwakte vereisten) en kleine prompt-perturbaties de prestaties over het algemeen verslechteren. Deze bevindingen zijn echter grotendeels afgeleid van benchmarks met minimale specificatie (zoals HumanEval, MBPP), die korte, single-docstring-beschrijvingen met beperkte structurele redundantie bevatten.

De auteurs veronderstellen dat deze benchmarks de broosheid van LLM's overdrijven. In real-world scenario's bevatten taken vaak rijke, meervoudig gelaagde specificaties (beschrijvingen, beperkingen, I/O-formaten, voorbeelden). Het artikel onderzoekt of de negatieve effecten van onvoldoende specificatie ook bestaan in structureel rijke omgevingen, en of, tegen-intuïtief, het verwijderen van specifieke prompt-elementen de codecorrectheid daadwerkelijk kan verbeteren door misleidende retrieval-cues te verstoren.

2. Methodologie

Benchmarks

De studie vergelijkt twee benchmarks met verschillende structurele eigenschappen:

• HumanEval (HE): 164 eenvoudige Python-problemen met korte docstrings. Ontbreekt van afzonderlijke beperkingen, gestructureerde I/O of voorbeelden. Vertegenwoordigt "minimale specificatie".
• LiveCodeBench (LCB): 1.055 competitieve programmeerproblemen (LeetCode, Codeforces, AtCoder) met volledige prozabeschrijvingen, expliciete beperkingen, meerdere voorbeeld I/O-paren en specificaties voor het formaat. Vertegenwoordigt "rijke specificatie".

Modellen

De studie evalueert 10 LLM's in drie categorieën:

• Klein Open-Source (6–7B): CodeLlama-7B, DeepSeek-Coder-6.7B, Qwen2.5-Coder-7B.
• Groot Open-Source (15–34B): StarCoder2-15B, Codestral-22B, CodeLlama-34B, DeepSeek-Coder-33B, Qwen2.5-Coder-32B.
• Propriëtair/Redenerend: GPT-5-mini, Claude Sonnet 4.

Prompt-mutaties

De auteurs hebben systematisch 3.651 gemuteerde prompts gegenereerd met drie transformatietypes:

1. Lexicale Vagheid (LV): Vervanging van precieze termen/identifiers door bredere synoniemen (bijv. "sort" $\to$ "arrange", delimiter $\to$ filler).
2. Onvoldoende Specificatie (US): Verwijdering van één expliciete beperking (bijv. waardebereiken, sorteervolgorde-regels, beschrijvingen van randgevallen) terwijl de prompt grammaticaal geldig blijft.
3. Syntaxis en Opmaak (SF): Introductie van oppervlakkige ruis (typfouten, inspringingsfouten, delimiter-problemen) zonder de semantiek te wijzigen.

Evaluatiemetrics

• Pass@1: De primaire metric voor correctheid.
• Transitie-analyse: Het bijhouden van Pass$\to$Fail-transities (verslechtering) en Fail$\to$Pass-transities (verbetering) om onderscheid te maken tussen uniforme verslechtering en tegenwerkende krachten.
• Attention-analyse: Onderzoek naar model-attentionpatronen om te begrijpen welke prompt-regio's beslissingen sturen.
• Root-cause-analyse: Handmatige inspectie van gevallen waar mutaties de correctheid verbeterden om linguïstische mechanismen te identificeren.

3. Belangrijkste Bijdragen en Bevindingen

Bevinding 1: Robuustheid is Structureel, Niet Architecturaal

• HumanEval: Alle mutatietypes veroorzaakten significante prestatiedalingen (bijv. US-mutaties veroorzaakten een gemiddelde daling van -11,8%).
• LiveCodeBench: Dezelfde mutaties resulteerden in een netto-impact van bijna nul (bijv. US-mutaties veroorzaakten slechts een daling van -0,9%).
• Conclusie: Robuustheid is geen intrinsieke eigenschap van modelgrootte of architectuur. Het wordt bepaald door de promptstructuur. Rijke specificaties bieden redundantie (beperkingen, voorbeelden, I/O) die fungeren als fallback-signalen wanneer delen van de prompt worden verslechterd. Attention-kaarten bevestigen dat modellen op LCB zwaar vertrouwen op deze aanvullende componenten, terwijl HE-modellen bijna uitsluitend vertrouwen op de beschrijving.

Bevinding 2: Onvoldoende Specificatie Kan Correctheid Verbeteren

In tegenstelling tot de aanname dat "meer specificatie altijd beter is", bleek uit de studie dat onvoldoende specificatie de codecorrectheid op LCB vaak verbetert.

• Op LCB was de verhouding van Fail$\to$Pass tot Pass$\to$Fail-transities bijna 1:1 (0,99) voor LV-mutaties, wat betekent dat verbeteringen verslechteringen compenseerden.
• Op HumanEval domineerden verslechteringen sterk (Verhouding 0,40).
• Consistente Verbeteringen: De studie identificeerde 47 specifieke LCB-taken waar het verwijderen van beperkingen of vagheid consistent de pass-rates verbeterde over meerdere modellen.

Bevinding 3: Mechanismen van Verbetering (Verstoring van Retrieval-cues)

Handmatige analyse onthulde dat originele prompts vaak "retrieval-cues" bevatten die modellen verankeren aan geheugenopgeslagen maar onjuiste oplossingen. Onvoldoende specificatie verstoort deze cues, waardoor het model gedwongen wordt te redeneren vanuit de probleemstructuur.

• Lexicale Vagheid (LV):
  • Variabelen hernoemen: Het verbreken van over-aangepaste associaties (bijv. het hernoemen van s naar seq voorkomt het ophalen van een specifiek verkeerd algoritme).
  • Generalisatie van terminologie: Het vervangen van domeinspecifieke zelfstandige naamwoorden (bijv. "currency") door generieke termen (bijv. "resource") voorkomt dat het model domeinspecifieke heuristieken toepast (zoals achterwaartse financiële scans) en moedigt algemeen algoritmisch redeneren aan (zoals voorwaartse DP).
• Onvoldoende Specificatie (US):
  • Verwijdering van beperkingen: Specifieke beperkingen (bijv. $C_i \le 10^9$) prikkelen modellen vaak om geoptimaliseerde shortcuts te gebruiken (bijv. formules voor de diameter van een ster-graf) die falen bij algemene gevallen. Het verwijderen van de beperking dwingt het model om een algemeen, correct algoritme te gebruiken (bijv. two-BFS).
  • I/O-priming: Beperkingen triggeren soms onjuiste patronen voor input-parsing (bijv. LeetCode-stijl input().split() versus competitieve programmeer stdin-formaten). Het verwijderen ervan dwingt correcte parsing af.

4. Betekenis en Implicaties

• Herwaardering van Benchmarks: Minimale benchmarks zoals HumanEval kunnen de broosheid van LLM's overschatten omdat ze de redundantie missen die voorkomt in real-world taken. Ze slagen er niet in het "compensatie-effect" vast te leggen waarbij structurele rijkdom promptfouten neutraliseert.
• Prompt Engineering: De studie daagt het dogma uit dat prompts maximaal precies moeten zijn. In sommige gevallen leidt over-specificatie (specifiek het opnemen van misleidende beperkingen of domeinspecifieke identifiers) tot stilzwijgende misleiding van modellen. Beoefenaars moeten zich bewust zijn dat het verwijderen van bepaalde cues soms betere resultaten kan opleveren.
• Modelontwikkeling: De gevoeligheid voor retrieval-cues wijst op een generalisatiekloof die alleen door modelgrootte niet wordt opgelost. Zelfs state-of-the-art redenerende modellen (GPT-5, Claude) vallen ten prooi aan deze cues, wat wijst op de noodzaak van trainingsstrategieën die structureel redeneren prioriteren boven patroonherkenning.
• Toekomstig Onderzoek: Het artikel roept op tot benchmarks die de structurele rijkdom van real-world ontwikkeling weerspiegelen en moedigt onderzoek aan naar de specifieke linguïstische triggers die retrieval-gebaseerde fouten veroorzaken.

Samenvatting

Deze verkennende studie toont aan dat de impact van prompt-onvoldoende specificatie niet uniform is. Hoewel het de prestaties verslechtert op minimale benchmarks, bieden rijke specificaties in real-world taken redundantie die deze effecten neutraliseert. Verrassend kan onvoldoende specificatie de codecorrectheid verbeteren door misleidende retrieval-cues te verstoren die modellen ertoe brengen te vertrouwen op geheugenopgeslagen, onjuiste patronen. De auteurs concluderen dat robuustheid een functie is van promptstructuur, en dat "minder meer" is in specifieke contexten waar precisie leidt tot overfitting.