Technische Samenvatting: DevIntent - In hoeverre schendt door LLM gegenereerde code de intentie van de ontwikkelaar?

Probleemstelling

Huidige benchmarks voor Large Language Models (LLMs) in codegeneratie vertrouwen primair op test-succespercentages (bijv. Pass@1) om functionele correctheid te meten. Deze metriek is echter onvoldoende omdat het niet in staat is om intentie-schendingen te detecteren. Een LLM kan code genereren die alle expliciet vermelde testgevallen doorstaat, terwijl het tegelijkertijd impliciete beperkingen of de niet-uitgesproken intenties van de ontwikkelaar schendt. Eerdere studies hebben gevallen gedocumenteerd waarin modellen specificaties "bespelen" of overfitten op assert-statements, maar dit paper richt zich op een afzonderlijke foutmodus: outputs die legitiem de genoemde tests passeren, maar er niet in slagen de werkelijke, niet-uitgesproken intentie van de ontwikkelaar te vatten.

Methodologie

1. Definitie van de metriek: Intent Violation Rate (IVR)

De auteurs introduceren de Intent Violation Rate (IVR) om het gat tussen succes bij de genoemde tests en de intentie van de ontwikkelaar te kwantificeren.
$$IVR = \frac{n_{violating}}{n_{stated\_passed}}$$
Waarbij:

• $n_{stated\_passed}$ het aantal gegenereerde oplossingen is dat alle zichtbare, genoemde tests doorstaat.
• $n_{violating}$ de subset is van die oplossingen die ten minste één verborgen beperkingstest niet doorstaan.

IVR wordt alleen berekend over oplossingen die de initiële publieke tests passeren; oplossingen die de genoemde tests niet passeren, worden uitgesloten. De gerapporteerde IVR is het gemiddelde van de per-probleem IVR's.

2. Constructie van de benchmark

De studie maakt gebruik van een pilot-benchmark van 49 algoritmische specificatieproblemen afgeleid van HumanEval+.

• Prompt Engineering: Voor elk probleem werd een "gold prompt" (bevat de volledige specificaties) handmatig ontdaan van specifieke beperkingen om een ambigue prompt te creëren. De LLM ontvangt alleen deze ambigue prompt en de genoemde test ($C1$).
• Verborgen Beperkingen: De beperkingen die uit de gold prompt zijn verwijderd, werden gecodeerd als verborgen beperkingstests ($C2–C4$). Deze tests vangen de niet-uitgesproken intentie op (bijv. sorteervolgorde, specifieke datatypen) die de LLM niet expliciet wordt gevraagd te voldoen.
• Validatie: Een leakage-audit zorgde ervoor dat de genoemde tests ($C1$) zonder kennis van de verborgen beperkingen kunnen worden doorstaan. Canonieke oplossingen werden gedraaid tegen de volledige suite om te bevestigen dat de verborgen beperkingen voldoen aan correcte code (wat een IVR van 0 oplevert voor de grondwaarheid).

3. Evaluatiepipeline

De evaluatie omvatte twee modellen: Claude Sonnet 4.6 en OpenAI GPT 4.1.

• Generatie: Er werden 5 oplossingen per probleem gegenereerd met een temperatuur van 1.0 en een limiet van 1024 tokens.
• Executie: Oplossingen werden gedraaid tegen de genoemde tests ($C1$) en de verborgen tests ($C2–C4$) met een timeout van 5 seconden per test.
• Analyse: De per-probleem IVR werd berekend, en de algehele IVR werd bepaald als het gemiddelde over de problemen met ten minste één oplossing die de genoemde test doorstond. Betrouwbaarheidsintervallen werden geschat via bootstrap-resampling.

Belangrijkste Resultaten

Hoge succespercentages bij genoemde tests versus hoge intentie-schending

Ondanks een hoge functionele correctheid op de genoemde tests, vertoonden beide modellen significante intentie-schendingen:

• Claude Sonnet 4.6: Doorstond de genoemde tests in 94,3% van de gevallen, maar schond de intentie in 54,5% van de gekwalificeerde problemen (95% BI: 40,4–68,1%).
• OpenAI GPT 4.1: Doorstond de genoemde tests in 92,7% van de gevallen, maar schond de intentie in 63,5% van de gekwalificeerde problemen (95% BI: 50,0–76,5%).

Systematische, bimodale distributie

De distributie van de per-probleem IVR bleek bimodaal te zijn, waarbij deze clusterde nabij 0 (geen schendingen) of 1 (alle oplossingen schenden de intentie).

• 95,7% van de gekwalificeerde problemen voor Sonnet 4.6 en 91,3% voor GPT 4.1 vielen in deze extreme categorieën.
• Dit geeft aan dat intentie-schendingen systematisch en bijna deterministisch zijn, in plaats van willekeurige steekproefruis. Modellen vatten de verborgen beperkingen ofwel volledig, ofwel helemaal niet.

Hiërarchie van beperkingen

De foutpercentages op verborgen beperkingen daalden monotoon van $C2$ naar $C4$. Voor beide modellen had de eerste verwijderde beperking ($C2$) het hoogste foutpercentage (ongeveer 43–44%), wat suggereert dat de eerste verwijderde beperking vaak het meest centraal staat voor de intentie van de taak.

Significantie en Claims

Het paper claimt dat standaard succespercentages de mate waarin door LLM gegenereerde code de intentie van de ontwikkelaar weerspiegelt, aanzienlijk overschatten.

• Meetgat: Functionele correctheid-metrieken zijn onvoldoende voor implementatie omdat ze scenario's niet kunnen detecteren waarin code de testsuite doorstaat maar een impliciete aanname schendt.
• Systematisch Falen: De bimodale aard van de resultaten suggereert dat huidige modellen de intentie niet willekeurig "raden"; ze vatten de intentie ofwel correct, of negeren deze volledig, wat leidt tot een hoog risico op stille fouten in ambigue prompts.
• Diagnostisch Instrument: IVR dient als een relatieve diagnose om het gat tussen de genoemde specificaties en de werkelijke intentie te meten, wat de noodzaak benadrukt voor evaluatiemethoden die verder gaan dan eenvoudige test-succespercentages.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Omvang: De benchmark is beperkt tot 49 Python algoritmische problemen; de resultaten kunnen verschillen voor andere talen of typen taken (bijv. datatransformatie).
• Modelspecificiteit: Evaluatie was beperkt tot Sonnet 4.6 en GPT 4.1 bij een enkele temperatuur.
• Statistische Kracht: De kleine steekproefomvang ($N=49$) en overlappende betrouwbaarheidsintervallen betekenen dat het verschil tussen de schendingspercentages van de twee modellen niet statistisch onderscheidbaar is.
• Subjectiviteit: De definitie van "intentie" rust op het oordeel van een enkele annotator over de gold prompt, wat de metriek normatief maakt in plaats van een absolute grondwaarheid.
• Data-contaminatie: Aangezien deze benchmark is afgeleid van de publieke HumanEval+-dataset, bestaat het risico dat modellen de originele problemen tijdens de training zijn tegengekomen, hoewel de auteurs opmerken dat de ambigue prompts handmatig zijn geconstrueerd om dit te mitigeren.