Technische Samenvatting: Nauwkeurigheid, Stabiliteit en Betrouwbaarheid bij Herhaalde Uitvoeringen van Large Language Models bij Deterministische Programmeringstaken

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor tekstgeconditioneerde taken met deterministische specificaties, zoals programmasynthese, waarbij correctheid binair is en wordt geverifieerd door uitvoerbare testsuites. Conventionele evaluatiebenchmarks (bijv. HumanEval, MBPP) rapporteren doorgaans een enkele-uitvoering nauwkeurigheid of "uiteindelijke succes"-metrieken zoals pass@k, die meten wat de capaciteit van een model is om ten minste één correcte oplossing te produceren binnen $k$ pogingen.

Veel praktische implementatiescenario's vereisen echter stabiliteit: het vermogen van een model om consistente, correcte uitkomsten te produceren bij herhaalde aanroepen onder identieke taakbeschrijvingen. Hoewel recent werk herhaalde sampling heeft geframed als een vorm van inference-time compute, blijft de systematische relatie tussen correctheid en stabiliteit — specifiek de kloof tussen de gemiddelde succesratio van een model per run en de betrouwbaarheid zonder retries — onderbelicht. Dit artikel adresseert de vraag hoeveel geobserveerde nauwkeurigheid vertaalt naar betrouwbaar, retry-vrij gedrag, met name voor systemen met een gemiddelde prestatie waar de variabiliteit het hoogst is.

Methodologie

Experimentele Opzet

De studie maakt gebruik van een gecureerde dataset van 100 deterministische programmeerproblemen (LeetCode-stijl), geselecteerd op basis van recentheid om contaminatie uit historische trainingsdata te minimaliseren. De dataset bevat 20 Easy, 50 Medium en 30 Hard problemen, verspreid over diverse algoritmische onderwerpen. Alle problemen zijn zelfstandig, vereisen geen externe netwerktoegang en worden beoordeeld via een vaste, deterministische testharness.

Modellen en Configuratie

De evaluatie beslaat 16 modellen uit vijf provider-families (OpenAI, Anthropic, Google, Qwen, DeepSeek), inclusief zowel standaard als redeneringsgespecialiseerde architecturen (bijv. o4-mini, DeepSeek-R1).

• Protocol: Elk model wordt geëvalueerd onder twee prompt-templates (DETAILED en MINIMAL) met 5 herhaalde runs ($R=5$) per probleem.
• Parameters: De meeste modellen gebruiken $T=0.3$ en $top\_p=0.9$ om realistische stochastische decoding te simuleren. Redeneringsgespecialiseerde modellen en specifieke API-beperkingen (bijv. o4-mini) vereisen aangepaste token-budgetten of vaste interne decoding-regimes.
• Totaal aantal instanties: Het experiment levert 16.000 evaluatie-instanties op.

Metrieken

Het artikel introduceert een evaluatieprotocol voor herhaalde runs met drie primaire metrieken:

1. Run-Level Pass Rate (RLPR): De waarschijnlijkheid dat een willekeurige enkele aanroep slaagt.
   $$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$$
2. Perfect Stability Rate (PSR): Het fractie van taken waarvoor het systeem slaagt op alle $R$ runs zonder dat een retry nodig is.
   $$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$$
   Noot: PSR is wiskundig equivalent aan pass@k bij $k=R$ met een "alle-succes"-drempelwaarde, maar wordt hier geïnterpreteerd als een maatstaf voor deployment-betrouwbaarheid in plaats van een maatstaf voor capaciteit.
3. Average Variance (AV): Een maat voor instabiliteit op probleemniveau, die de variantie in succes-waarschijnlijkheden over taken heen vastlegt.

Belangrijkste Resultaten

De Nauwkeurigheid–Stabiliteitskloof

De studie vindt een sterke correlatie tussen RLPR en PSR ($r = 0.985$), maar RLPR overschat consequent de productie-betrouwbaarheid.

• Omvang van de kloof: Het verschil $\Delta = RLPR - PSR$ is niet uniform over modellen en bereikt een maximum van 17,8 procentpunten (geobserveerd bij Gemini 2.5 Flash onder de DETAILED prompt).
• Mid-Accuracy Peak: De kloof is het grootst voor systemen met een gemiddelde prestatie. Modellen met intermediaire succes-waarschijnlijkheden vertonen de hoogste variantie (Bernoulli-variantie is gemaximaliseerd bij $p \approx 0.5$), wat leidt tot significante discrepanties tussen gemiddeld succes en perfecte stabiliteit.
• Rangschikking-omkeringen: RLPR en PSR kunnen leiden tot uiteenlopende model-rangschikkingen. Bijvoorbeeld: GPT-4.1 presteert beter dan GPT-4.1-mini in RLPR (59,6% vs. 58,4%), maar presteert slechter in PSR (47,5% vs. 50,0%), gedreven door een grotere nauwkeurigheid–stabiliteitskloof in de eerste.

Variabiliteit op Probleemniveau

• Polarisatie versus Instabiliteit: Modellen zoals Qwen-Turbo hebben een lage AV omdat hun uitkomsten gepolariseerd zijn (ofwel consequent slagen, ofwel alle runs falen), wat resulteert in een kleine kloof ondanks een lage algehele nauwkeurigheid. Daartegenover staan modellen zoals Gemini 2.5 Flash met een hoge AV, wat duidt op substantiële variabiliteit van trial-naar-trial.
• Foutmodi: De dominante foutmodus is "Wrong Answer" (58%), gevolgd door "Time Limit Exceeded" (27%). Instabiliteit is niet alleen gekoppeld aan algoritmische inconsistentie, maar ook aan implementatie-fragiliteit (timeouts/runtime errors), die toeneemt met de moeilijkheidsgraad van het probleem.

Prompt-sensitiviteit en Architectuur

• Prompt-effecten: Prompt-sensitiviteit is model-afhankelijk in plaats van uniform. Hoewel de meeste modellen kleine verschillen laten zien (<3 pp) tussen DETAILED en MINIMAL prompts, vertonen sommige (bijv. Claude Sonnet 4.5) omkeringen. Geen enkele template domineert uniform, en de statistische significantie voor prompt-effecten was over het algemeen laag gezien de steekproefomvang.
• Redeneringsarchitecturen: De studie onderzoekt of redeneringsgespecialiseerde modellen (bijv. Chain-of-Thought) systematisch kleinere nauwkeurigheid–stabiliteitskloven vertonen. De resultaten zijn heterogeen: DeepSeek-R1 vertoont een betere-dan-verwachte stabiliteit, terwijl anderen (QwQ-Plus, Gemini 2.5 Flash+Think) grotere kloven vertonen. Een permutatietest ($p=0.97$) vond geen systematisch voordeel voor redeneringsarchitecturen in deze steekproef, hoewel de analyse wordt opgemerkt als ondergepowered vanwege het kleine aantal redeneringsmodellen.

Betekenis en Claims

Het artikel betoogt dat analyse van herhaalde-run stabiliteit een noodzakelijke aanvulling is op conventionele nauwkeurigheidsrapportage voor deterministische tekstgeconditioneerde generatie.

1. Voorbij Capaciteitsmeting: Terwijl pass@k de capaciteit van een model meet om uiteindelijk een oplossing te vinden, meet PSR de deployment-betrouwbaarheid (consistentie). Deze twee metrieken richten zich op verschillende downstream-zorgen en kunnen aanzienlijk uiteenlopen, vooral bij systemen met een gemiddelde nauwkeurigheid.
2. Onthullen van Verborgen Risico's: Alleen vertrouwen op RLPR kan substantiële instabiliteit maskeren. Een model met een run-level pass rate van 60% maar slechts 47% perfecte stabiliteit laat een significant deel van de taken achter in een "retry-vereist" regime, wat onacceptabel kan zijn in geautomatiseerde workflows die reproduceerbaar gedrag verwachten.
3. Methodologische Bijdrage: Het artikel vestigt PSR en Average Variance (AV) als eersteklas evaluatietargets. Het demonstreert dat de nauwkeurigheid–stabiliteitskloof een observeerbaar, model-specifiek en praktisch significant fenomeen is dat niet louter afgeleid kan worden van gemiddelde prestaties.

De auteurs concluderen dat hoewel hun bevindingen specifiek zijn voor single-turn Python-codegeneratie, het framework een cruciaal perspectief biedt voor het begrijpen van betrouwbaarheid in reproduceerbaarheidsgevoelige workflows. Zij waarschuwen dat hun resultaten snapshot-specifiek zijn voor de geëvalueerde API-versies en geen rekening houden met bredere orchestratie of multi-turn afhankelijkheden.