Technische Samenvatting: Voorbij het Slagingspercentage: Een Multilinguale, Executie-gegronde Evaluatie van Open Code LLM's

Probleemstelling

Huidige evaluaties van Large Language Models (LLM's) voor codegeneratie vertrouwen vaak op compacte, eenzijdige taalbenchmarks en geaggregeerde slagingspercentages (bijv. pass@1). De auteurs stellen dat deze samenvattingen kritieke dimensies van modelprestaties verhullen, waaronder variabiliteit over programmeertalen, probleemfamilies, moeilijkheidsgraden en specifieke foutmodi. Bovendien slagen standaard benchmarks er vaak niet in om onderscheid te maken tussen functionele correctheid en code-onderhoudbaarheid (statische kwaliteit), en leggen ze de aard van fouten (bijv. syntactische versus semantische fouten) niet adequaat vast. Deze studie adresseert dit gat door een grootschalige, executie-gegronde evaluatie voor te stellen die de volledige generatie-naar-executie pipeline behoudt om trade-offs te onthullen die verborgen blijven door single-metric leaderboards.

Methodologie

Corpus Constructie

De auteurs hebben een benchmark geconstrueerd met behulp van 2.707 gratis (niet-premium) LeetCode-problemen om reproduceerbaarheid te garanderen. Het corpus beslaat 12 programmeertalen: C, C++, C#, Go, Java, JavaScript, PHP, Python, Ruby, Scala, Swift en TypeScript.

• Schaal: De studie genereerde 325.343 probleem–model–taal jobs.
• Modellen: Negen toegankelijke of open-weight instruction-tuned code LLM's werden geëvalueerd, waaronder Yi-Coder-9B-Chat, Qwen2.5-Coder-14B-Instruct, Gemma-2-27B-IT, DeepSeek-Coder-V2-Lite-Instruct, Codestral-22B-v0.1, Phi-4, Meta-Llama-3.1-8B-Instruct, Granite-3.1-8B-Instruct en Stable-Code-Instruct-3B.
• Data Preservatie: Elke job behoudt de prompt, het ruwe modelantwoord, de geëxtraheerde code, de officiële LeetCode uitvoering uitkomst en statische analyse signalen.

Executie Pipeline

1. Prompting: Taalspecifieke prompts werden gegenereerd voor elk probleem–taal paar.
2. Inference: Een gedistribueerde server-backed job queue beheerde de inference over lokale modellen (gehost op LM Studio) om de schaal van 300k+ jobs aan te kunnen. Operationele fouten (netwerk, timeouts) werden onderscheiden van model-fouten en afgehandeld via retries.
3. Code Extractie: Post-processing extraheerde codeblokken uit model-antwoorden (specifiek triple-quoted secties) om te dienen als kandidaat-submissions.
4. Evaluatie: Een Python automatisering script gebruikte Selenium om de geëxtraheerde code in te dienen bij de officiële LeetCode judge. Resultaten werden opgehaald via GraphQL, waarbij statussen zoals Accepted, Wrong Answer, Compile Error, Runtime Error, Time Limit Exceeded en Memory Limit Exceeded werden vastgelegd.
5. Metric Selectie: Voor elke job werd de "beste" submission geselecteerd op basis van de hoogste correctie ratio, gevolgd door de accepted status, en vervolgens de timestamp.
6. Statische Analyse: De studie voerde statische analyse (linting) uit op geaccepteerde code-artefacten met behulp van ast-grep en Pylint-achtige tools om codekwaliteit, complexiteit en naleving van conventies te meten.

Belangrijkste Bijdragen

1. Grootschalig Archief: De constructie van een reproduceerbaar executie-archief dat 2.707 problemen, 12 talen en 9 modellen beslaat, met meer dan 325.000 executie jobs.
2. Multidimensionale Evaluatie: Een evaluatiekader dat verder gaat dan geaggregeerde scores door prestaties te analyseren over gemiddelde correctheid, accepted-problem coverage, difficulty slices, language slices, topic categorieën, pairwise head-to-head uitkomsten en failure compositie.
3. Gecombineerde Functionele en Statische Analyse: Een gelijktijdige analyse van functionele correctheid en statische kwaliteit, wat aantoont dat executie succes en onderhoudbaarheid-georiënteerde signalen aanzienlijk kunnen divergeren.

Experimentele Resultaten

Model Prestaties en Rankings

• Gemiddelde Correctheid: Yi-Coder-9B-Chat behaalde de hoogste gemiddelde correctheid (23,64%), gevolgd door Qwen2.5-Coder-14B-Instruct en Gemma-2-27B-IT. Echter, alle modellen blijven ver onder de menselijke acceptatie baseline van 57,2%.
• Problem Coverage: Qwen2.5-Coder-14B-Instruct vertoonde de breedste accepted-problem coverage (77,1%), wat aangeeft dat het een grotere variëteit aan verschillende problemen kan oplossen, zelfs als de gemiddelde job-level correctheid iets lager is dan die van Yi-Coder.
• Difficulty Slices: Rankings zijn slice-afhankelijk. Yi-Coder leidt bij easy en medium problemen, terwijl Qwen2.5-Coder-14B-Instruct het beste presteert op hard problemen.
• Language Slices: Modelkwaliteit is niet taal-invariant. Yi-Coder is het sterkst in conventionele gecompileerde/scripting targets (C++, Java, Python), Qwen is competitief in C#, JavaScript, Ruby, Swift en TypeScript, en Gemma is het sterkst in Go en Scala.
• Topic Slices: Rankings variëren per onderwerp. Bijvoorbeeld, Yi-Coder is consistent sterk in high-frequency topics zoals arrays en strings, terwijl Qwen leidt in specifieke algoritmische categorieën.

Failure Analyse

• Dominante Foutmodus: Compile errors maken 63,25% uit van de niet-geaccepteerde best submissions. Dit geeft aan dat de meerderheid van de fouten optreedt voordat semantische correctheid getest kan worden.
• Failure Shift: Sterkere modellen hebben de neiging om het aandeel van compile errors te verminderen, waardoor relatief meer runtime of wrong-answer gevallen zichtbaar worden.
• Partiële Correctheid: Het archief laat zien dat wrong-answer gevallen geconcentreerd zijn in de zero-percent passed-testcase bin, met beperkt bewijs van intermediaire "near-miss" successen.

Statische Kwaliteit vs. Functionele Correctheid

• Divergentie: Functionele correctheid en statische netheid meten verschillende eigenschappen. Stable-Code-Instruct-3B behaalde de sterkste structurele kwaliteitsscore ondanks de zwakste functionele prestaties.
• Lint Pass Rates: Gemma-2-27B-IT behaalde de hoogste all-language lint pass rate. Daarentegen passeerde Qwen, ondanks sterke executie prestaties, minder vaak de lint regels.
• Issue Types: De statische analyse last wordt gedomineerd door warnings (141.376 bevindingen) en conventies (45.537 bevindingen) in plaats van harde errors. Veelvoorkomende conventie issues zijn using-namespace-std (48% van de conventie bevindingen) en wildcard imports. Refactor bevindingen waren zeldzaam (402 totaal).

Betekenis en Claims

De paper claimt dat de betekenis ervan ligt in het demonstreren dat multilinguale, artefact-preserverende evaluatie trade-offs onthult die verborgen blijven door single-language of single-metric leaderboards.

• Geen Enkele Beste Model: De "beste" model hangt volledig af van de downstream doelstelling. Als het doel gemiddelde correctheid is, is Yi-Coder-9B-Chat te prefereren; als het doel de coverage van unieke problemen of succes op harde taken is, is Qwen2.5-Coder-14B-Instruct superieur; als het doel het minimaliseren van de review last via schone code is, kunnen Gemma-2-27B-IT of Stable-Code-Instruct-3B te prefereren zijn.
• Betrouwbaarheidsgaten: De studie benadrukt dat huidige open modellen ver verwijderd zijn van menselijk niveau van betrouwbaarheid, waarbij compile errors de primaire barrière tot executie vormen.
• Evaluatie Rigor: De auteurs stellen dat code-model evaluatie de executie, taal dekking, foutmodi en kwaliteit signalen moet preserveren. Het vertrouwen op een enkele score reduceert prestatie dimensies die cruciaal zijn voor praktische deployment, zoals of een model onderhoudbare code produceert of faalt vanwege syntaxis in plaats van logica.

De paper concludeert dat het evalueren van code-genererende LLM's een verschuiving vereist van het identificeren van een enkele "winnaar" naar het begrijpen van hoe en waarom modellen slagen of falen binnen diverse programme contexten.