Towards Comprehensive Benchmarking Infrastructure for LLMs In Software Engineering

Technische Samenvatting: Naar een Uitgebreide Benchmarking-infrastructuur voor LLM's in Software Engineering

Probleemstelling
De snelle vooruitgang van Large Language Models voor code (LLMc) heeft de ontwikkeling van betrouwbare evaluatiemethodologieën ingehaald. Huidige benchmarking-praktijken lijden aan drie primaire tekortkomingen die kritieke hiaten in modelrobuustheid, interpreteerbaarheid, eerlijkheid, efficiëntie en real-world bruikbaarheid verhullen:

1. Gebrek aan gespecialiseerde SE-datasets: Bestaande datasets richten zich voornamelijk op geïsoleerde broncode en natuurlijke taalparen, waarbij essentiële software engineering (SE) attributen zoals repository-structuren, build-configuraties, commit-geschiedenissen en projectspecifieke beperkingen worden genegeerd. Dit resulteert in benchmarks die syntactische correctheid beoordelen, maar falen in het evalueren van integratie in echte softwareprojecten.
2. Overmatige afhankelijkheid van ML-centrische metrieken: Evaluatie is zwaar gekanteld naar nauwkeurigheid, precisie, recall en tekstgelijkenis (bijv. BLEU, CodeBLEU). Deze metrieken slagen er niet in semantische equivalentie, gedeeltelijke correctheid of kritieke SE-dimensies zoals onderhoudbaarheid, beveiliging en bias te vangen. Bovendien suggereert de "SWE-bench Illusie" dat een hoge nauwkeurigheid vaak voortkomt uit het memoriseren van gecureerde oplossingen in plaats van werkelijk redeneren.
3. Afwezigheid van gestandaardiseerde datapijplijnen: De constructie van benchmarks is gefragmenteerd, waarbij elke onderzoeksgroep de infrastructuur vanaf nul opbouwt. Dit leidt tot inconsistente preprocessing, ongedocumenteerde data-provenance, wijdverspreide datacontaminatie (lekkage) en excessieve resource-overhead (vaak 50–75% van de onderzoeksinspanning), wat reproduceerbaarheid en eerlijke vergelijking belemmert.

Methodologie
Om deze uitdagingen aan te pakken, hanteerden de auteurs een tweeledige methode die een uitgebreide survey van bestaande benchmarks combineert met inzichten uit een toegewijde community workshop.

• Survey: De auteurs analyseerden benchmarks over vijf kern-SE-taken: codegeneratie, bugfixing, detectie van kwetsbaarheden, testgeneratie en agent/multi-task systemen. Ze bekeken prominente benchmarks (bijv. HumanEval, SWE-bench, LiveCodeBench, SecBench) gepubliceerd in vooraanstaande conferenties (ICSE, ASE, FSE, TOSEM).
• Workshop Synthese: De auteurs synthetiseerden perspectieven van experts uit de gemeenschap om hiaten in de infrastructuur te identificeren en vereisten te formuleren voor een volgende generatie evaluatie-ecosysteem.
• Framework Voorstel: Op basis van deze bevindingen stelden de auteurs BEHELM (Benchmarking for Holistic Evaluation of Large Language Models for Code) voor, een verenigde infrastructuur ontworpen om scenario-specificatie en multi-metriek evaluatie te standaardiseren.

Belangrijkste Bijdragen

1. Synthese van Infrastructuurkloven: Het artikel identificeert en articuleert drie kritieke barrières voor betrouwbare LLMc-evaluatie: de afwezigheid van SE-rijke datasets, de dominantie van smalle ML-metrieken en het gebrek aan gestandaardiseerde data engineering pijplijnen.
2. Uitgebreide Benchmark Survey: Een gedetailleerde analyse van huidige benchmarks onthult hun beperkingen, zoals datacontaminatie in "live" benchmarks (bijv. LiveCodeBench die een prestatiedaling van 15–20% vertoont op data na de cutoff) en het onvermogen van single-reference oplossingen om intentie-gebaseerde evaluatie te vangen.
3. Het BEHELM Framework: De auteurs introduceren een holistische infrastructuur bestaande uit twee onderling verbonden componenten:
   • Software Scenario Specificatie: Een systematische taxonomie die evaluatiecontexten deelt in vijf eigenschappen: Software Taak (bijv. bugfixing, vertaling), Programmeertaal, Input Granulariteit (bijv. tokens, snippets), Output Granulariteit (bijv. methoden, bestanden) en I/O Type (bijv. code-naar-code, tekst-naar-code).
   • Multi-Metriek Evaluatie: Een verschuiving van single-metric assessment naar een multidimensionale ruimte die zes dimensies evalueert: Nauwkeurigheid, Efficiëntie, Interpreteerbaarheid, Bias, Eerlijkheid en Robuustheid.
4. Community Aanbevelingen: Concrete richtlijnen voor het ontwikkelen van duurzame benchmarking-infrastructuur, inclusief geautomatiseerde pijplijnen voor data-extractie en deduplicatie, strikte provenance tracking en gestandaardiseerde rapportageformaten.

Resultaten en Bevindingen
De studie benadrukt specifieke empirische observaties uit het onderzochte landschap:

• Contaminatie Effecten: Modellen vertonen een significante prestatieverslechtering (15–20%) op taken die zijn uitgebracht na hun trainings-cutoffs, wat aangeeft dat huidige hoge scores vaak memorisatie reflecteren.
• Taak Moeilijkheidsverschillen: Terwijl topmodellen >70% behalen op gecureerde subsets zoals SWE-bench Verified, daalt de prestatie naar ~23% op SWE-bench Pro (gebruikmakend van private, recente code), wat een kloof onthult tussen benchmark-prestaties en real-world capaciteiten.
• Beperkingen van Metrieken: Test-passing rates zijn onvoldoende proxies voor codekwaliteit; bijvoorbeeld vond SecBench dat zelfs de beste LLM's slechts 49% succes behaalden in het genereren van proof-of-concept exploits en 34% in het patchen van kwetsbaarheden.
• Inefficiëntie: De handmatige last van datasetcreatie is onhoudbaar, waarbij studies laten zien dat tot 75% van de projecttijd wordt verbruikt door data engineering in plaats van nieuwe evaluatiemethoden.

Significantie en Claims
Het artikel claimt dat de voorgestelde BEHELM-infrastructuur significant is omdat het het veld weg beweegt van gefragmenteerde, smalle evaluaties naar een verenigd, reproduceerbaar en realistisch beoordelingskader.

• Holistische Beoordeling: Door de definitie van scenario's te ontkoppelen van metriekselectie, stelt BEHELM onderzoekers in staat om modellen over diverse software engineering contexten en kwaliteitsdimensies tegelijkertijd te beoordelen.
• Vermindering van Overhead: Het framework beoogt de drempel voor het creëren van nieuwe benchmarks te verlagen door gestandaardiseerde tools te bieden voor het profileren, vergelijken en debuggen van modelgedrag, waardoor de redundante inspanning die momenteel in datasetconstructie wordt besteed, wordt verminderd.
• Toekomstbestendigheid: De infrastructuur is ontworpen om de evaluatie van moderne AI-ondersteunde ontwikkeltools (bijv. agentic systems) te ondersteunen via procesbewuste, mijlpaal-gebaseerde assessments in plaats van binaire success/failure metrieken.

De auteurs positioneren BEHELM niet als een enkele statische benchmark, maar als een community-gestuurde hub bedoeld om bestaande inspanningen te verenigen en de creatie van nieuwe, hoogwaardige evaluaties te faciliteren die de complexiteit van real-world software engineering weerspiegelen.