Technische Samenvatting: SWE-Pro – Het evalueren van LLM's op het gebied van real-world softwareprestatieoptimalisatie

1. Probleemstelling

Softwareprestatieoptimalisatie is een complexe, handmatige engineeringtaak die wordt gekenmerkt door multidimensionale afwegingen (bijv. runtime versus geheugen) en een hoge gevoeligheid voor uitvoeringsomgevingen en invoerdata. Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in codegeneratie en het oplossen van bugs, blijft hun vermogen om repository-niveau prestatieoptimalisatie uit te voeren ondergewaardeerd.

Bestaande benchmarks lijden aan kritieke beperkingen:

• Oversimplicatie: Veel benchmarks richten zich op geïsoleerde functies (bijv. EffiBench) of een enkele vaste workload, waardoor de complexiteit van echte repositories niet wordt gevangen.
• Deficiënties in metrieken: Huidige frameworks evalueren vaak alleen runtime, waarbij het geheugengebruik en de cruciale tijd-geheugenafwegingen die inherent zijn aan optimalisatie worden genegeerd.
• Meetruis: Benchmarks vertrouwen vaak op fixed-count profiling of grofmazige aggregatie, wat inzicht in invoerspecifieke prestatieschommelingen vertroebelt en het onmogelijk maakt om echte winst te onderscheiden van omgevingsruis (bijv. scheduler jitter, cache-effecten).
• Gebrek aan statistische rigor: Er is een tekort aan benchmarks die adaptieve meting en statistische convergentie inzetten om te waarborgen dat geobserveerde verbeteringen reproduceerbaar en significant zijn.

Consequentelijk blijft het onduidelijk of huidige LLM's de complexiteit van real-world softwareprestaties kunnen navigeren om robuuste, expert-niveau optimalisaties te leveren.

2. Methodologie: De SWE-Pro Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs SWE-Pro, een benchmark op repository-niveau afgeleid van 102 door experts geschreven optimalisaties over drie grote open-source Python data-bibliotheken: pandas, scikit-learn, en xarray.

2.1 Dataset Constructie

• Bron: Samengevoegde Pull Requests (PR's) die expliciet als prestatiegerelateerd zijn gelabeld, met erkenning door ontwikkelaars in changelogs of documentatie.
• Validatie: Handmatige inspectie waarborgt dat taken reproduceerbaar zijn, Python-broncodewijzigingen omvatten en genuante optimalisatiekansen vertegenwoordigen.
• Gold Standard: Elke taak bevat de originele codebase, de door de expert geschreven patch (Gold Solution), en een set geparametriseerde preatest.

2.2 Geparametriseerde Prestatietests

In tegen tegenstelling tot benchmarks die vaste inputs gebruiken, hanteert SWE-Pro gestructureerde parameter sweeps om prestaties over diverse workloads te evalueren.

• Dimensies: Tests variëren in inputgrootte, datadistributie (schaarsheid, duplicatie), datatype en functie-specifieke configuraties.
• Workload Generatie: Parameters worden gecombineerd via Cartesiaanse producten om executieconfiguraties te genereren (mediaan 6 per taak, tot 24), wat ervoor zorgt dat de evaluatie vastlegt hoe optimalisaties generaliseren of verslechteren onder verschillende condities.

2.3 Betrouwbaar Meetframework

SWE-Pro implementeert een hiërarchische, ruis-bewuste meetpijplijn om statistische significantie te waarborgen:

1. Adaptieve Iteraties: In plaats van vaste aantallen bepaalt het systeem dynamisch het aantal meetiteraties op basis van de convergentie van de 90% Relative Confidence Interval Width (RCIW).
2. Hiërarchische Ruismodellering: Het framework houdt rekening met zowel within-container ruis (scheduler jitter, interpreter gedrag) als across-container ruis (CPU-status, geheugenlayout) door workloads uit te voeren in verse Docker-instanties.
3. Signaal-ruisverhouding (SNR): Alleen prestatie-effecten die een ruis-bewuste drempel overschrijden (SNR ≥ 2) worden geaccepteerd als geldige verbeteringen.
4. Multi-metriek Evaluatie: De benchmark volgt drie onderscheidende metrieken:
   • Runtime: Executietijd.
   • Peak Memory: Maximale geheugenvoetafdruk boven de baseline.
   • Time-Weighted Memory Usage (TWMU): Een genormaliseerde metriek die de geheugendruk over de tijd integreert, berekend als $\bar{m}_{twmu} = \frac{1}{T} \int_0^T \max(0, m(t) - m_{base}) dt$.

2.4 Experimentele Opstelling

• Modellen: Zes state-of-the-art LLM's werden geëvalueerd (GPT-5.2, Claude Sonnet 4.6, Kimi K2.5, Gemini 3.1 Flash-Lite, GLM-5.1, MiniMax M2.7).
• Context Strategieën: Modellen werden getest onder twee retrieval-condities:
  • Oracle: De grondwaarheid relevante bestanden worden direct verstrekt.
  • BM25: Context die is opgehaald via lexicale gelijkenis uit de repository-status.
• Evaluatie Metrieken: Patch succes (toepasbaarheid), Functionele Correctheid (test pass rate), en de Performance Improvement Factor (IF) berekend via het harmonisch gemiddelde over de workloads.

3. Belangrijkste Resultaten

De evaluatie onthult een substantiële kloof tussen de huidige LLM-capaciteiten en expert-level engineering.

3.1 Patch Generatie en Correctheid

• Toepasbaarheid: Onder Oracle retrieval varieerden de patch-applicatiepercentages van 30,4% tot 97,1%.
• Correctheid: Zelfs wanneer patches succesvol werden toegepast, waren de functionele correctheidspercentages aanzienlijk lager (18,6% tot 79,4%), wat aangeeft dat LLM's vaak syntactisch geldige maar semantisch incorrecte code produceren.
• Impact van Retrieval: De prestaties daalden verder onder BM25 retrieval, wat de gevoeligheid van optimalisatietaken voor de kwaliteit van de context benadrukt.

3.2 Prestatieoptimalisatie Capaciteiten

• Runtime: LLM's worstelen met het produceren van meetbare runtime-winsten.
  • Slechts een klein deel van de taken passeerde de SNR-filter (bijv. Gemini 3.1 Flash behaalde een pass rate van 12,7% onder Oracle).
  • De omvang van de verbetering was verwaarloosbaar (bijv. een IF van 1,27× voor het beste model) vergeleken met de Gold Solution's 15,48× versnelling.
  • Sommige modellen (bijv. GPT-5.2) produceerden patches die de prestaties verslechterden (IF < 1).
• Geheugenoptimalisatie: LLM's toonden bijna niet-bestaande capaciteiten in geheugenoptimalisatie.
  • Verbeteringen in Peak Memory en TWMU waren grotendeels afwezig bij alle modellen.
  • De enige opmerkelijke uitzondering was Claude Sonnet 4.6 op een enkele instantie (PR #7578), die hoge IF's behaalde (16,61× peak memory, 28,82× TWMU onder Oracle; 3556× TWMU onder BM25). Echter, deze winsten generaliseerden niet over de taken.
  • In contrast behaalde de Gold Solution een 171,31× reductie in peak memory en een 619,22× reductie in TWMU over 55,9%–70,6% van de taken.

3.3 Workload Gevoeligheid

De studie benadrukt dat de effectiviteit van optimalisatie sterk afhankelijk is van de input. Bijvoorbeeld, in PR #7578 schaalden runtime-verbeteringen significant met de inputgrootte (tot 100× voor grote workloads), terwijl geheugenverbeteringen stabiel bleven. Dit onderstreept de noodzaak van geparametriseerde testen, aangezien benchmarks met een enkele input deze kritieke gedragingen zouden missen.

4. Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. SWE-Pro Benchmark: Een uitgebreide, op repository-niveau gebaseerde benchmark bestaande uit 102 door experts gevalideerde taken met geparametriseerde tests, ontworpen om de evaluatie te verschuiven naar robuuste, workload-bewuste analyse.
2. Ruis-bewust Framework: Een nieuwe meetpijplijn die gebruikmaakt van adaptieve sampling, hiërarchische ruismodellering en SNR-filtering om echte optimalisatie te onderscheiden van omgevingsvariantie.
3. Multi-metriek Inzicht: De eerste systematische studie die gezamenlijk runtime, peak memory en TWMU evalueert, wat onthult dat huidige LLM's er niet in slagen om effectief door tijd-geheugenafwegingen te navigeren.
4. Empirisch Bewijs van Beperkingen: De bevindingen leggen een "substantiële kloof" bloot waarbij huidige LLM's, ondanks hun uitmuntende prestaties in lokale logische verfijningen, er niet in slagen om meetbare efficiëntiewinsten te leveren in real-world scenario's. De primaire bottleneck wordt geïdentificeerd als niet de omvang van de potentiële verbeteringen, maar de betrouwbare identificatie van de optimalisatiekansen zelf.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn in specifieke, geïsoleerde gevallen, ze momenteel niet beschikken over de systematische redenering die vereist is voor expert-niveau prestatie-engineering, wat toekomstig onderzoek naar modellen die in staat zijn om complexe, multi-metrische optimalisatielandschappen te navigeren, noodzakelijk maakt. De SWE-Pro dataset en het evaluatiepijplijn worden open-source beschikbaar gesteld om verdere onderzoek door de gemeenschap te ondersteunen.