Technische Samenvatting: SWE-RPG

Probleemstelling

Door Large Language Models (LLM)-gestuurde programmeeragenten aangedreven codingsagents worden steeds vaker ingezet om bestaande code-repositories aan te passen voor taken zoals het oplossen van bugs en het implementeren van functies. De huidige repository-niveau benchmarks (bijv. SWE-bench, RACE-bench) evalueren succes echter primair op basis van een binaire "pass/fail"-uitkomst van de uiteindelijke code-patch tegen uitvoerbare tests. Deze resultaatgerichte benadering faalt in het diagnosticeren van waarom een agent faalt. Het oplossen van een repository-niveau probleem vereist een complexe keten van onderling afhankelijke redeneringen: het herstellen van expliciete en impliciete vereisten, het formuleren van een repository-gegronde implementatieplanning, en het vertalen van die planning naar correcte code. Een definitief oordeel kan niet onderscheiden of een falen voortkwam uit een misverstand van impliciete beperkingen, het genereren van een onvoldoende plan, of het schrijven van incorrecte code. Bij consequent ontbreken de huidige benchmarks de granulariteit om specifieke knelpunten te identificeren of duidelijke richtingen te bieden voor het verbeteren van agent-architecturen.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs SWE-RPG (Software Engineering - Requirement, Planning, and Generation), een uniforme benchmark die is ontworpen voor stage-bewuste evaluatie.

Constructie van de Benchmark

SWE-RPG bestaat uit 163 taken afgeleid van 31 volwassen Python- en Java-repositories, inclusclusief 113 bugfixes en 50 functie-toevoegingen. Het constructieproces omvatte strikte filtering van meer dan 2.000 initiële issue-PR paren om reproduceerbare omgevingen en stabiele tests te garanderen.

De kerninnovatie van SWE-RPG is de constructie van gevalideerde Ground-Truth (GT) referenties voor tussenliggende stadia, niet alleen voor de uiteindelijke patch:

1. Requirement Clarification GT: Omdat initiële issue-beschrijvingen vaak cruciale implementatiedetails weglaten, hebben de auteurs een door experts geleide taxonomie ontwikkeld van zes categorieën (Functionele Intentie, Business Semantiek, Technische Context, Interface/Protocol Specificaties, Code Structuur/Conventies, en Data-Structuur Semantiek). Met behulp van synthese-agents en validatie tegen repository-bewijs (issues, PR's, patches), genereerden zij "Clarification GT's" in de vorm van QA-paren die impliciete vereisten expliciet maken.
2. Implementation Planning GT: De auteurs synthetiseerden actiegerichte, stapsgewijze implementatieplannen. Cruciaal is dat deze plannen werden gevalideerd op reproduceerbaarheid: een coderingsagent kreeg de opdracht om code te genereren vanuit elke planstap om te verifiëren of dit een functioneel equivalente sub-patch produceerde ten opzichte van de gouden referentie. Dit waarborgt dat de plannen voldoende zijn om correcte code te generen.
3. Code Generation GT: De uiteindelijke gouden patches werden rechtstreeks afkomstig van gemerged Pull Requests, waarbij taak-relevante tests dienen als de uitvoerbare oracle.

Evaluatieprotocol

De benchmark evalueert agents over drie stadia:

• Requirement Clarification: Het meten van het vermogen van de agent om impliciete vereisten te herstellen tegenover de Clarification GT.
• Planning: Het beoordelen of het gegenereerde plan van de agent de noodzakelijke stappen en beperkingen dekt die in de Planning GT zijn gedefinieerd.
• Code Generation: Het evalueren van de uiteindelijke patch tegen uitvoerbare tests.

Voor onopgeloste runs wijst een LLM-judge de fout toe aan het vroegst afwijkende stadium (Requirement, Planning, Code Generation, of Others), wat een retrospectieve diagnose van de trajectorie van de agent mogelijk maakt.

Belangrijkste Bijdragen

1. SWE-RPG Benchmark: De eerste benchmark op repository-niveau die de capaciteiten van agents gezamenlijk evalueert in het verhelderen van vereisten, implementatieplanning en code-generatie, ondersteund door gevalideerde tussenliggende ground truths.
2. Stage-Aware Diagnose: Een protocol dat verder gaat dan binaire succesmetrieken door fouten toe te schrijven aan specifieke redeneerstadia, waardoor onderscheidende capaciteitsknelpunten aan het licht komen.
3. Uitgebreide Evaluatie: Een evaluatie van drie populaire coderingsagent-frameworks (Claude Code, Codex, OpenCode) gekoppeld aan zes recente LLM-backends (waaronder Claude-Sonnet-5, GPT-5.6-Terra, en MoonshotAI-Kimi-K3).

Resultaten

De evaluatie van 18 agent-LLM configuraties leverde de volgende bevindingen op:

• Lage algehele resolutie: Het gemiddelde resolutiepercentage over alle configuraties was slechts 31,5%, wat wijst op aanzienlijke uitdagingen in het oplossen van problemen op repository-niveau, zelfs voor state-of-the-art modellen.
• Herstel van impliciete vereisten als de primaire bottleneck: Analyse van fouttoewijzing toonde aan dat 46,7% van alle agent-runs primair faalde tijdens de verheldering van vereisten of de implementatieplanning. Specifiek verantwoord het herstel van impliciete vereisten voor 24,5%–46,0% van de agent-runs, wat het meest voorkomende foutpunt maakt.
• Stadium-specifieke foutprofielen: Verschillende agent-LLM koppelingen vertoonden verschillende foutmodi. Bijvoorbeeld, terwijl sommige configuraties vergelijkbare algehele resolutiepercentages hadden, varieerden hun onderliggende foutdistributies aanzienlijk (bijv. hoge requirement-fout versus hoge code-generatie-fout).
• Dekkingshiaten: Analyse van agent-trajecten tegenover de GT toonde aan dat hoewel agents betrouwbaar de hoge-niveau intentie dekten, hun dekking aanzienlijk daalde voor implementatie-gerichte categorieën zoals interface-contracten, codestructuur en data-semantiek. Evenzo nam de planning-dekking af van het identificeren van doellocaties naar het specificeren van implementatiebenaderingen en validatiestrategieën.

Betekenis en Claims

Het artikel beweert dat SWE-RPG een noodzakelijke verschuiving biedt van resultaatgerichte evaluatie naar procesbewuste diagnose. Door gevalideerde referenties te bieden voor tussenliggende redeneerstappen, stelt de benchmark onderzoekers in staat om:

• Te identificeren dat de primaire barrière voor succes niet noodzakelijkerwijs code-generatie is, maar het herstel van impliciete vereisten en het formuleren van voldoende implementatieplannen.
• Verder te gaan dan "black box" foutanalyse om specifieke stadia aan te wijzen waar agents afwijken van correcte trajecten.
• Te suggereren dat toekomstige verbeteringen in coderingsagents de prioriteit moeten geven aan het herstel van impliciete beperkingen en plan-naar-code reproduceerbaarheid, in plaats van enkel te focussen op de uiteindelijke patch-generatie.

De auteurs nemen een bescheiden standpunt in door beperkingen te erkennen, zoals de huidige focus op Python en Java, het gebrek aan mens-in-de-lus interactie-evaluatie, en de afhankelijkheid van LLM-ondersteunde constructie van ground truths (hoewel handmatig gevalideerd). Zij positioneren SWE-RPG als een fundamentele stap naar meer interpreteerbare en effectieve coderingsagenten op repository-niveau.