💻 computer science

Can Old Tests Do New Tricks for Resolving SWE Issues?

TestPrune is een volledig geautomatiseerde techniek die strategisch grote regressietestsets minimaliseert om LLM-gebaseerde bugreproductie en patchvalidatie te verbeteren, waardoor de oplospercentages voor problemen op SWE-Bench-benchmarks aanzienlijk stijgen met minimale API-kostendruk.

Oorspronkelijke auteurs: Yang Chen, Toufique Ahmed, Reyhaneh Jabbarvand, Martin Hirzel

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Chen, Toufique Ahmed, Reyhaneh Jabbarvand, Martin Hirzel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Te Veel Ruis, Te Weinig Signaal

Stel je voor dat je een detective bent die een misdaad probeert op te lossen in een enorme, chaotische stad (een groot softwareproject). Je hebt een gigantisch notitieboek met "regels" (de regression test suite) waarin staat: "Als je de Main Street afloopt, mag je niet door een auto worden aangereden." Deze regels zijn uitstekend om ervoor te zorgen dat de stad niet uit elkaar valt wanneer je kleine wijzigingen aanbrengt.

Echter, wanneer er een nieuwe, vreemde misdaad plaatsvindt (een nieuwe bug), moet de detective (een AI-agent) precies uitzoeken waar en hoe het moet worden opgelost. Het probleem is dat de stad duizenden regels heeft. Als je probeert ze allemaal te lezen om één specifieke misdaad op te lossen, raak je overweldigd. Het kost te veel tijd, te veel geld en de detective wordt afgeleid door regels over "Main Street", terwijl de misdaad eigenlijk op "Elm Street" is gepleegd.

In de wereld van software zijn deze "regels" tests. Huidige AI-tools proberen bugs op te lossen door de volledige bibliotheek met tests te lezen. Dit is traag, duur en vaak verwarrend, omdat de meeste van die tests niets te maken hebben met de specifieke bug waar het om gaat.

De Oplossing: TestPrune (De Slimme Bibliothecaris)

De auteurs van dit paper hebben een tool genaamd TestPrune ontwikkeld. Denk aan TestPrune als een super-slimme bibliothecaris die precies weet welke boeken je nodig hebt voor een specifiek onderzoeksonderwerp.

In plaats van de detective de volledige bibliotheek te geven, kijkt TestPrune naar de beschrijving van de misdaad (het issue report) en de plattegrond van de stad (de codebase). Vervolgens vraagt het een slimme AI (een Large Language Model) om te raden welke delen van de stad verdacht zijn. Zodra het de verdachte gebieden kent, scant het de bibliotheek met regels en pakt het slechts 9 tot 11 regels eruit die daadwerkelijk relevant zijn voor die specifieke misdaad.

Het gooit de duizenden irrelevante regels weg. Het is alsof je overstapt van het lezen van een encyclopedie van 10.000 pagina's naar het lezen van een perfecte, 3 pagina's tellende cheat sheet.

Hoe Het Werkt (De "Nieuwe Trucs")

Het paper toont aan dat deze "oude tests" (die al door mensen zijn geschreven) "nieuwe trucs" kunnen uitvoeren als je gewoon de juiste selecteert. TestPrune gebruikt twee hoofdstrategieën om AI te helpen bij het oplossen van bugs:

Het Misdaadtoneel Nieuw Leven Inblazen (Reproductie):
Voordat je een bug oplost, moet je bewijzen dat hij bestaat. De AI probeert een nieuwe test te schrijven die faalt op de kapotte code maar slaagt op de gerepareerde code.
- Zonder TestPrune: De AI raadt blindelings of probeert te veel oude regels te lezen, waardoor ze in de war raakt.
- Met TestPrune: De AI krijgt de specifieke "oude regels" aangereikt die het kapotte gebied bestrijken. Dit geeft de AI betere context, waardoor het een perfecte "misdaadtoneel-reproductie"-test kan schrijven.
- Resultaat: De AI wordt beter in het bewijzen dat de bug bestaat (een verbetering van 6,2% tot 9,0%).
De Reparatie Controleren (Validatie):
Zodra de AI een oplossing voorstelt, moet het ervoor zorgen dat de oplossing niets anders heeft kapotgemaakt.
- Zonder TestPrune: De AI voert duizenden tests uit. Als een test faalt, kan de AI in paniek raken en denken dat de oplossing slecht is, zelfs als die test irrelevant was voor de oplossing.
- Met TestPrune: De AI voert alleen de kleine, relevante set tests uit. Als deze slagen, is de oplossing waarschijnlijk goed. Als ze falen, weet de AI precies wat er moet worden aangepast.
- Resultaat: De AI lost meer bugs correct op (een verbetering van 8,0% tot 12,9%) en doet dit sneller.

De Resultaten: Sneller, Goedkoper en Slimmer

Het paper heeft dit getest op real-world softwareprojecten (met behulp van benchmarks genaamd SWE-Bench Lite en SWE-Bench Verified). Hier is wat ze vonden:

Massieve Reductie: Ze verlaagden het aantal tests dat de AI moest uitvoeren met meer dan 1.000 keer. In plaats van 10.000 tests uit te voeren, voerden ze er ongeveer 9 uit.
Snelheid: Het uitvoeren van de volledige bibliotheek duurde ongeveer 24 minuten. Het uitvoeren van de TestPrune-lijst duurde slechts 52 seconden.
Kosten: Het kost bijna niets extra om TestPrune te gebruiken. Het voegt slechts ongeveer $0,02 tot $0,05 toe per bugfix (met standaard AI-modellen).
Succespercentage: Door deze "slimme filter" te gebruiken, losten de AI-agenten aanzienlijk meer bugs op dan daarvoor.

De Conclusie

Het paper beantwoordt zijn eigen titelvraag met een luid Ja. Oude tests kunnen nieuwe trucs uithalen, maar alleen als je ophoudt ze allemaal als gelijk te behandelen. Door AI te gebruiken om intelligent de kleine, perfecte subset van oude tests te selecteren die relevant zijn voor een specifiek probleem, kunnen we softwareherstel sneller, goedkoper en veel nauwkeuriger maken.

Belangrijkste Les: Je hebt geen grotere bibliotheek nodig om een probleem op te lossen; je hebt gewoon een betere bibliothecaris nodig om het juiste boek te vinden. TestPrune is die bibliothecaris.

Titel: Kunnen oude tests nieuwe trucs uithalen voor het oplossen van SWE-problemen?
Auteurs: Yang Chen, Toufique Ahmed, Reyhaneh Jabbarvand en Martin Hirzel
Locatie: Proc. ACM Softw. Eng. 3, FSE (juli 2026)

1. Probleemstelling

Softwareprojecten uit de praktijk beschikken over grote regressietestsets met hoge codecoverage, maar deze sets detecteren vaak niet alle bugs, waardoor veel problemen onopgelost blijven in open-source trackers. Hoewel regressietests traditioneel worden gebruikt om achterwaartse compatibiliteit te waarborgen, kunnen ze ook een aanvullende rol spelen bij het debuggen van huidige versies door het reproduceren van gemelde problemen te sturen en kandidaat-patches te valideren. Het benutten van deze sets voor geautomatiseerd debuggen brengt echter aanzienlijke uitdagingen met zich mee:

Schaal en ruis: Volledige testsets zijn vaak te groot en te ruisachtig om in hun geheel bruikbaar te zijn, vooral binnen agentische Large Language Model (LLM)-pijplijnen waar contextlimieten, inferentiekosten en redeneernauwkeurigheid verslechteren bij overmatige invoer.
De minimaliseringskloof: Bestaande technieken voor het minimaliseren van testsets richten zich op het behoud van de dekking of bugdetectiecapaciteiten van de bestaande set. Ze nemen de specifieke uitdaging van issue-gebaseerde testminimalisatie niet aan: het selecteren van een minimale subset van tests die relevant zijn voor een nieuw gemeld probleem waarbij de oplossende patch nog onbekend is.
De kernuitdaging: De verzameling methoden die uiteindelijk zullen worden gewijzigd om een probleem op te lossen, is latent en niet waarneembaar op het moment van testselectie. Het systeem moet deze "verdachte" methoden voorspellen uitsluitend op basis van de probleemomschrijving en tests selecteren die deze dekken, zonder de definitieve patch te kennen.

2. Methodologie: TestPrune

Het artikel stelt TestPrune voor, een volledig geautomatiseerde techniek die is ontworpen om een kleine, highly relevante subset van regressietests te extraheren om LLM-gebaseerde debugwerkstromen te ondersteunen. De aanpak bestaat uit drie hoofdfasen:

A. Lokalisatie van verdachte functies
In plaats van te proberen een precieze lokalisatie op lijnniveau te bereiken (wat het risico loopt relevante tests te missen), gebruikt TestPrune een LLM om een lijst van "verdachte functies" te identificeren op basis van de GitHub-probleemomschrijving en de repository-structuur. Dit dient als een benadering van de latente verzameling methoden die zullen worden gewijzigd.

B. Ophalen van testbestanden en generatie van dekking

Ophalen: De LLM wordt gevraagd om de top $k$ (in experimenten ingesteld op 10) kandidaat-testbestanden uit de repository te selecteren. De prompt bevat de probleemomschrijving, verdachte functies en afhankelijkheden van testbestanden om semantische context te bieden.
Dekking: TestPrune voert de slagen testmethoden uit deze kandidaatbestanden uit om lijnniveau-dekkingsmappings te genereren ten opzichte van de verdachte functies. Als geen dekking wordt gevonden, wordt het proces herhaald door aanvullende testbestanden op te vragen.

C. Gierige minimaliseringsalgoritmen
Zodra de dekkingdata is verzameld, past TestPrune een gierig algoritme toe om de testset te minimaliseren. Het formuleert het probleem als een gewogen minimaal raakpuntprobleem (NP-moeilijk) en biedt twee heuristische varianten:

Greedy-Additional: Selecteert iteratief tests die het maximale aantal momenteel niet-gedekte regels in de verdachte functies dekken. Het herberekent de dekking bij elke stap.
Greedy-Total: Rangschikt tests op basis van hun totale dekking van alle verdachte regels, ongeacht eerdere selecties, en voegt iteratief de hoogst gerangschikte tests toe totdat geen significante verbetering meer wordt waargenomen.

Tie-breaken: Wanneer meerdere tests gelijke dekking bieden, selecteert het systeem direct maximaal drie tests; indien er meer zijn, wordt een LLM ingeroepen om de beslissing te nemen.

Downstream-integratie
De geminimaliseerde testset wordt ingeplugd in twee soorten downstream-clients:

Generatie van reproductietests: Het bieden van gefocuste context (bijvoorbeeld aan het Otter-kader) om LLM's te helpen "fail-to-pass" reproductietests te genereren.
Selectie en validatie van patches:
- Agentische systemen (bijv. SWE-agent, Trae Agent): Het bieden van feedback over regressietests tijdens de iteratieve lus van de agent om patchverfijning te sturen en regressies te voorkomen.
- Niet-agentische systemen (bijv. Agentless): Het gebruik van de geminimaliseerde set om kandidaat-patches te rangschikken en te valideren, waarbij die worden gefilterd die bestaande functionaliteit breken.

3. Belangrijkste bijdragen

Probleemformulering: Het artikel identificeert en formaliseert het issue-gebaseerde testminimalisatieprobleem, en definieert succesmetrieken (precisie en dekkingrecall) voor het selecteren van tests die relevant zijn voor een onbekende patch.
TestPrune-techniek: De eerste aanpak om automatisch een geminimaliseerde, relevante set regressietests uit een repository te lokaliseren op basis van een probleemomschrijving, waarbij LLM's worden ingezet voor lokalisatie en dekkinganalyse voor selectie.
Uitgebreide evaluatie: Een rigoureuze evaluatie die aantoont dat TestPrune zowel de issue-reproductie als de issue-oplossingspercentages verbetert over meerdere benchmarks en agentkaders.

4. Experimentele resultaten

De auteurs hebben TestPrune geëvalueerd op SWE-Bench Lite en SWE-Bench Verified met modellen zoals GPT-4o en Claude-3.7-Sonnet.

Efficiëntie (RQ1): TestPrune verkleint de testset met meer dan 1.000× in vergelijking met de volledige set (gemiddeld ~9–11 tests per instantie versus duizenden). Dit resulteert in een 27× reductie in runtime (van ~24 minuten naar ~52 seconden per instantie).
Kwaliteit (RQ2): De geminimaliseerde tests bereiken hoge relevantie:
- Precisie: 0,63 (TestPrune-Additional), wat betekent dat 63% van de geselecteerde tests de ground-truth bugfuncties dekt.
- Dekkingsrecall: 0,71, wat aangeeft dat de geselecteerde tests 71% van de regels dekken die door de volledige "gouden" regressietestset worden gedekt.
Issue-reproductie (RQ3): Het integreren van TestPrune in Otter verhoogde het "fail-to-pass" (F→P) reproductiepercentage met 6,2% tot 9,0% ten opzichte van de baseline.
Issue-oplossing (RQ4):
- Niet-agentisch (Agentless): Het vervangen van standaard regressietests door door TestPrune geselecteerde tests, gecombineerd met door Otter gegenereerde reproductietests, verbeterde het issue-oplossingspercentage met 9,4% tot 12,9%.
- Agentisch (SWE-agent, Trae Agent): Het integreren van TestPrune verbeterde de oplossingspercentages met 8,0% tot 9,4%.
- Kostenefficiëntie: De aanpak verlaagde de gemiddelde kosten per instantie met 8,0% tot 23,0% voor agentische systemen. De overhead van TestPrune zelf is minimaal, met kosten van ongeveer $0,02 (GPT-4o) tot $0,05 (Claude-3.7-Sonnet) per instantie.

5. Betekenis en claims

Het artikel beweert dat "oude tests" inderdaad "nieuwe trucs" kunnen uithalen als ze strategisch worden geselecteerd. De betekenis van dit werk ligt in:

De kloof overbruggen: Het toont aan dat regressietests, vaak gezien als statische bewakers, dynamisch kunnen worden herbestemd om actief het debuggen van nieuwe problemen te sturen.
Agentische werkstromen mogelijk maken: Door de contextlimiet- en ruisproblemen inherent aan grote testsets op te lossen, maakt TestPrune LLM-gebaseerde debugpijplijnen efficiënter, betrouwbaarder en kosteneffectiever.
Generaliseerbaarheid: De verbeteringen worden waargenomen over diverse kaders (Otter, Agentless, SWE-agent, Trae) en modellen, wat suggereert dat de strategie van issue-gebaseerde testminimalisatie een generaliseerbare verbetering is voor geautomatiseerde software-engineering.
Kosten-baten: De auteurs benadrukken dat de prestatiewinst wordt bereikt met verwaarloosbare extra API-kosten, waardoor de techniek praktisch toepasbaar is voor implementatie in de praktijk.

Het artikel concludeert dat TestPrune een schaalbare, effectieve oplossing biedt voor het issue-gebaseerde testminimalisatieprobleem, waardoor de mogelijkheden van huidige geautomatiseerde software-engineering-agenten aanzienlijk worden verbeterd.