Technische Samenvatting: ReProAgent

Probleemstelling

Probleemrapportages in open-source softwarerepositories (bijv. GitHub) bevatten zelden uitvoerbare tests die de gerapporteerde bugs reproduceren. De afwezigheid hiervan belemmert ontwikkelaars bij het bevestigen van problemen voordat ze worden opgelost, en bij het valideren van patches nadat deze zijn toegepast, wat de debug- en onderhoudskosten aanzienlijk verhoogt. Hoewel recente door Large Language Models (LLM)-gebaseerde benaderingen hebben geprobeerd deze "reproductietests" (tests die falen op de buggy code maar slagen op de gefixeerde code) te genereren, leunen bestaande methoden grotendeels op vaste prompt-gebaseerde pipelines. Deze pipelines vertrouwen typisch op tekstuele contextretrieval en genereren direct tests, wat leidt tot twee fundamentele beperkingen:

1. Beperkt Begrip van Context: Ze worstelen met het begrijpen van de gedragseffecten van issues over repository-schaal codebases, met name cross-file gedragsafhankelijkheden, omdat ze primair vertrouwen op tekstgebaseerde retrieval.
2. Gebrek aan Gestructureerde Planning: Ze behandelen testgeneratie als een directe mapping van context naar code, waarbij ze het expliciet modelleren van het meerstaps redeneerproces (buglokalisatie, oorzaakanalyse, constructie van testopzet en verificatie) dat menselijke ontwikkelaars gebruiken, nalaten.

Methodologie: ReProAgent

De auteurs stellen ReProAgent voor, een tool-augmented, multi-stage agent framework ontworpen om de complexe taak van reproductietestgeneratie te deconstrueren in vier afzonderlijke agentische stadia. Geïnspireerd door de handmatige workflow van ontwikkelaars, integreert het framework drie categorieën tools om autonome exploratie en besluitvorming te ondersteunen.

1. Agent Toolset

ReProAgent rust de LLM uit met een toegewijde toolset om redenering en interactie te faciliteren:

• Taakdecompositie en Reflectie Tools: Maakt gebruik van Sequential-Thinking om complexe doelstellingen op te splitsen, redeneertrajecten bij te houden en beslissingen dynamisch te herzien op basis van tussenliggende feedback.
• Hybride Context Retrieval Tools: Combineert command-line keyword-gebaseerde retrieval (bijv. grep, glob) met Knowledge Graph (KG)-gebaseerde dependency retrieval. De KG wordt geconstrueerd met behulp van Tree-sitter om programmatische entiteiten (classes, functies) en hun semantische relaties te extraheren, wat de agent in staat stelt om cross-file call chains en afhankelijkheden te traceren.
• Runtime Interactie Tools: Bevat een Docker-gebaseerde sandbox voor het uitvoeren van commando's en interactieve Python-scripts, waardoor de agent de dynamische executiegedragingen kan observeren en hypothesen kan valideren.

2. Vierstaps Agentic Workflow

Het generatieproces is georganiseerd in vier opeenvolgende stadia:

• Stadium 1: Buglokalisatie via Hiërarchische Analyse
  De agent construeert een initiële query vanuit de issue-rapportage (symptomen, stack traces) en gebruikt hybride retrieval om verdachte bestanden te identificeren. Vervolgens voert het een coarse-to-fine analyse uit, waarbij functies en classes worden gerangschikt op semantische relevantie en de zoektocht wordt verfijnd tot specifieke coderegels. De agent levert natuurlijke taal-rationales en betrouwbaarheidsscores voor elke verdachte regio.

• Stadium 2: Oorzaakanalyse via Executiepad
  Gebruikmakend van de verdachte locaties en de issue-beschrijving, traceert de agent het executiepad van het instappunt naar het foutpunt. Het reconstrueert de call chain om het onderliggende logische defect te identificeren (bijv. onjuiste conditiecontroles, boundary handling). De output is een gestructureerd rapport met een samenvatting van de oorzaak, de foutcategorie, het executiepad, de triggercondities en een betrouwbaarheidsscore.

• Stadium 3: Assertie-bewuste Testplanning
  Voordat de code wordt gegenereerd, stelt de agent een gestructureerd testplan op. Dit omvat het analyseren van triggercondities, het construeren van de reproductie-opzet (omgevingsrestricties, afhankelijkheden) en het afleiden van de noodzakelijke asserties. Het plan specificeert de minimale inputs die nodig zijn om de bug bloot te leggen en de verwachte faalsignalen (bijv. specifieke exception types of onjuiste return waarden).

• Stadium 4: Testgeneratie via Triadische Review
  De agent genereert een kandidaat-test op basis van het plan en voert deze uit in de sandbox. Een Triadic Review proces evalueert de test aan de hand van drie criteria:

  1. Semantische overeenstemming met de issue-rapportage.
  2. Consistentie van de geobserveerde fout met de testlogica (het uitsluiten van syntax- of omgevingsfouten).
  3. Overeenkomst tussen het executieresultaat en de gerapporteerde issue (foutmelding, exception type).
     Als de test de review faalt of slaagt wanneer deze zou moeten falen, verfijnt de agent de test iteratief met behulp van de feedback totdat een geldige reproductie is bereikt of het iteratiebudget is uitgeput.

Belangrijkste Bijdragen

1. Multi-Stage Agent Framework: De voorstel van ReProAgent, dat de generatie van reproductietests deelt op in buglokalisatie, oorzaakanalyse, testplanning en testgeneratie, waarmee het verder gaat dan vaste prompting-pipelines.
2. Taakspecifieke Toolset: Het ontwerp van een gespecialiseerde toolset inclusief sequential thinking voor reflectie, hybride retrieval (tekst + knowledge graph) voor context, en runtime interactie voor validatie.
3. Uitgebreide Evaluatie: Omvattende experimenten die aantonen dat ReProAgent de state-of-the-art baselines overtreft, generaliseert over meerdere LLM backbones, en downstream automatische reparatietaken verbetert.

Experimentele Resultaten

Het framework werd geëvalueerd op SWT-bench-lite en SWT-bench-verified, twee benchmarks die specifiek zijn ontworpen voor het genereren van issue-reproductietests.

• Prestaties: ReProAgent behaalde een Fail-to-Pass (FP) Rate van 58,43% op SWT-bench-lite en 70,30% op SWT-bench-verified.
• Vergelijking: Het presteerde aanzienlijk beter dan alle baselines. Zo verbeterde het op SWT-bench-lite de sterke baseline AssertFlip met 53,76% en OpenHands (met dezelfde GPT-5-mini backbone) met 20,43 procentpunten.
• Generaliseerbaarheid: Het framework vertoonde robuuste prestaties over verschillende backbone LLM's (GPT-5-mini, Qwen3-Coder, DeepSeek-V3.2, GLM-4.6), met gemiddelde FP-rates variërend van 50,43% tot 64,37%, wat aangeeft dat de effectiviteit wordt gedreven door het frameworkontwerp en niet door een enkel model.
• Downstream Impact: Wanneer geïntegreerd met bestaande reparatie-frameworks (SWE-agent en Agentless), verbeterden de door ReProAgent gegenereerde tests het aantal succesvol opgeloste issues (bijv. het verhogen van het succespercentage van SWE-agent op SWT-bench-lite van 143 naar 153).
• Kosten: De gemiddelde kosten per instantie waren $0,14 (gebruikmakend van GPT-5-mini), wat concurrerend is met andere baselines en betaalbaar voor praktische toepassing.

Betekenis

Het artikel beweert dat ReProAgent een kritieke kloof adresseert in automatische software engineering waar issue-rapportages geen uitvoerbare specificaties bevatten. Door de gestructureerde, meerstaps redenering van menselijke ontwikkelaars na te bootsen en repository-schaal context te integreren met runtime verificatie, maakt ReProAgent de betrouwbare generatie van reproductietests mogelijk. Deze capaciteit valideert niet alleen de correctheid van patches, maar dient ook als een krachtig feedbacksignaal voor iteratieve automatische reparatie-workflows, waardoor de kosten van software debugging en onderhoud worden verlaagd. De auteurs benadrukken dat het succes van het framework ligt in het vermogen om complexe, cross-file afhankelijkheden te verwerken en in het strikte triadische reviewproces, dat ervoor zorgt dat gegenereerde tests de gerapporteerde issues getrouw reproduceren in plaats van enkel syntactisch correcte code te genereren.