Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection

Technische Samenvatting: Heterogene Prompting en Executie-feedback voor de Generatie en Selectie van SWE Issue-testen

Probleemstelling
Software Engineering (SWE) issues, die bugs of ontbrekende functies beschrijven, gaan vaak gepaard met informele beschrijvingen die een tekort aan geautomatiseerde reproductietesten hebben. De afwezigheid van dergelijke testen belemmert de verificatie van issues en de acceptatie van code-patches. De specifieke uitdaging die in dit artikel wordt aangepakt, is de automatische generatie van "fail-to-pass" ($F \to P$) reproductietesten direct vanuit issue-beschrijvingen en de bestaande (pre-patch) codebase ($c_{old}$), zonder toegang tot de oplossende code-patch ($c_{new}$). Een geldige $F \to P$ test moet falen bij uitvoering op $c_{old}$ (het reproduceren van de issue) en slagen bij uitvoering op $c_{new}$ (het bevestigen van de fix). Deze taak is moeilijk omdat issue-beschrijvingen informeel zijn en de doelcode voor de test die de test moet laten slagen nog niet bestaat.

Methodologie: e-Otter++
De auteurs introduceren e-Otter++, een systeem dat het eerdere Otter++ framework uitbreidt. Het systeem werkt via drie primaire componenten: een testgenerator, een code-patch generator en een testselector.

1. Testgeneratie met Heterogene Prompting:
   In plaats van uitsluitend te vertrouwen op het verhogen van de LLM-decoding temperaturen om diverse kandidaten te genereren (een gangbare praktijk die vaak een gebrek aan diversiteit vertoont), maakt e-Otter++ gebruik van heterogene prompting. Dit omvat twee systematische variaties:

   • Issue Description Morphs: Een LLM herschrijft de originele issue-beschrijving op vijf verschillende manieren voordat de testgeneratie plaatsvindt: standard (formattering), simple (vereenvoudigen van jargon), dropCode (verwijderen van potentieel misleidende codefragmenten), initTest (incorporeren van een initiële test) en initPatch (incorporeren van een initiële patch-voorstel).
   • Context Masks: De prompt voor testgeneratie wordt gewijzigd door specifieke lokalisatie-contexten (bijv. planner-outputs, test-lokalisatie, patch-lokalisatie) toe te voegen of uit te sluiten, wat leidt tot vijf verschillende prompt-variaties.
     Door deze te combineren, genereert het systeem een diverse pool van 10 kandidaat-testen per issue.

2. Executie-versterkte Test Reparatie:
   Gegenereerde kandidaat-testen worden uitgevoerd op $c_{old}$. Hoewel ze naar verwachting moeten falen, kunnen ze falen om de verkeerde redenen (bijv. syntactische fouten of ongerelateerde exceptions) in plaats van het reproduceren van de specifieke beschreven issue. e-Otter++ introduceert een critic mechanisme:

   • Een LLM analyseert de issue-beschrijving en het executielogboek om te bepalen of de test faalt om de "juiste reden".
   • Als de fout onjuist is, identificeert de critic de noodzakelijke context (bijv. specifieke buggy regels, relevante codefragmenten of functiesignaturen) en verrijkt de reparatie-prompt hiermee.
   • Het systeem repareert de test iteratief (tot 10 pogingen) met behulp van deze verrijkte context totdat de test faalt om de juiste reden of de iteratielimiet is bereikt.

3. Testselectie via Surrogate Patches:
   Omdat $c_{new}$ niet beschikbaar is, kan e-Otter++ niet direct verifiëren of een test slaagt op de werkelijke fix. Om dit op te lossen, gebruikt het systeem Agentless om 40 kandidaat-codepatches te genereren (surrogaten voor $c_{new}$) en filtert deze terug naar de 5 meest frequente patches.

   • De testselector voert de kandidaat-testen uit op deze surrogate patches.
   • Tests die $F \to P$ zijn op de surrogate patches krijgen prioriteit.
   • Een regelgebaseerde selector classificeert fouten (assertion failures versus errors) en gebruikt code coverage (het aandeel regels toegevoegd/verwijderd door de patch dat door de test wordt gedekt) als tie-breaker om de enkele uiteindelijke test te selecteren.

Belangrijkste Bijdragen
Het artikel levert drie nieuwe bijdragen:

1. Executie-versterkte Test Reparatie: Een methode om de testcorrectheid te verhogen door gebruik te maken van executie-feedback om gerelateerde code op te halen en de reparatie-prompt aan te vullen, waardoor wordt gegarandeerd dat testen falen om de redenen die in de issue worden gespecificeerd.
2. Heterogene Prompting voor Diversiteit: Het vergroten van de diversiteit van testkandidaten door issue-beschrijving morphs en context masks, in plaats van enkel te vertrouwen op high-temperature sampling.
3. Surrogate Patch-gebaseerde Selectie: Een techniek voor het selecteren van de uiteindelijke test met behruikmaking van executie-feedback van imperfecte, gegenereerde code-patches als een proxy voor de grondwaarheid-fix.

Resultaten
Het systeem werd geëvalueerd op TDD-Bench Verified (449 samples) en SWT-bench Lite (276 samples), beide afgeleid van SWE-bench.

• Prestaties: e-Otter++ behaalde een state-of-the-art Fail-to-Pass ($F \to P$) ratio van 63,0% op TDD-Bench Verified en 52,5% op SWT-bench Lite (met gebruik van het Claude-3.7-Sonnet model). Dit presteert aanzienlijk beter dan de vorige beste gepubliceerde resultaten (Otter++ op respectievelijk 37,0% en 29,0%).
• Effectiviteit van Componenten:
  • Executie-versterkte reparatie verbeterde de $F \to P$ ratio's met 11,1% tot 74,3% over verschillende configuraties.
  • Heterogene prompting (morphs + masks) verhoogde de $F \to P@N$ (ratio van ten minste één succesvolle test onder $N$ kandidaten) met meer dan 13% vergeleken met het gebruik van enkel masks.
  • Het gebruik van gegenereerde code-patches als pre-filter voor testselectie leverde een aanzienlijke prestatieverbetering op (bijv. een stijging van 32,9% in $F \to P$ op TDD-Bench Verified).
• Generaliseerbaarheid: De aanpak werd gevalideerd op SWE-rebench, een contaminatie-vrije benchmark, waar het de $F \to P$ ratio met een relatieve 75% verbeterde ten opzichte van het basis Otter-systeem, wat robuustheid tegen datacontaminatie aantoont.
• Validatie Nut: De gegenereerde testen bleken effectief bij het valideren van code-patches van andere SWE agents, waarbij de precisie van de voorgestelde oplossingen van topleaderboard-systemen aanzienlijk werd verbeterd.

Betekenis en Claims
De auteurs beweren dat e-Otter++ een substantiële sprong voorwaarts betekent in de state-of-the-art voor het genereren van reproductietesten vanuit SWE issues. Het artikel beargumenteert dat de combinatie van heterogene prompting en executie-feedback — specifelijk het innovatieve gebruik van surrogate patches voor selectie en context-verrijkte reparatie — de beperkingen van eerdere methoden overwint die worstelden met testdiversiteit en het gebrek aan een doel-codebase voor verificatie.

Het werk beoogt de praktijk van Test-Driven Development (TDD) te consolideren door de tijdrovende creatie van reproductietesten te automatiseren, waarmee zowel menselijke engineers als geautomatiseerde SWE agents worden ondersteund bij het oplossen van issues en langetermijn kwaliteitsborging. De auteurs blijven bescheiden over de reikwijdte, waarbij zij opmerken dat het systeem momenteel single testbestanden behandelt en primair op Python is geëvalueerd, maar benadrukken dat de relatieve verbeteringen suggereren dat de technieken effectief zijn, zelfs op niet-gecontamineerde, diverse datasets.