Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation

Echo is een geavanceerd agent-systeem dat de generatie van testgevallen voor bugreproductie verbetert door gebruik te maken van grafgebaseerde contextretrieval, automatische uitvoeringsfeedback en patchvalidatie, waarmee het een nieuwe state-of-the-art prestatie van 66,28% bereikt op SWT-Bench Verified.

De kern

Stel je voor dat je een enorme, ingewikkelde bibliotheek bent (een softwareproject) en er komt een bezoeker met een briefje: "Ik kan deze ene deur niet openen!" Dit is een bug-rapport.

Het probleem is dat de bezoeker vaak niet weet waar de deur zit, hoe het slot werkt, of welke sleutel hij nodig heeft. Voor de bibliothecaris (de ontwikkelaar) is het zoeken naar die ene deur en het maken van een sleutel die precies past, enorm tijdrovend en frustrerend.

Echo is een slimme, nieuwe robot-assistent die deze taak overneemt. In plaats van dat een mens urenlang moet zoeken, doet Echo het volgende:

1. De Slimme Zoeker (De "Code-Graph")

Stel je voor dat je normaal gesproken door de bibliotheek moet lopen en elke kast open moet maken om te zien of de deur erin zit. Dat is traag.
Echo gebruikt echter een magisch plattegrond (een code-graph). Dit is geen gewone lijst, maar een netwerk dat precies laat zien welke boeken (bestanden) met welke andere boeken verbonden zijn.

• Het trucje: Als de bezoeker zegt "de deur gaat niet open", kijkt Echo niet alleen naar de woorden in het briefje, maar vraagt hij aan de plattegrond: "Welke deuren zijn hier het dichtstbij? Welke sleutels worden hier gebruikt?"
• De verbetering: Echo is ook slim genoeg om te zeggen: "Ik heb nog niet genoeg info." Hij vraagt zichzelf dan: "Wat missen we nog?" en zoekt dan nog specifieker. Dit heet query-refinement.

2. De Proefnemer (Autonome Uitvoering)

Vroeger maakten robots een sleutel en hoopten ze maar dat hij zou werken. Echo is anders.

• De actie: Zodra Echo een test (een sleutel) heeft gemaakt, probeert hij hem echt te gebruiken. Hij opent de deur, draait aan het slot en kijkt of het klikt.
• De veiligheid: Hij doet dit in een afgesloten kamer (een container), zodat hij per ongeluk de rest van de bibliotheek niet vernielt. Hij mag alleen de deur proberen te openen, niet de muren slopen of nieuwe deuren bouwen.

3. De "Wat als"-Speler (De Patch & Twee-Versie Check)

Dit is het meest unieke deel van Echo.
Stel je voor dat Echo een sleutel heeft gemaakt die de deur niet opent. Hoe weet hij of de sleutel goed is, of dat de deur gewoon kapot is?

• De oplossing: Echo maakt eerst een tijdelijke reparatie (een patch) van de deur. Hij maakt dus een versie van de bibliotheek waar de deur wel werkt.
• De test: Hij probeert zijn sleutel nu op twee versies:
  1. Op de oude, kapotte versie: De sleutel moet niet werken (de deur blijft dicht).
  2. Op de nieuwe, gerepareerde versie: De sleutel moet wel werken (de deur gaat open).
• Als dit gebeurt, weet Echo: "Ja! Ik heb de juiste sleutel gemaakt die precies past bij het probleem." Als het niet lukt, zegt hij: "Oké, deze sleutel is nog niet goed," en hij maakt een nieuwe, betere versie.

Waarom is dit zo belangrijk?

Eerdere robots maakten vaak tientallen sleutels en hoopten dat één ervan wel paste. Echo is efficiënter: hij maakt één goede sleutel per probleem door slim te zoeken, te testen en te verbeteren.

De resultaten:
Op een grote test met echte problemen (de "SWT-Bench") slaagde Echo in 66% van de gevallen. Dat is meer dan elke andere openbare tool die we tot nu toe hebben. Het is alsof Echo de slimste bibliothecaris is die we ooit hebben gehad: hij vindt de deur, maakt de sleutel, test hem, en als hij faalt, denkt hij na en probeert het opnieuw totdat het werkt.

Kort samengevat:
Echo is een slimme assistent die niet alleen luistert naar wat mensen zeggen, maar ook naar de structuur van de code kijkt, zelf gaat testen of het werkt, en een simulatie maakt om te bewijzen dat zijn oplossing echt de bug oplost. Hierdoor besparen ontwikkelaars uren aan zoeken en hopen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation" in het Nederlands.

Probleemstelling

Het identificeren van de root cause van bugs is voor ontwikkelaars vaak moeilijk omdat bugrapporten vaak ontbreken in een reproduceerbare testcase die de fout betrouwbaar triggert. Het handmatig schrijven van dergelijke testcases is tijdrovend en vereist een diepgaand begrip van de codebase. Bestaande geautomatiseerde benaderingen, die gebruikmaken van Large Language Models (LLMs), hebben echter drie belangrijke beperkingen:

1. Onnauwkeurige contextretrieval: Bestaande methoden vertrouwen vaak op simpele hiërarchische zoekopdrachten die geen diepgaande structurele relaties of lange-termijn semantiek in grote codebases kunnen vastleggen, wat leidt tot ruis of onvolledige context.
2. Uitvoeringsproblemen: Veel tools veronderstellen dat uitvoeringscommando's en configuraties bekend zijn. In real-world repositories zijn deze echter vaak impliciet en verspreid, wat leidt tot mislukte uitvoeringen door kleine commando-afwijkingen.
3. Gebrek aan betrouwbare orakels: Er is vaak geen betrouwbare manier om te verifiëren of een gegenereerde test de juiste reden voor de fout reproduceert. Systemen vertrouwen vaak op semantische beoordeling door LLMs, wat onbetrouwbaar is.

Methodologie: Echo

Echo is een agent die testcases voor issue-reproductie genereert door gebruik te maken van een code-grafiek en uitvoeringsfeedback. Het proces bestaat uit zes fasen:

1. Context Retrieval (Verrijkt met Code-Graph):
   • De codebase wordt omgezet in een heterogene gerichte graaf (Neo4j) met drie knooppunttypes: ResourceNode (bestanden/directories), ParseNode (Tree-sitter parse-bomen) en TextSpanNode (tekststukken).
   • In plaats van statische zoekopdrachten, gebruikt Echo een automatische query-verfijning. De agent start met een initiële query, evalueert de opgehaalde context met een LLM, en verfijnt de query iteratief totdat voldoende informatie (focale code en regressietests) is verzameld.
2. Patch Generatie:
   • Echo gebruikt een bestaand tool (Prometheus) om een potentiële patch (diff-bestand) te genereren. Deze patch dient als een "orakel" om te controleren of een test de fail-to-pass-criterium voldoet (d.w.z. de test faalt in de originele versie en slaagt in de gepatchte versie).
3. Test Case Generatie:
   • De LLM genereert een zelfstandige testfile op basis van de geraffineerde context (issue-beschrijving, focale code, regressietests en de patch). De prompt instrueert de LLM om te handelen als een QA-expert en een minimale, doelgerichte test te schrijven.
4. Autonome Testuitvoering:
   • Echo gebruikt een LLM om het juiste uitvoeringscommando af te leiden uit de repository-context (bijv. README, configuratiebestanden) en voert de test uit in een container.
   • Om veiligheid en eerlijkheid te waarborgen, worden strikte regels gehanteerd: de agent mag geen bestanden wijzigen, geen volledige test suites draaien, en mag geen dependencies installeren.
5. Test Verificatie:
   • Een LLM beoordeelt de uitvoeringslogs om te zien of de fout semantisch overeenkomt met het issue-rapport. Als de test faalt om de juiste reden, wordt de feedback gebruikt voor hergeneratie.
6. Dual-Version Check:
   • Dit is een cruciale stap die onderscheidt van eerdere werken. Echo voert de gegenereerde test uit op zowel de originele codebase als de gepatchte versie.
   • Als de test voldoet aan het fail-to-pass-criterium (faalt op de bug-versie, slaagt op de patch-versie), wordt deze als succesvol beschouwd.
   • Als dit niet het geval is, wordt de uitvoeringsfeedback teruggekoppeld naar de generator voor iteratieve verfijning (maximaal twee keer).

Belangrijkste Bijdragen

1. Echo Agent: Een nieuw systeem dat code-grafieken gebruikt voor superieure contextretrieval en automatisch testuitvoering integreert in de workflow.
2. State-of-the-Art (SOTA) Prestaties: Echo bereikt een succespercentage van 66,28% op de SWT-Bench Verified dataset, wat een nieuw record is voor open-source benaderingen.
3. Efficiëntie: In tegenstelling tot eerdere methoden die een groot aantal kandidaten genereren en ranken, genereert Echo één hoogwaardige test per issue via iteratieve verfijning, wat een betere kosten-prestatieverhouding biedt.
4. Open Source: De code, uitvoeringslogs en volledige experimentele resultaten zijn publiek beschikbaar gesteld.

Resultaten

• Prestaties: Echo presteert beter dan alle andere methoden op de SWT-Bench leaderboard, inclusief geavanceerde modellen zoals GPT-5-mini en Claude 3.7 Sonnet (die gebruikt worden door concurrenten zoals OpenHands en e-Otter++).
• Unieke Oplossingen: Echo lost 33 unieke problemen op die door geen enkele andere methode werden opgelost, wat aantoont dat het bestaande technieken aanvult.
• Effectiviteit van Refinement: Het verwijderen van de verfijningscomponent (geen dual-version check) laat de succes率 dalen van 66,28% naar 59,12%, wat aantoont dat uitvoeringsfeedback essentieel is voor kwaliteit.
• Kostenanalyse: Hoewel Echo gemiddeld $1,54 per instance kost (voornamelijk door de lange input-context en "thinking" tokens van Gemini 2.5 Pro), is dit concurrerend met of goedkoper dan andere geavanceerde agent-methoden, terwijl het betere resultaten levert. De kosten worden gedomineerd door de generatie- en verfijningsfase (69,7% van de tokens).

Betekenis en Toekomst

Echo bewijst dat het combineren van grafiekgebaseerde retrieval met automatische uitvoeringsfeedback en dual-version verificatie een krachtige strategie is voor het automatiseren van bugreproductie. Het systeem lost het probleem aan van onbetrouwbare orakels door de gepatchte versie als waarheid te gebruiken.

De belangrijkste lessen voor de toekomst zijn:

• Het belang van het beperken van de contextomvang om kosten te verlagen zonder kwaliteit te verliezen.
• De uitdaging om betrouwbare orakels te vinden wanneer de gegenereerde patch zelf onjuist kan zijn.
• De noodzaak om de uitvoering van tests in gecontroleerde omgevingen robuuster te maken tegenover LLM-afwijkingen.

Kortom, Echo zet een nieuwe standaard voor open-source tools in het domein van softwaretestgeneratie en bugreproductie.