ReProAgent: Tool-Augmented Multi-Stage Agentic Generation of Bug Reproduction Tests from Issue Reports
ReProAgent ist ein mehrstufiges, werkzeugunterstütztes Agenten-Framework, das bestehende promptbasierte Ansätze durch die Zerlegung der Bug-Reproduktions-Testgenerierung in lokalisierte Phasen der Fehleridentifikation, Ursachenanalyse, Planung und Generierung übertrifft und dabei signifikant höhere Erfolgsraten über verschiedene Benchmarks hinweg erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber der einzige Hinweis, den Sie haben, ist eine verschwommene, handgeschriebene Notiz eines Zeugen, die besagt: „In der Küche ist etwas Merkwürdiges passiert!“ In der Welt der Software ist diese Notiz ein Issue-Report (Fehlerbericht). Normalerweise müssen Entwickler raten, was schiefgelaufen ist, einen Test schreiben, um es zu beweisen, und dann versuchen, es zu beheben. Aber oft gibt es keinen Test, was den gesamten Prozess langsam und frustrierend macht.
Eine Zeit lang versuchten intelligente Computerprogramme (genannt Large Language Models oder LLMs), diese Tests automatisch zu schreiben. Sie waren wie Detektive, die die Notiz nur lasen und sofort riefen: „Ich glaube, der Übeltäter ist der Toaster!“ Sie schnappten sich ein paar nahegelegene Hinweise (Text aus dem Code) und raten die Antwort. Aber das Paper argumentt, dass dieser Ansatz zu simpel ist. Es ist, als würde man versuchen, einen komplexen Mordfall zu lösen, indem man sich nur das Tatortfoto ansieht, ohne jemals die Verdächtigen zu vernehmen oder deren Alibis zu prüfen. Diese älteren Methoden übersahen oft das eigentliche Problem, weil sie nicht verstanden, wie verschiedene Teile des Codes (die „Küche“, das „Wohnzimmer“ und der „Keller“) miteinander verbunden waren.
Enter ReProAgent: Das Super-Detektiv-Team
Die Autoren dieses Papers haben ein neues System namens ReProAgent entwickelt. Anstatt eines einzelnen Detektivs, der die Antwort errät, ist RePro-Agent ein Team aus spezialisierten Agenten, die in einem strengen, vierstufigen Untersuchungsprozess arbeiten. Sie raten nicht nur; sie untersuchen, analysieren, planen und handeln dann.
So funktioniert ihr „Detektiv-Workflow“:
- Die Suche (Bug Localization): Zuerst betrachtet das Team nicht das ganze Gebäude. Sie nutzen spezielle Werkzeuge, um den Code wie ein Bibliothekar zu durchsuchen, der ein bestimmtes Buch findet. Sie suchen nach Schlüsselwörtern und folgen den „Brotkrumen“ (Abhängigkeiten), um genau die Datei und die Codezeile zu finden, die gerade Probleme macht.
- Das Verhör (Root Cause Analysis): Sobald sie den Verdächtigen gefunden haben, verhaften sie ihn nicht einfach. Sie verfolgen den exakten Pfad, den der Bug genommen hat. Sie fragen: „Wie ist der Fehler von der Haustür zum hinteren Fenster gewandert?“ Sie erstellen eine Karte des Ausführungspfads, um zu verstehen, warum der Bug passiert ist, nicht nur wo.
- Das Fallenstellen (Test Planning): Bevor sie eine Falle stellen, planen sie diese sorgfältig. Sie finden heraus, welche Bedingungen genau erfüllt sein müssen, damit der Bug erneut auftritt. Es ist wie das Aufstellen eines spezifischen Szenarios, in dem der Verdächtige seinen Verbrechen zwingend offenbaren muss.
- Der Zugriff (Test Generation & Review): Schließlich schreiben sie den Test (die Falle) und führen ihn in einer sicheren, isolierten Sandbox (einem digitalen Sandkasten) aus. Aber das Beste daran ist: Wenn der Test den Bug nicht erwischt oder das Falsche erwischt, gibt das Team nicht einfach auf. Sie überprüfen das Ergebnis, fragen: „Haben wir den richtigen Kriminellen erwischt?“ und verfeinern dann ihren Test. Sie wiederholen diesen Prozess in einer Schleife, bis der Test den Bug perfekt reproduziert.
Die Ergebnisse: Hat es funktioniert?
Das Team hat ReProAgent auf zwei großen Datensätzen realer Softwareprobleme (genannt SWT-bench-lite und SWT-bench-verified) getestet. Die Ergebnisse waren beeindruckend.
- Auf dem kleineren Datensatz (SWT-bench-lite) konnte ReProAgent den Bug in 58,43 % der Fälle erfolgreich reproduzieren.
- Auf dem schwierigeren, verifizierten Datensatz (SWT-bench-verified) war es in 70,30 % der Fälle erfolgreich.
Um dies einzuordnen: Die nächstbeste Methode (ein System namens AssertFlip) schaffte es nur, etwa 38,0 % der Probleme auf dem kleineren Datensatz zu lösen. ReProAgent hat die Konkurrenz nicht nur geschlagen, sondern sie regelrecht abgehängt und löste etwa 20 Prozentpunkte mehr Fälle als das nächstbeste System unter Verwendung desselben „Gehirns“ (einem Modell namens GPT-5-mini).
Das Paper hat auch geprüft, ob dieses Team mit verschiedenen „Gehirnen“ (anderen KI-Modellen wie Qwen3-Coder und DeepSeek-V3.2) zusammenarbeitet. Das tat es! Das System funktionierte über alle Modelle hinweg gut, was darauf hindeutet, dass der Prozess, ein Detektiv zu sein, wichtiger ist als nur ein einziges, besonders kluges Gehirn zu besitzen.
Was es NICHT ist
Das Paper ist sehr deutlich darüber, was ReProAgent nicht ist. Es ist kein Zauberstab, der die Bugs selbst behebt. Seine Aufgabe besteht strikt darin, den Test zu schreiben, der beweist, dass der Bug existiert. Die Autoren fanden jedoch heraus, dass die Systeme, die diese Tests erhielten und die tatsächlich Bugs beheben, besser wurden. Zum Beispiel wurde, als ReProAgents Tests verwendet wurden, um ein System namens SWE-agent zu unterstützen, die Anzahl der erfolgreich behobenen Issues von 143 auf 153 erhöht.
Die Kosten
Ein Super-Detektiv zu sein, kostet ein wenig Geld. Das Paper berechnete, dass der Betrieb von ReProAgent etwa 0,14 $ pro Fall kostet. Das ist etwas teurer als einige einfachere Methoden (die etwa 0,11 $ kosten), aber das Paper argumentiert, dass die zusätzlichen Cent es wert sind, weil es das Problem viel häufiger tatsächlich löst. Meistens musste das System seinen „Zugriff“ im Durchschnitt nur etwa 1,29 Mal durchführen, bevor es richtig lag.
Das Fazit
Das Paper legt nahe, dass man zur Lösung komplexer Software-Rätsel nicht nur auf eine schnelle Vermutung basierend auf ein paar Worten vertrauen kann. Man braucht eine strukturierte, mehrstufige Untersuchung, die das gesamte Bild betrachtet, den Pfad des Fehlers nachverfolgt und die Beweise doppelt prüft. ReProAgent zeigt, dass KI-Agenten, wenn man ihnen einen ordentlichen Workflow vorgibt, unglaublich effektiv darin werden können, Software-Bugs zu finden und zu beweisen – und so eine verschwommene Zeugennotiz in eine kristallklare Fallakte verwandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.