Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Stellen Sie sich eine Welt vor, in der Software wie eine riesige, geschäftige Stadt ist, die von Millionen von Menschen gebaut wurde. Manchmal hat ein Gebäude einen verborgenen Riss, eine Brücke hat einen losen Bolzen oder eine Ampel bleibt auf Grün stehen, wenn sie eigentlich Rot zeigen sollte. In der realen Welt warten wir normalerweise darauf, dass jemand ruft: „Hey, die Brücke ist kaputt!“, bevor wir einen Reparaturtrupp entsenden. In der digitalen Welt wird dieser „Ruf“ als Issue Report (Fehlerbericht) bezeichnet. Es ist eine detaillierte Notiz eines Menschen, die genau beschreibt, wo der Fehler liegt, welche Fehlermeldung aufgetaucht ist und wie sich die Software eigentlich verhalten sollte.

Lange Zeit haben Informatiker versucht, superintelligente KI-Assistenten, bekannt als Coding Agents, zu trainieren, damit sie als Reparaturtrupps fungieren. Diese Agenten nutzen leistungsstarke, gehirnähnliche Modelle (genannt Large Language Models), um Code zu lesen und Probleme zu beheben. Aber hier ist der Haken: Die meisten Trainings- und Testverfahren, die diese Agenten bisher durchlaufen haben, gehen davon aus, dass immer ein perfekter, detaillierter „Ruf“ (Issue Report) bereitsteht. Es ist, als würde man einen Mechaniker nur an Autos trainieren, die bereits mit einem Zettel abgeschleppt wurden, auf dem steht: „Der Motor macht ein klopfendes Geräusch“.

Aber in der realen Welt läuft das nicht immer so reibungslos ab. Manchmal sind Bugs so hinterhältig, dass sie in das Endprodukt hineinschlüpfen, ohne dass es jemand bemerkt, bis es zu spät ist und massives Chaos verursacht. Manchmal sind die Notizen, die Menschen hinterlassen, vage, verwirrend oder es fehlen entscheidende Details. Dies wirft eine große, spannende Frage auf: Können diese KI-Reparaturtrupps die kaputten Teile der Stadt finden und reparieren, bevor überhaupt jemand weiß, dass sie kaputt sind? Können sie wie proaktive Detektive agieren, den Code von sich aus scannen, die Risse entdecken und sie beheben, ohne ein einziges Handbuch oder eine Anweisung zu erhalten?

Genau dies untersucht das Paper „Benchlecting Coding Agents for Proactive Bug Fixing without Issue Reports“. Die Autoren, ein Team von Forschern aus Universitäten und unabhängigen Laboren, führen eine neue Herausforderung namens Active-SWE ein. Denken Sie an dies als ein riesiges, hochgestochenes Videospiel-Level, das darauf ausgelegt ist, zu testen, ob KI-Agenten echte Detektive sein können und nicht nur gehorsame Mechaniker.

Anstatt der KI eine Liste von „kaputten Dingen“ zu geben, die sie reparieren soll, überreichten die Forscher ihr eine massive Bibliothek von Code – 1.663 verschiedene Aufgaben in sechs Arten von Bugs und acht verschiedenen Programmiersprachen – und sagten ihnen: „Findet die Probleme und behebt sie. Viel Glück, keine Hinweise erlaubt.“

Die Forscher bauten diese Herausforderung auf zwei Arten auf. Zuerwas schufen sie ein „Simple Setting“, bei dem die KI einen einzelnen, im Code versteckten Bug finden und beheben musste, ganz ähnlich wie das Finden eines spezifischen Tippfehlers in einem Roman. Dann erhöhten sie den Schwierigkeitsgrad mit einem „Hard Setting“, bei dem die KI gleichzeitig mehrere Bugs aufspüren musste, wie ein Detektiv, der versucht, eine ganze Serie von Verbrechen in einer einzigen Nacht aufzuklären. Sie testeten die KI auch auf „Potential Bugs“ – Szenarien, in denen die KI vielleicht ein Problem findet, das gar nicht auf der ursprünglichen Liste bekannter Probleme stand, was im Grunde die Frage stellt: „Hast du etwas Neues gefunden, das tatsächlich kaputt ist?“

Um sicherzustellen, dass die KI nicht nur rät, verwendeten die Forscher ein cleveres „Dual-Track“-Bewertungssystem. Ein Track prüfte, ob die KI die Bugs fand, von denen sie wussten, dass sie da waren (Recorded Bugs). Der andere Track war kniffliger: Wenn die KI behauptete, einen neuen Bug gefunden zu haben, zwang das System die KI dazu, einen Test zu schreiben, um dies zu beweisen. Wenn die KI nicht beweisen konnte, dass der Bug durch einen Test existierte, zählte die Entdeckung nicht. Es ist, als würde ein Detektiv behaupten, er habe einen versteckten Tresor gefunden; er muss dir den Schlüssel zeigen und ihn öffnen, um zu beweisen, dass er wirklich existiert.

Die Ergebnisse? Es stellt sich heraus, dass selbst die klügsten, fortschrittlichsten KI-Agenten von heute immer noch mit dieser proaktiven Detektivarbeit zu kämpfen haben. Als die Forscher Top-Modelle (wie Claude Opus 4.8, GPT-5.5 und andere) testeten, stellten sie fest, dass die meisten von ihnen nur etwa 20 % der bekannten Bugs beheben konnten, wenn sie ohne Anleitung gelassen wurden. Das ist ein massiver Abfall im Vergleich dazu, wenn ihnen ein detaillierter Issue Report zur Verfügung steht.

Die Studie legt nahe, dass diese KI-Agenten zwar besser darin werden, Anweisungen zu befolgen, aber immer noch ziemlich schlecht darin sind, sich in einem unordentlichen Raum umzusehen und selbst herauszufinden, was dort kaputt ist. Sie verlieren sich oft im Code, können nicht genau bestimmen, wo das Problem liegt (eine Fähigkeit, die „Localization“ genannt wird), und haben Schwierigkeiten, mehrere Probleme gleichzeitig zu lösen. Interessanterweise war die KI bei bestimmten Arten von Bugs, wie denen, die mit Logik oder dem Datenfluss zusammenhängen, etwas besser, aber sie war fast völlig ahnungslos, wenn es um Bugs ging, die den „Zustand“ (State) des Systems betrafen (wie eine Ampel, die auf Grün hängen bleibt).

Vielleicht am wichtigsten ist, dass das Paper zeigt, dass das Finden des Bugs nur die halbe Miete ist. Die Daten deuten darauf hin, dass, wenn die KI den defekten Teil des Codes nicht präzise lokalisieren kann, sie ihn fast nie korrekt repariert. Es ist, als versuche man, ein leckendes Rohr zu reparieren, ohne zu wissen, welches Rohr leckt; man endet womöglich dabei, das falsche Rohr festzuziehen.

Kurz gesagt: Dieses Paper behauptet nicht, dass die KI die Software-Reparatur gelöst hat. Stattdessen schlägt es Alarm und zeigt auf, dass die aktuelle Generation von Coding Agents noch zu sehr darauf angewiesen ist, dass Menschen ihnen die Probleme aufzeigen. Der „proaktive“ Traum – dass eine KI den Code scannt und Probleme behebt, bevor sie zu einem Absturz führen – ist nach wie vor ein Werk in Arbeit. Die Forscher kommen zu dem Schluss, dass diese Agenten zwar leistungsstark sind, aber viel besser darin werden müssen, unabhängige Detektive zu sein, bevor wir ihnen vertrauen können, unsere digitalen Städte ohne Sicherheitsnetz sicher zu halten.