EvoClaw: Evaluating AI Agents on Continuous Software Evolution
Die Studie stellt mit EvoClaw einen neuen Benchmark vor, der zeigt, dass KI-Agenten bei kontinuierlicher Softwareentwicklung im Gegensatz zu isolierten Aufgaben aufgrund von Fehlerakkumulation und technischen Schulden erheblich schlechter abschneiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen hochintelligenten Roboter-Assistenten, der programmieren kann. Bisher haben wir diesen Roboter nur bei kleinen, isolierten Aufgaben getestet: „Baue mir eine Treppe" oder „Repariere dieses eine Fenster". Der Roboter war darin sehr gut.
Aber in der echten Welt ist Softwareentwicklung kein Einzelprojekt. Es ist wie der Bau und die Wartung einer riesigen, lebendigen Stadt, die sich ständig verändert. Hier kommt EvoClaw ins Spiel.
1. Das Problem: Der Roboter vergisst, wie man eine Stadt pflegt
Bisherige Tests waren wie ein Einzel-Quiz. Man gab dem Roboter eine Aufgabe, er löste sie, und dann wurde alles zurückgesetzt. Das ist wie ein Spieler, der immer nur ein Level in einem Videospiel spielt, aber nie die Welt davor oder danach sieht.
In der Realität muss ein Roboter aber eine fortlaufende Reise machen. Er muss heute ein neues Haus bauen, morgen ein altes reparieren und übermorgen eine Straße verlegen – und dabei darf er nicht das Fundament des Hauses von gestern zerstören.
Das Paper zeigt ein schockierendes Ergebnis:
- Bei einzelnen Aufgaben (dem Quiz) sind die besten KI-Modelle zu 80 % erfolgreich.
- Sobald sie eine fortlaufende Reise antreten müssen (die Stadt bauen), bricht ihre Leistung auf unter 38 % ein.
Warum? Weil sie wie ein vergesslicher Bauleiter sind. Sie bauen etwas Neues, aber dabei reißen sie versehentlich die Wasserrohre aus, die sie gestern verlegt haben. Diese kleinen Fehler häufen sich an wie Schneebälle. Am Ende ist die ganze Baustelle so voller Probleme, dass der Roboter nicht mehr weiterkommt.
2. Die Lösung: DeepCommit – Der Architekt für die Baupläne
Um diesen Test überhaupt durchführen zu können, mussten die Forscher erst einmal die „Baupläne" für die KI erstellen. Das ist die Aufgabe von DeepCommit.
Stell dir vor, du hast einen riesigen Haufen von tausenden kleinen Zetteln (Commits), auf denen steht: „Ich habe das Licht ausgetauscht", „Ich habe den Namen geändert", „Ich habe ein Komma korrigiert". Das ist ein chaotischer Haufen.
DeepCommit ist wie ein super-intelligenter Architekt, der diesen chaotischen Haufen nimmt und daraus eine logische Reisekarte (DAG) erstellt:
- Gruppieren: Er fasst die kleinen Zettel zu sinnvollen Etappen zusammen (z. B. „Etappe 1: Neue Beleuchtung installieren").
- Verknüpfen: Er stellt fest: „Du kannst Etappe 2 (Neue Straßenbeleuchtung) erst bauen, wenn Etappe 1 fertig ist."
- Prüfen: Er stellt sicher, dass jede Etappe tatsächlich funktioniert und nicht das ganze Gebäude zum Einsturz bringt.
Ohne diesen Architekten wäre der Test unmöglich, weil die KI sonst in einem Chaos aus widersprüchlichen Anweisungen stecken würde.
3. Der Test: EvoClaw – Die Fortsetzungsserie
EvoClaw ist nun der eigentliche Prüfstand. Es ist wie eine Fernsehserie, bei der die KI jede Folge (Milestone) nacheinander drehen muss.
- Die Regel: Wenn die KI in Folge 1 einen Fehler macht (z. B. eine Wand falsch baut), muss sie in Folge 2 damit leben. Sie kann nicht einfach zurücksetzen.
- Das Ergebnis: Die KIs sind gut darin, neue Dinge zu erfinden (sie bauen tolle neue Häuser), aber sie sind schlecht darin, die alten Dinge intakt zu halten (sie reißen die alten Wände ein).
Die Forscher nennen das den „Schneeballeffekt": Ein kleiner Fehler in der ersten Folge führt dazu, dass in der zehnten Folge alles zusammenbricht.
4. Was haben wir gelernt? (Die wichtigsten Erkenntnisse)
- Der „Blind-Flug"-Fehler: Viele KIs versuchen, Probleme zu lösen, indem sie wild herumprobieren (wie jemand, der im Dunkeln gegen eine Wand rennt), ohne vorher zu prüfen, ob das, was sie tun, auch wirklich hilft. Die erfolgreichen KIs hingegen lesen erst viel (erkunden den Code) und prüfen ihre Arbeit oft.
- Fehler sind ansteckend: Ein Fehler, der heute passiert, vergiftet die Arbeit von morgen. Die KIs lernen nicht aus ihren Fehlern, sondern häufen sie nur an.
- Qualität vs. Quantität: Die KIs können viele neue Features bauen (sie sind kreativ), aber sie verlieren schnell den Überblick über die Stabilität des Ganzen (sie sind nicht sorgfältig).
Zusammenfassung in einer Metapher
Stell dir vor, du hast einen Gärtner-Roboter.
- Der alte Test: Du sagst ihm: „Pflanze eine Rose." Er tut es perfekt.
- Der neue Test (EvoClaw): Du sagst ihm: „Pflanze eine Rose. Dann schneide den Baum daneben. Dann gieße den Rasen. Aber achte darauf, dass du beim Schneiden des Baumes nicht die Rose umwirfst und beim Gießen den Baum nicht überschwemmst."
Das Paper sagt uns: Unsere besten Roboter sind heute noch keine echten Gärtner. Sie sind toll darin, eine einzelne Pflanze zu setzen, aber sie versagen kläglich, wenn sie einen ganzen Garten über Monate hinweg pflegen müssen, ohne ihn zu zerstören.
Die Botschaft: Damit KI-Agenten wirklich autonom in der echten Welt arbeiten können, müssen wir sie nicht nur darin trainieren, neue Dinge zu bauen, sondern vor allem darin, bestehende Systeme stabil zu halten und Fehler nicht anzuhaufen. Das ist die nächste große Herausforderung für die KI-Forschung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.