DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle
Dieses Paper stellt DevOps-Gym vor, den ersten End-to-End-Benchmark, der über 700 reale Aufgaben in mehr als 30 Java- und Go-Projekten umfasst, um KI-Agenten in vollständigen DevOps-Workflows zu evaluieren, wobei aufgezeigt wird, dass aktuelle State-of-the-Art-Modelle bei komplexen Aufgaben wie der Fehlerbehebung, der Testgenerierung, dem Monitoring und der Build-Konfiguration erheblich Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen brillanten neuen Lehrling, der unglaublich gut darin ist, einzelne Sätze und Absätze zu schreiben. Sie bitten ihn, eine Geschichte zu schreiben, und er erledigt das fantastische Arbeit. Aber nun wollen Sie sehen, ob er auch eine ganze Verlagshochschule leiten kann. Dies beinhaltet nicht nur das Schreiben der Geschichte, sondern auch das Einrichten der Druckpresse, das Überwachen der laufenden Maschinen, um zu sehen, ob sie überhitzen, das Reparieren der Maschine, wenn sie einen Stau verursacht, und das Schreiben einer Checkliste, um sicherzustellen, dass das nächste Buch denselben Stau nicht hat.
Genau das testet das Papier DEVOPS-GYM.
Die große Idee: Vom „Schreiber“ zum „Fabrikmanager“
Lange Zeit war KI großartig darin, Code zu schreiben (wie der Lehrling, der Sätze schreibt). Aber echte Software besteht nicht nur aus dem Schreiben; es geht um den gesamten Lebenszyklus, bekannt als DevOps. Dies umfasst:
- Bauen (Building): Den Code dazu bringen, zu kompilieren und zu laufen.
- Überwachen (Monitoring): Das laufende Programm beobachten, um zu sehen, ob es sich seltsam verhält (wie eine Maschine, die überhitzt).
- Reparieren (Fixing): Fehler beheben und Patches anwenden.
- Testen (Testing): Sicherstellen, dass die Korrektur tatsächlich funktioniert und nichts anderes kaputt macht.
Die Forscher haben DEVOPS-GYM gebaut, ein riesiges „Gym“ oder ein Trainingsgelände mit über 700 realen Herausforderungen. Sie wollten sehen, ob KI-Agenten als vollwertige Fabrikmanager agieren können, die alle vier dieser Schritte handhaben – und nicht nur den Teil des Schreibens.
Das „Gym“-Setup
Die Forscher haben eine realistische Umgebung unter Verwendung echter Softwareprojekte erstellt, die in Java und Go geschrieben wurden (zwei Sprachen, die in großen Unternehmen üblich sind, im Gegensatz zu Python, das oft für das KI-Training verwendet wird).
Sie haben vier Arten von Workouts für die KI entworfen:
- Das „Setup“-Workout (Build & Config): Die KI muss ein unordentliches Projekt nehmen und es korrekt zum Bauen bringen. Das ist wie der Versuch, ein komplexes Möbelstück ohne die Anleitung zusammenzubauen, oder der Wechsel von einer Marke zu einer anderen bei Werkzeugen.
- Das „Surveillance“-Workout (Monitoring): Die KI muss ein laufendes Programm beobachten und subtile Probleme erkennen, wie etwa ein Speicherleck (wo das Programm langsam den gesamten Arbeitsspeicher des Computers verbraucht) oder eine langsame Netzwerkverbindung. Es ist wie ein Sicherheitswachmann, der ein langsames Leck in einem Rohr bemerken muss, bevor der Keller überflutet wird.
- Das „Repair“-Workout (Issue Resolving): Die KI muss einen in einem Bericht beschriebenen Bug finden und den Code reparieren.
- Das „Quality Check“-Workout (Test Generation): Die KI muss einen Test schreiben, um zu beweisen, dass der Bug behoben ist.
Sie haben sogar End-to-End-Pipeline-Aufgaben erstellt, die wie ein Staffellauf sind. Die KI muss den Setup abschließen, dann die Surveillance durchführen, dann die Repair und schließlich die Quality Check durchführen – alles in einem Zug, ohne den Staffelstab fallen zu lassen.
Die Ergebnisse: Der Lehrling ist noch ein Anfänger im Management
Die Forscher haben die derzeit klügsten verfügbaren KI-Agenten getestet (unter Verwendung von Modellen wie Claude, OpenAI's o4-mini und anderen). Hier ist, was sie herausgefunden haben:
- Das „Setup“ ist schwer: Selbst die besten KIs hatten Schwierigkeiten, Projekte korrekt zu bauen. Sie wurden oft durch die komplexen Regeln verwirrt, wie man Code kompiliert. Der beste Agent war nur etwa 52 % der Zeit erfolgreich.
- „Surveillance“ ist ein Albtraum: Dies war das größte Versagen. Die KI war schrecklich darin, ein laufendes System zu überwachen. Sie versagten oft dabei, Probleme zu bemerken, oder ließen sich ablenken. Die Erfolgsrate war erschreckend niedrig, oft zwischen 0 % und 20 %. Es ist wie ein Sicherheitswachmann, der einschläft oder auf die falsche Kamera starrt.
- „Repair“ ist sprachabhängig: Die KI war gut darin, Bugs in Python zu beheben (dafür wurde sie in ihrem Training viel gesehen), aber als sie zu Java und Go wechselten, sank die Leistung signifikant. Es ist wie ein Übersetzer, der perfektes Französisch spricht, aber ins Straucheln gerät, wenn er gebeten wird, ein technisches Handbuch auf Deutsch zu übersetzen.
- Der Staffellauf scheiterte vollständig: Als die KI gebeten wurde, alle vier Schritte nacheinander auszuführen, gelang 0 % der KI-Agenten. Sie konnten das Gesamtbild nicht im Kopf behalten. Sie korrigierten vielleicht den Build, vergaßen dann aber, die Überwachung zu prüfen, oder behoben den Bug, scheiterten aber daran, den Test zu schreiben.
Warum sind sie gescheitert?
Das Papier legt einige Gründe nahe, warum diese „Fabrikmanager“ noch nicht bereit sind:
- Sie kennen die Werkzeuge nicht: Die KI wurde nicht genug darauf trainiert, spezifische Systemwerkzeuge zu nutzen (wie das Überprüfen der Speicherauslastung oder das Verwalten von Build-Dateien).
- Sie lassen sich ablenken: Beim Beobachten eines Systems über einen längeren Zeitraum verliert die KI den Faden zu dem, was sie gerade betrachtet. Sie kann die „lange Geschichte“ eines Systems, das stundenlang läuft, nicht bewältigen.
- Es fehlt an tiefem Wissen: Sie können einen einfachen Tippfehler beheben, aber sie verstehen nicht die tiefen, komplexen Regeln, wie große Softwaresysteme aufgebaut werden und funktionieren.
Das Fazrtit
DEVOPS-GYM ist ein Realitätscheck. Während KI fantastisch darin ist, Code-Snippets zu schreiben, ist sie aktuell nicht bereit, die gesamte Softwarefabrik im Alleingang zu leiten. Sie kämpft mit den unordentlichen, komplexen und langfristigen Aufgaben des Bauens, Überwachens, Reparierens und Testens von realer Software. Die Forscher sagen, dass wir noch viel mehr Arbeit leisten müssen, bevor KI den gesamten Softwareentwicklungszyklus wirklich automatisieren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.