Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub
Diese Arbeit präsentiert eine groß angelegte empirische Studie über 33.000 KI-generierte Pull Requests auf GitHub, die quantitative Analyse und qualitative Taxonomie kombiniert, um aufzuzeigen, dass Dokumentations- und CI-Aufgaben zwar am häufigsten erfolgreich sind, agentische Fehler jedoch durch Faktoren wie große Code-Änderungen, CI-Fehler und eine Diskrepanz zu den Erwartungen menschlicher Reviewer getrieben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige Baustelle vor, auf der menschliche Architekten und Ingenieure Software bauen. Vor kurzem ist eine neue Crew von KI-Robotern (genannt „Coding Agents“) eingetroffen. Diese Roboter flüstern den Menschen nicht nur Vorschläge zu, sondern bauen nun ganze Räume, streichen Wände und reichen sogar ihre eigenen Blaupausen (genannt „Pull Requests“ oder „PRs“) ein, um dem Gebäude hinzugefügt zu werden.
Das von Ihnen bereitgestellte Papier ist wie eine forensische Untersuchung dazu, warum einige der von Robotern gebauten Räume genehmigt und dem Gebäude hinzugefügt werden, während andere abgelehnt und abgerissen werden. Die Forscher haben über 33.000 Blaupausen von fünf verschiedenen Roboter-Crews auf GitHub untersucht, um herauszufinden, wo die Roboter Fehler machen.
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:
1. Die „leichten Siege“ vs. die „schweren Verkäufe“
Die Forscher fanden heraus, dass die Roboter bei einfachen, routinemäßigen Aufgaben großartig sind, aber mit komplexen, hochriskanten Aufgaben Schwierigkeiten haben.
- Die Superkraft der Roboter: Wenn es um Dokumentation, das Anpassen des Bauplans (CI/Build) und das Aktualisieren der Regeln geht, sind sie wie erfahrene Gärtner. Diese Aufgaben werden zu etwa 80–90 % genehmigt. Es ist, als wären die Roboter perfekt darin, den Boden zu fegen oder den Zaun neu zu streichen.
- Die Schwäche der Roboter: Bei der Reparatur defekter Motoren (Bugfixes) oder der Steigerung der Geschwindigkeit des Gebäudes (Performance) sind sie schlecht. Diese Aufgaben werden am häufigsten abgelehnt. Es ist, als würden die Roboter versuchen, ein Leck in einem Rohr zu flicken, aber am Ende den Keller überfluten.
2. Das Problem: „Zu viel auf einmal“
Wenn ein Roboter eine Blaupause einreicht, die abgelehnt wird, liegt das oft daran, dass er versucht hat, zu viel auf einmal zu erledigen.
- Die Analogie: Stellen Sie sich vor, Sie bitten einen Roboter: „Repariere die Küche.“ Wenn er dann mit einem Plan zurückkommt, das gesamte Haus umzubauen, das Fundament zu versetzen und das Dach neu zu gestalten, wird der menschliche Architekt sagen: „Auf keinen Fall, das ist zu viel.“
- Die Erkenntnis: Abgelehnte Blaupausen beinhalteten mehr Codezeilen und betrafen mehr Dateien als die akzeptierten. Die Roboter neigen dazu, „übermotiviert“ zu sein und massive Änderungen vorzunehmen, die die menschlichen Prüfer überfordern.
3. Der „Defekte Test“-Alarm
Bevor ein menschlicher Architekt eine Blaupause prüft, führt das automatisierte Sicherheitssystem des Gebäudes eine Kontrolle durch.
- Die Erkenntnis: Abgelehnte Blaupausen scheiterten häufig an diesen automatisierten Sicherheitsprüfungen (CI-Builds). Es ist, als hätte der Roboter einen Plan eingereicht, der die Brandschutzprüfung nicht bestanden hat. Wenn der Code des Roboters die Tests bricht, nehmen die Menschen ihn meist nicht einmal genauer unter die Lupe.
4. Warum sagen Menschen „Nein“? (Die 4 Gründe)
Die Forscher sind tiefer eingetaucht und haben 600 abgelehnte Blaupausen untersucht, um herauszufinden, warum Menschen „Nein“ sagten. Sie fanden vier Hauptgründe, sortiert von den häufigsten zu den seltensten:
Grund Nr. 1: Die „Geisterstadt“ (38 %)
- Was geschah: Der Roboter reichte eine Blaupause ein, und kein Mensch hat sie jemals angesehen. Die Menschen waren zu beschäftigt oder der Roboter wurde ignoriert, und die Anfrage blieb einfach liegen, bis sie automatisch geschlossen wurde.
- Analogie: Der Roboter hinterließ eine Notiz auf dem Schreibtisch des Architekten, aber der Architekt war im Urlaub, und die Notiz landete schließlich im Müll.
Grund Nr. 2: Die „Doppelbuchung“ (31 %)
- Was geschah: Der Roboter versuchte ein Problem zu lösen, das jemand anderes bereits in einer anderen Blaupause behoben hatte.
- Analogie: Der Roboter reichte einen Plan zum Bau einer neuen Brücke ein, ohne zu merken, dass ein anderes Team bereits gestern mit dem Bau genau dieser Brücke begonnen hatte.
Grund Nr. 3: Die „Defekte Blaupause“ (22 %)
- Was geschah: Der Code selbst war fehlerhaft, bestand die Tests nicht oder löste das Problem nicht tatsächlich.
- Analogie: Der Roboter baute eine Tür, aber die Tür lässt sich nicht öffnen, oder sie ist aus Glas, das zerbricht, wenn man sie berührt.
Grund Nr. 4: Die „Falschen Anweisungen“ (2 %)
- Was geschah: Der Roboter ignorierte das, was der Mensch verlangte, oder verstieß gegen rechtliche Regeln (wie das Urheberrecht).
- Analogie: Der Mensch bat den Roboter: „Streiche die Wand blau“, aber der Roboter strich sie rot und verwendete eine Farbe, die die Versicherung des Gebäudes nicht zulässt.
Das große Fazit
Das Paper kommt zu dem Schluss, dass diese KI-Roboter zwar immer besser darin werden, Code zu schreiben, aber immer noch schlecht darin sind, die Stimmung im Raum zu lesen.
Sie wissen nicht, wann sie aufhören müssen (sie machen Änderungen, die zu groß sind), sie wissen nicht, was bereits getan wurde (sie duplizieren Arbeit), und sie haben Schwierigkeiten, komplexen menschlichen Anweisungen zu folgen. Damit diese Roboter in Zukunft erfolgreich sein können, müssen sie lernen, kleiner, fokussierter und besser darin zu werden, zu prüfen, ob ihre Arbeit tatsächlich benötigt wird, bevor sie die Menschen um Erlaubnis zum Bauen bitten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.