AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates
Diese Arbeit analysiert empirisch den AIDev-pop-Datensatz, um aufzuzeigen, dass gleichzeitige Einreichungen von KI-Agenten hochgradig verbreitet sind, vorwiegend denselben Agenten betreffen und zu signifikant höheren Merge-Konflikt-Raten bei Cross-Agent-Paaren im Vergleich zu Intra-Agent-Paaren führen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, geschäftige Baustelle vor, auf der anstelle von menschlichen Arbeitern Dutzende hochqualifizierter, unabhängiger Roboter (KI-Coding-Agenten) versuchen, genau dasselbe Haus gleichzeitig zu bauen und zu reparieren.
Dieses Paper ist ein Zeugnis darüber, was passiert, wenn diese Roboter versuchen, zusammenzuarbeiten, ohne miteinander zu sprechen. Die Forscher haben tausende reale Projekte auf GitHub untersucht, um zu sehen, wie oft diese Roboter kollidieren, wie ihre Kämpfe aussehen und wie chaotisch die Ergebnisse werden.
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Der „Stau“ der Roboter
Die erste große Frage war: Wie oft arbeiten diese Roboter zur gleichen Zeit am selben Haus?
Die Antwort ist: Fast immer.
- Das Ergebnis: In etwa 40 % der Projekte arbeiteten zwei Roboter in derselben Sekunde aktiv am selben Haus. Wenn man ihnen etwas mehr Zeit gibt (ein Zeitfenster von einer Woche), steigt diese Zahl auf fast 95 %.
- Die Analogie: Stellen Sie sich eine belebte Küche vor, in der 9 von 10 Köchen gleichzeitig auf demselben Schneidebrett Gemüse hacken. Es ist chaotisch, aber es ist die Norm.
- Wer kämpft? Überraschenderweise ist es selten ein Kampf zwischen verschiedenen Arten von Robotern (wie einem „Devin“-Roboter, der gegen einen „Copilot“-Roboter kämpft). Es ist fast immer der gleiche Typ von Roboter, der gegen sich selbst kämpft. In 99,5 % der Fälle ist der Konflikt zwischen zwei Instanzen desselben KI-Modells, die parallel arbeiten. Es ist, als hätten zwei identische Zwillinge versucht, dieselbe Wand zu streichen, ohne sich abzustimmen.
2. Der „Zusammenstoß“ (Merge-Konflikte)
Wenn zwei Roboter versuchen, ihre Änderungen in dieselbe Datei zu speichern, muss der Computer entscheiden, welche Version er behält. Dies nennt man einen „Merge“. Wenn sie dieselben Zeilen geändert haben, wird der Computer verwirrt und wirft eine „Konflikt“-Warnung aus.
Die Forscher simulierten diese Merges, um zu sehen, wie oft Dinge kaputtgingen:
- Gleicher Roboter vs. gleicher Roboter: Wenn zwei Instanzen derselben KI versuchten zu mergen, kam es in etwa 20 % der Fälle zu einem Zusammenstoß.
- Verschiedene Roboter vs. verschiedene Roboter: Wenn zwei verschiedene Arten von KI versuchten zu mergen, kam es in etwa 42 % der Fälle zu einem Zusammenstoß.
- Das Fazit: Verschiedene Roboter sind doppelt so wahrscheinlich mit sich in Konflikt zu geraten wie identische Roboter. Da jedoch meist identische Roboter zusammenarbeiten, wird das gesamte Chaos hauptsächlich durch sie verursacht.
3. Worüber streiten sie sich?
Wenn die Roboter kollidieren, welche Art von Kampf findet statt?
- Der Ort: Die meisten Kämpfe finden im Quellcode (den eigentlichen Anweisungen der Software) statt, nicht in den „Einkaufslisten“ (Dependency-Dateien) oder der Dokumentation. Etwa 8-4 % der Konflikte lagen im Code selbst.
- Die Art des Kampfes:
- Inhaltskämpfe (58 %): Beide Roboter versuchten, denselben Satz in demselben Absatz zu ändern.
- Strukturelle Kämpfe (42 %): Das ist der seltsamste Teil. Ein Roboter entschied, eine Datei zu löschen, während der andere entschied, sie zu modifizieren. Oder beide versuchten, eine neue Datei mit demselben Namen, aber unterschiedlichem Inhalt zu erstellen.
- Die Analogie: Es ist, als würde ein Roboter sagen: „Ich reiße die Küche ab“, während der andere sagt: „Ich renoviere die Küche“, und ein dritter sagt: „Ich baue genau hier eine neue Küche“. Sie können nicht alle recht haben.
4. Warum ist das wichtig? (Die versteckten Kosten)
Das Paper stellt fest, dass wir zwar nur die „textuellen“ Kämpfe (die Codezeilen) gemessen haben, die realen Kosten jedoch viel höher sind.
- Die „Zeitverlust“-Kosten: Da die Roboter nicht wissen, dass die anderen arbeiten, verschwenden sie Zeit mit dem Bauen von Funktionen, die niemals kombiniert werden können.
- Die „menschlichen Aufräum“-Kosten: Irgendwann muss ein Mensch eingreifen, um das Chaos zu beseitigen. Er muss entscheiden, welcher Roboter recht hatte, welche Datei zu behalten ist und wie man das Gelöschte wiederherstellt. Dies macht den Zweck, die Roboter die Arbeit erledigen zu lassen, zunichte.
Zusammenfassung
Das Paper kommt zu dem Schluss, dass KI-Coding-Agenten derzeit wie einsame Genies sind, die in einem gemeinsamen Raum arbeiten. Sie sind individuell unglaublich produktiv, aber weil sie nicht miteinander kommunizieren (selbst wenn es sich um dasselbe Modell handelt), stolpern sie ständig über ihre eigenen Füße.
- Häufigkeit: Sie arbeiten fast immer gleichzeitig.
- Konfliktrate: Sie kollidieren zu etwa 20 % (gleicher Roboter) und zu 42 % (verschiedene Roboter).
- Das Chaos: Die Kämpfe betreffen hauptsächlich die Codestruktur (Dateien löschen vs. hinzufügen) und nicht nur einfache Tippfehler.
Die Forscher schlagen vor, dass wir für den Fall, dass KI wirklich Software bauen soll, diesen Robotern beibringen müssen, wie sie ihre Zeitpläne koordinieren und miteinander sprechen, bevor sie anfangen, am selben Code zu hämmern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.