Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance
Diese empirische Studie analysiert 7.156 Pull Requests und zeigt, dass Devin zwar einen einzigartigen positiven zeitlichen Trend bei der Akzeptanz aufweist, die Aufgabentypen jedoch den dominierenden Faktor für die Erfolgsquoten darstellen, wobei OpenAI Codex über diverse Kategorien hinweg die konsistenteste hohe Leistung zeigt, obwohl kein einzelner Agent in allen Aufgabentypen überragend ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Manager einer belebten Baustelle. Anstelle menschlicher Arbeiter haben Sie fünf verschiedene KI-Roboter (OpenAI Codex, GitHub Copilot, Devin, Cursor und Claude Code), die Code schreiben, Fehler beheben und Dokumentation verfassen können. Ihr Ziel ist es, herauszufinden, welcher Roboter es am besten schafft, seine Arbeit von den Baustellenprüfern genehmigt zu bekommen (die „Annahmerate für Pull Requests").
Diese Studie ist wie ein detaillierter Zeugnisbericht, der diese fünf Roboter über mehrere Monate hinweg vergleicht. Hier ist das Ergebnis, einfach erklärt:
1. Die „Aufgabenart" ist wichtiger als der Roboter
Die größte Überraschung war nicht, welcher Roboter am schnellsten war, sondern welche Art von Aufgabe sie erledigten.
- Die Analogie: Stellen Sie sich vor, Sie bitten einen Roboter, „ein Gedicht zu schreiben" im Vergleich dazu, „eine Brücke zu bauen". Ein Gedicht zu schreiben ist normalerweise leichter zu genehmigen als eine Brücke zu bauen.
- Das Ergebnis: Die Studie ergab, dass die Art der Aufgabe der wichtigste Faktor ist.
- Wenn die Roboter gebeten wurden, Dokumentation zu erstellen (wie Handbücher oder Kommentare), wurden sie in 82 % der Fälle genehmigt.
- Wenn sie gebeten wurden, neue Funktionen zu entwickeln (wie das Hinzufügen eines neuen Raums zu einem Haus), wurden sie nur in 66 % der Fälle genehmigt.
- Die Lehre: Wenn Sie einen Roboter nur an seiner Gesamtnote messen, lassen Sie sich möglicherweise täuschen. Ein Roboter, der hauptsächlich einfache „Gedichtschreib"-Aufgaben erledigt, wird wie ein Superstar aussehen, selbst wenn er bei „Brückenbau" katastrophal ist.
2. Kein einzelner Roboter gewinnt jede Kategorie
Es gibt keinen „besten Roboter" für alles. Jeder hat eine spezifische Superkraft.
- OpenAI Codex: Dies ist der zuverlässige Allrounder. Er schnitt bei fast jeder Art von Aufgabe durchweg gut ab und fiel nie unter ein anständiges Niveau.
- Claude Code: Dies ist der Dokumentationsspezialist. Er war am besten im Verfassen von Handbüchern und der Erstellung neuer Funktionen, aber wir müssen vorsichtig sein, da er in dieser Studie nicht viele andere Aufgaben erledigte.
- Cursor: Dies ist der Fehlerbehebungs-Spezialist. Wenn es darum ging, kaputte Dinge zu reparieren, war er der Top-Performer.
- Devin: Dieser Roboter startete langsam, wurde aber mit der Zeit besser. Er war der einzige, der einen klaren Trend zur Verbesserung von Woche zu Woche zeigte und von etwa 60 % Annahmerate auf 80 % kletterte.
3. Zeit verändert die Dinge (aber nicht bei allen)
Die Forscher beobachteten diese Roboter über Monate hinweg, um zu sehen, ob sie lernten oder sich verbesserten.
- Die Analogie: Denken Sie daran wie an einen Schüler, der jede Woche einen Test schreibt.
- Devin ist wie der Schüler, der hart lernt und jede Woche höhere Noten erzielt.
- Die anderen sind wie Schüler, die bereits klug sind; sie starten hoch und bleiben hoch, zeigen aber im Laufe der Zeit nicht viel Verbesserung. Sie bleiben einfach konstant.
4. Warum der „globale Score" irreführend ist
Die Studie warnt davor, auf einen einzelnen „Durchschnittswert" für einen Roboter zu schauen.
- Die Analogie: Stellen Sie sich zwei Köche vor. Koch A kocht nur einfache Salate (die jeder liebt). Koch B kocht nur komplexe, würzige Eintöpfe (die schwer richtig hinzubekommen sind). Wenn Sie nur auf die „durchschnittliche Kundenbewertung" schauen, könnte Koch A besser aussehen. Das bedeutet aber nicht, dass Koch A ein besserer Koch ist; es bedeutet nur, dass ihm einfachere Zutaten gegeben wurden.
- Das Ergebnis: Die Forscher mussten die Roboter nach der Art der Aufgabe, die sie erledigten, trennen, um einen fairen Vergleich zu erhalten. Sobald sie das taten, stellten sie fest, dass sich der „beste" Roboter je nachdem änderte, ob es darum ging, einen Fehler zu beheben, einen Test zu schreiben oder ein Dokument zu aktualisieren.
Zusammenfassung
Wenn Sie einen KI-Coding-Assistenten einstellen möchten, fragen Sie nicht einfach: „Wer ist der Beste?"
- Wenn Sie Fehlerbehebungen benötigen, schauen Sie sich Cursor oder OpenAI Codex an.
- Wenn Sie neue Funktionen oder Dokumentation benötigen, sind Claude Code oder OpenAI Codex möglicherweise Ihre beste Wahl.
- Wenn Sie einen Roboter wollen, der sich im Laufe der Zeit lernt und verbessert, ist Devin derjenige, den man im Auge behalten sollte.
Die Hauptaussage ist, dass Kontext König ist. Sie können ein Werkzeug nicht beurteilen, ohne genau zu wissen, welche Aufgabe es zu erledigen hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.