On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories
Diese empirische Studie von 4.532 agentic Pull Requests zeigt, dass Reviewer-Bots zwar zivilen und vorschriftsmäßigen Feedback liefern, jedoch höhere Kommentarvolumina mit längeren Lösungszeiten und geringerer Feedbackqualität korrelieren, was nahelegt, dass die Priorisierung gezielter, hochrelevanter Kommentare effektiver ist als die Generierung großer Mengen an Kommentaren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Softwareentwicklung als eine riesige, geschäftige Baustelle vor. In der Vergangenheit, wenn ein Arbeiter (ein menschlicher Entwickler) einen neuen Abschnitt eines Gebäudes fertiggestellt hatte, bat er einen leitenden Architekten, diesen zu inspizieren, bevor er genehmigt wurde.
Stellen Sie sich nun eine neue Art von Arbeiter vor: KI-Roboter, die ganze Abschnitte des Gebäudes eigenständig errichten können. Dies sind die „Agentic Pull Requests" (agentic PRs). Sie bauen Dinge und reichen sie zur Genehmigung ein.
Doch hier kommt die Wendung: Die Personen, die diese von Robotern gebauten Abschnitte inspizieren, sind ebenfalls Roboter. Dies sind die Reviewer Bots. Sie sind so programmiert, dass sie den Code lesen, Fehler finden und Notizen für die menschlichen Architekten hinterlassen.
Dieser Artikel ist wie eine Detektivgeschichte, die fragt: Wie gut erledigen diese Roboterinspektoren ihre Arbeit, und hilft ihr Verhalten den Bauprozess tatsächlich oder schadet es ihm?
Hier ist das, was die Forscher herausfanden, aufgeteilt in einfache Konzepte:
1. Die Roboterinspektoren sind höflich, aber etwas „laut"
Die Forscher analysierten über 7.000 Notizen, die von diesen Roboterinspektoren hinterlassen wurden.
- Der Ton: Die Roboter sind unglaublich höflich. Fast 100 % ihrer Kommentare sind freundlich und konstruktiv. Sie werden niemals wütend oder unhöflich.
- Der Inhalt: Sie sprechen hauptsächlich über das Beheben von Fehlern (Risse in der Wand), Tests (Sicherstellen, dass die Lichter funktionieren) und Dokumentation (Schreiben der Bedienungsanleitungen).
- Die Qualität: Die Roboter sind sehr gut darin, kurz zu sein. Sie schwafeln nicht. Allerdings sind ihre Notizen nur mäßig hilfreich. Manchmal weisen sie auf Dinge hin, die für das spezifische Code-Stück, das sie betrachten, tatsächlich nicht wichtig sind.
Die Analogie: Stellen Sie sich einen Roboterinspektor vor, der über eine Baustelle läuft. Er ist sehr höflich und schreit niemals. Er schreibt kurze, ordentliche Notizen. Aber oft zeigt er auf einen völlig intakten Ziegelstein und sagt: „Prüfen Sie das", obwohl der Ziegelstein in Ordnung ist. Er ist effizient beim Schreiben, aber nicht immer effizient beim Finden der wirklichen Probleme.
2. Das Problem „Mehr ist weniger"
Die größte Entdeckung in der Studie betrifft Menge versus Qualität.
Die Forscher stellten eine seltsame Beziehung fest: Je mehr Kommentare ein Roboter in einem Projekt hinterlässt, desto länger dauert es, das Projekt abzuschließen.
- Der Verdünnungseffekt: Stellen Sie sich eine Tasse starken Kaffee vor. Wenn Sie einen Löffel Kaffee hinzufügen, ist er stark und aromatisch. Wenn Sie Löffel für Löffel schwachen, wässrigen Kaffee hinzufügen, wird die Tasse voll, aber der Geschmack wird verdünnt und schwach.
- Die Erkenntnis: Wenn ein Reviewer-Bot nur wenige Kommentare hinterlässt, sind diese Kommentare normalerweise relevant und klar. Aber wenn ein Bot in den „Spam-Modus" verfällt und 20 oder 30 Kommentare hinterlässt, sinkt die durchschnittliche Qualität dieser Kommentare. Der Roboter beginnt, winzige, unwichtige Dinge aufzuzeigen und erzeugt „Lärm".
Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Nadel im Heuhaufen zu finden.
- Szenario A: Ein hilfreicher Roboter zeigt auf eine Stelle und sagt: „Die Nadel ist hier." Sie finden sie schnell.
- Szenario B: Ein hyperaktiver Roboter zeigt auf 50 verschiedene Stellen und sagt: „Vielleicht hier? Vielleicht hier? Prüfen Sie dieses Stroh? Prüfen Sie jenes Stroh?" Sie verbringen am Ende Stunden damit, alle 50 Stellen zu überprüfen, und die durchschnittliche Wahrscheinlichkeit, dass eine einzelne Stelle die richtige ist, ist sehr gering. Die „Hilfe" des Roboters verlangsamt Sie tatsächlich.
3. Führt „gutes" Feedback zur schnelleren Genehmigung von Projekten?
Man könnte denken, dass ein Projekt schneller genehmigt wird, wenn ein Roboter hochwertige, relevante Rückmeldungen gibt. Die Studie sagt: Nicht wirklich.
- Qualität versus Geschwindigkeit: Die „Qualität" des Feedbacks (wie relevant oder klar es ist) bewirkte nicht wirklich, dass das Projekt schneller oder langsamer genehmigt wurde.
- Menge versus Geschwindigkeit: Die Anzahl der Kommentare war der Hauptfaktor. Projekte mit einer hohen Anzahl von Bot-Kommentaren dauerten deutlich länger, um abgeschlossen zu werden.
Das Fazit
Die Studie kommt zu dem Schluss, dass diese Reviewer-Bots, obwohl sie höflich und prägnant sind, derzeit eher wie automatisierte Vorprüfer fungieren denn wie tiefgründige, strategische Rezensenten.
Die wichtigste Erkenntnis für die Menschen, die diese Roboter bauen, lautet: Hören Sie auf, so viele Kommentare wie möglich zu hinterlassen.
Anstatt eines Roboters, der 50 mittelmäßige Notizen hinterlässt, brauchen wir einen Roboter, der 5 großartige Notizen hinterlässt. Indem sie zu viele Kommentare generieren, erzeugen die Bots einen „Verdünnungseffekt", bei dem ihr wertvoller Rat in einem Meer unwichtiger Geräusche untergeht und den gesamten Softwareentwicklungsprozess verlangsamt.
Kurz gesagt: Ein Roboter, der sehr wenig sagt, aber das Richtige sagt, ist besser als ein Roboter, der viel redet, aber meist nichts Wichtiges sagt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.