Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Diese Arbeit zeigt, dass Machine-Learning-Modelle, die ausschließlich Merkmale zum Zeitpunkt der Einreichung verwenden, die Annahme sowohl von menschlichen als auch von Agenten-Pull-Requests genau vorhersagen können, aber Schwierigkeiten haben, den Review-Aufwand zu prognostizieren, was darauf hindeutet, dass ihr bester Einsatz als beratende Werkzeuge für das Triage-Management und nicht als automatisierte Entscheidungsträger ist.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine geschäftige Software-Werkstatt vor, in der Code-Änderungen wie Pakete sind, die versandt werden wollen. In den alten Tagen wurden diese Pakete nur von menschlichen Arbeitern verschickt. Aber jetzt ist eine neue Crew aus KI-Robotern dem Team beigetreten, die ihre eigenen Code-Pakete neben denen der Menschen abliefern. Die Manager (genannt „Maintainer“) sind plötzlich überfordert. Sie haben einen Berg von Paketen zu prüfen, und sie müssen zwei Dinge sofort wissen: Welche Pakete werden genehmigt und versandt werden? und Welche davon werden eine riesige, erschöpfende Inspektion erfordern?
Dieses Paper ist wie ein Detektiv, der versucht, dieses Rätsel zu lösen, indem er nur die Hinweise nutzt, die auf der Außenseite des Pakets sichtbar sind, in dem Moment, als es ankommt – noch bevor jemand die Box geöffnet oder darüber gesprochen hat.
Die große Entdeckung: Das „Paketetikett“ verrät viel
Die Forscher fanden heraus, dass man tatsächlich eine ziemlich gute Vermutung darüber anstellen kann, ob ein Paket akzeptiert wird, indem man nur auf das Etikett und die Box blickt. Sie bauten ein intelligentes Computersystem, das Dinge untersuchte wie:
- Wie lang die Beschreibung auf dem Etikett war.
- Wie viele Dateien in der Box enthalten waren.
- Zu welcher Tageszeit es gesendet wurde.
- Den Ruf der Werkstatt, aus der es kam.
Als sie dieses System testeten, wurde der Computer sehr gut darin, die „akzeptierten“ Pakete zu erkennen. Tatsächlich erreichten die besten Modelle (unter Verwendung einer Methode namens „Random Forest“) einen Wert von 0,958 von 1,0 bei der korrekten Identifizierung, welche Pakete akzeptiert würden. Das ist so, als würde ein Detektiv 96 von 100 Fällen lösen, nur indem er kurz die Adresse anschaut!
Es gibt jedoch einen Haken. Das Paper warnt ausdrücklich davor, dass dieses System kein magischer „Ja/Nein“-Knopf ist. Der Computer ist gut darin, das „Wahrscheinliche Ja“ vom „Wahrscheinlichen Nein“ zu sortieren, aber er ist nicht perfekt genug, um die endgültige Entscheidung im Alleingang zu treffen. Die Forscher schlagen vor, ihn als hilfreichen Assistenten zu nutzen, der den Managern sagt: „Hey, schau dir dieses hier zuerst an!“, anstatt als ein automatisierter Roboter, der sagt: „Versand freigeben!“, ohne dass jemals ein Mensch darauf geschaut hat.
Das schwerere Rätsel: Wie viel Arbeit wird es sein?
Die zweite Frage war kniffliger: „Wie viel Aufwand wird die Überprüfung kosten?“ Die Forscher versuchten, zwei Dinge vorherzusagen: wie viele Kommentare das Paket erhalten würde (das „Geplapper“) und wie viele Stunden es in der Warteschlange liegen würde, bevor es versandt wird (die „Wartezeit“).
Hier waren die Ergebnisse viel bescheidener. Der Computer konnte die Menge des Geplappers mit einer Fehlermarge von durchschnittlich etwa 1,00 Kommentar erraten, aber er erklärte nur 20 % der Gründe, warum einige Pakete mehr Kommentare erhielten als andere. Die Vorhersage der Wartezeit war sogar noch schwieriger; die Schätzungen des Computers lagen im Durchschnitt um 24,00 Stunden daneben, und er erklärte nur 12 % der Variation.
Warum war das so schwer? Das Paper legt nahe, dass die Wartezeit nicht nur vom Paket selbst abhängt. Es ist wie das Warten auf einen Bus: Selbst wenn Ihr Ticket perfekt ist, warten Sie vielleicht trotzdem lange, wenn der Busfahrer gerade Pause macht, der Verkehr schlecht ist oder der Bus voll ist. Ähnlich verhält es sich mit einem Code-Paket: Es könnte lange warten, weil die Reviewer beschäftigt sind, die automatisierten Testwerkzeuge langsam sind oder das Team einfach einen langsamen Workflow hat. Das Paper argumentiert, dass man diese „Staus“ nicht allein durch den Blick auf das Paketetikett vorhersagen kann.
Menschen vs. Roboter: Spielen sie nach unterschiedlichen Regeln?
Das Team fragte sich auch, ob die Pakete der KI-Roboter schwerer vorherzusagen waren als die der Menschen. Sie fanden heraus, dass die KI-Pakete tatsächlich etwas leichter zu sortieren waren, da sie sehr ordentliche, regelmäßige Muster folgten. Die menschlichen Pakete waren unordentlicher und variabler.
Interessanterweise neigten die KI-Pakete dazu, etwas mehr „Geplapper“ (Kommentare) zu bekommen und dauerten etwas länger bis zum Versand. Das Paper deutet an, dass dies möglicherweise daran liegt, dass die menschlichen Manager besonders vorsichtig sind und die Arbeit der Roboter genauestens prüfen, um sicherzustellen, dass diese keine versteckten Tricks anwenden. Doch trotz dieser zusätzlichen Prüfung war der Computer immer noch in der Lage, das Ergebnis für die Roboter genauso gut vorherzusagen wie für die Menschen.
Was das Paper verneint
Es ist wichtig zu wissen, was diese Studie nicht getan hat. Die Forscher schlossen explizit die Verwendung jeglicher Informationen aus, die nach dem Öffnen des Pakets erscheinen. Sie sahen sich nicht die Kommentare an, die Menschen schrieben, die Ergebnisse der automatisierten Tests oder die endgültige Entscheidung über das Zusammenführen (Merge) des Codes an. Hätten sie diese Informationen verwendet, wäre das so, als würde man das Wetter vorhersagen, indem man den Boden betrachtet, nachdem es bereits geregnet hat. Der ganze Punkt war zu sehen, ob man das Ergebnis vorhersagen kann, bevor der Regen einsetzt.
Sie schlossen auch die Idee aus, dass der Computer die menschlichen Reviewer ersetzen könnte. Die Ergebnisse zeigen, dass der Computer zwar ein großartiges „Triage“-Werkzeug ist (wie ein Verkehrspolizist, der Autos lenkt), aber er kann die komplexen sozialen und prozessualen Gründe, warum eine Überprüfung so lange dauert, nicht vollständig erklären.
Das Fazit
Kurz gesagt legt das Paper nahe, dass wir ein intelligentes System bauen können, um Managern zu helfen, ihre Arbeit zu priorisieren. Wenn ein Paket ein klares Etikett hat, eine angemessene Größe besitzt und aus einer guten Quelle stammt, kann das System sagen: „Dieses sieht sicher aus, lass uns das zuerst prüfen.“ Aber wenn es darum geht, vorherzusagen, wie lange eine Überprüfung dauern wird oder wie viel Streit entstehen wird, stößt das System an seine Grenzen. Das Paper kommt zu dem Schluss, dass diese Werkzeuge am besten als hilfreicher Begleiter zum menschlichen Urteilsvermögen eingesetzt werden sollten und nicht als dessen Ersatz. Die Zukunft dieser Technologie könnte besser werden, wenn wir mehr Hinweise hinzufügen, wie etwa womit die Reviewer gerade beschäftigt sind oder wie der Code tatsächlich funktioniert, aber für den Moment erzählen die Hinweise „außerhalb der Box“ nur einen Teil der Geschichte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.