BulkPR-Bench: Benchmarking Queue-Level Governance of Interacting Pull Requests
Dieses Paper führt BulkPR-Bench ein, einen neuen Benchmark zur Evaluierung von Coding-Agenten hinsichtlich ihrer Fähigkeit, interagierende Pull-Requests zu verwalten, indem sie gemeinsam sichere Merge-Reihenfolgen bestimmen, wobei aufgezeigt wird, dass aktuelle Modelle Schwierigkeiten haben, eine zuverlässige gesamte Warteschlangensteuerung zu erreichen, trotz Verbesserungen beim Umgang mit relationalen Abhängigkeiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, chaotische Baustelle vor, auf der hunderte Teams gleichzeitig versuchen, verschiedene Räume in demselben Wolkenkratzer zu bauen. In der Welt der Software werden diese „Räume“ als Pull Requests (PRs) bezeichnet – vorgeschlagene Änderungen an einem Codebase. Normalerweise prüft ein Teamleiter (oder ein automatisiertes System) einen Vorschlag nach dem anderen. Wenn er gut aussieht, lässt er ihn zu. Wenn er schlecht aussieht, schickt er ihn zurück. Das funktioniert gut, wenn jeder an separaten, isolierten Aufgaben arbeitet.
Aber was passiert, wenn die Teams beginnen, sich gegenseitig zu behindern? Vielleicht baut Team A eine neue Tür, während Team B versucht, ein Fenster direkt daneben einzubauen, und Team C versucht, die Wand zu verstärken, die sowohl die Tür als auch das Fenster benötigt. Wenn man sie nacheinander reinlässt, ohne das Gesamtbild zu betrachten, könnte man am Ende eine Tür haben, die nicht passt, ein Fenster, das die Tür blockiert, oder eine Wand, die einstürzt. Dies ist das Problem der interagierenden Pull Requests. Die große Frage für Informatiker lautet: Können wir einen „intelligenten Manager“ (einen KI-Agenten) bauen, der nicht nur einen Raum nach dem anderen prüft, sondern die gesamte Baustelle im Blick behält, herausfindet, welche Teams miteinander streiten, welche zusammenarbeiten müssen, und die perfekte Reihenfolge festlegt, um sie alle hereinzulassen, ohne dass das Gebäude zusammenbricht?
Genau das befasst sich mit der Arbeit BulkPR-Bench. Die Forscher haben einen riesigen, kniffligen Test entwickelt, um zu sehen, ob aktuelle KI-Coding-Assistenten als diese intelligenten Manager fungieren können. Sie setzten ein Szenario mit 18 verschiedenen realen Softwareprojekten und 581 neuen, schwierigen Änderungen auf. Das Ziel war nicht nur zu sehen, ob die KI einen einzelnen Fehler beheben kann, sondern ob sie eine ganze Warteschlange von Änderungen verwalten, die verborgenen Beziehungen zwischen ihnen verstehen kann (wie etwa „Team B kann erst anfangen, wenn Team A fertig ist“) und diese sicher zusammenführen kann.
Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „noch ein weiter Weg“. Die KI-Agenten waren überraschend gut darin, einige der Problemstellen zu erkennen. Die besten KI-Modelle schafften es, etwa 66,6 % der schwierigen Gruppen von Änderungen sicher zusammenzuführen, die sie bearbeiten sollten, was besser ist als die alten, einfachen Methoden, die einfach nacheinander prüfen (welche nur etwa 53,1 % erreichten). Wenn es jedoch um das ultimative Ziel ging – eine ganze Warteschlange an Änderungen erfolgreich und ohne einen einzigen Fehler zusammenzuführen –, hatte die KI zu kämpfen. Von 324 Versuchen, eine vollständige Warteschlange zu verwalten, waren nur 8 perfekt.
Das Paper legt nahe, dass diese KI-„Manager“ zwar besser darin werden, wie verschiedene Code-Änderungen miteinander in Beziehung stehen, aber noch nicht zuverlässig genug sind, um eine ganze Baustelle eigenständig zu leiten. Sie übersehen oft versteckte Konflikte oder bringen die Reihenfolge durcheinander, was zu unsicheren Zusammenführungen führt. Die Forscher fanden heraus, dass es der KI half, mehr Informationen auf einmal zu erhalten (mehr Änderungen gleichzeitig zu sehen), aber dies löste das Problem nicht vollständig. Kurz gesagt: Die KI lernt, ein guter Vorarbeiter für kleine Gruppen zu sein, aber sie ist noch nicht ganz bereit, der Bauleiter für das gesamte Gebäude zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.