Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub
Dit artikel presenteert een grootschalige empirische studie van 33.000 door AI gegenereerde pull requests op GitHub, waarbij kwantitatieve analyse en kwalitatieve taxonomie worden gecombineerd om te onthullen dat hoewel documentatie- en CI-taken het vaakst slagen, agentic-fouten worden gedreven door factoren zoals grote codewijzigingen, CI-fouten en een gebrek aan aansluiting bij de verwachtingen van menselijke reviewers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een bruisende bouwplaats voor waar menselijke architecten en ingenieurs software bouwen. Onlangs is er een nieuwe ploeg AI-robots (genaamd "coding agents") gearriveerd. Deze robots fluisteren niet alleen suggesties aan de mensen; ze bouwen nu hele kamers, schilderen muren en dienen zelfs hun eigen blauwdrukken in (genaamd "Pull Requests" of "PR's") om aan het gebouw te worden toegevoegd.
Dit paper is als een forensisch onderzoek naar waarom sommige door robots gebouwde kamers worden goedgekeurd en aan het gebouw worden toegevoegd, terwijl anderen worden afgekeurd en afgebroken. De onderzoekers hebben naar meer dan 33.000 blauwdrukken gekeken die door vijf verschillende robotploegen op GitHub zijn ingediend om te ontdekken waar de robots de fout in gaan.
Hier is de uitslag van hun bevindingen, met behulp van eenvoudige analogieën:
1. De "Makkelijke Overwinningen" vs. De "Moeilijke Verkoop"
De onderzoekers ontdekten dat de robots uitblinken in het uitvoeren van eenvoudige, routineuze klusjes, maar moeite hebben met complexe, risicovolle taken.
- De Superkracht van de Robots: Ze zijn als deskundige tuinmannen als het gaat om documentatie, het bijwerken van de planning van het gebouw (CI/Build) en het bijwerken van de regels. Deze taken worden ongeveer 80-90% van de tijd goedgekeurd. Het is alsof de robots heel goed zijn in het vegen van de vloer of het opnieuw schilderen van het hek.
- De Zwakte van de Robots: Ze zijn slecht in het repareren van kapotte motoren (bug fixes) of het sneller maken van het gebouw (performance). Dit zijn de taken die het vaakst worden afgekeurd. Het is alsof de robots proberen een lekkende leiding te repareren, maar daarmee de kelder onder water zetten.
2. Het Probleen van "Te Groot om te Handelen"
Wanneer een robot een blauwdruk indient die wordt afgekeurd, komt dat vaak omdat de robot probeerde te veel tegelijk te doen.
- De Analogie: Stel je voor dat je een robot vraagt om "de keuken te repareren." Als hij terugkomt met een plan om het hele huis te herbouwen, de fundering te verplaatsen en het dak te ontwerpen, zal de menselijke architect zeggen: "Nee manier, dat is te veel."
- De Bevinding: Afgekeurde blauwdrukken bevatten meer regels code en raakten meer bestanden dan de geaccepteerde blauwdrukken. De robots hebben de neiging om "overenthousiast" te zijn en maken enorme wijzigingen die de menselijke beoordelaars overweldigen.
3. Het Alarm van de "Kapotte Test"
Voordat een menselijke architect naar een blauwdruk kijkt, voert het automatische beveiligingssysteem van het gebouw een controle uit.
- De Bevinding: Afgekeurde blauwdrukken faalden regelmatig voor deze automatische beveiligingscontroles (CI builds). Het is alsof de robot een plan heeft ingediend dat niet door de brandveiligheidsinspectie is gekomen. Als de code van de robot de tests breekt, nemen de mensen er meestal niet eens de tijd voor om er nauwkeurig naar te kijken.
4. Waarom zeggen mensen "Nee"? (De 4 Redenen)
De onderzoekers gingen dieper in op 600 afgekeurde blauwdrukken om te ontdekken waarom mensen nee zeiden. Ze vonden vier hoofdoorzaken, gerangschikt van meest naar minst voorkomend:
Reden #1: De "Spookstad" (38%)
- Wat er gebeurde: De robot diende een blauwdruk in, en geen enkele mens heeft er ooit naar gekeken. De mensen waren te druk, of de robot werd genegeerd, en de aanvraag bleef daar liggen totdat deze automatisch werd gesloten.
- Analogie: De robot liet een briefje achter op het bureau van de architect, maar de architect was met vakantie en het briefje werd uiteindelijk bij het oud papier gegooid.
ের Reden #2: De "Dubbele Boeking" (31%)
- Wat er gebeurde: De robot probeerde een probleem op te lossen dat iemand anders al had opgelost in een andere blauwdruk.
- Analogie: De robot diende een plan in om een nieuwe brug te bouwen, zonder te beseffen dat een ander team gisteren al aan precies diezelfde brug was begonnen.
Reden #3: De "Kapotte Blauwdruk" (22%)
- Wat er gebeurde: De code zelf was kapot, faalde voor de tests, of loste het probleem niet daadwerkelijk op.
- Analogie: De robot bouwde een deur, maar de deur gaat niet open, of hij is gemaakt van glas dat versplintert zodra je het aanraakt.
Reden #4: De "Verkeerde Instructies" (2%)
- Wat er gebeurde: De robot negeerde wat de mens vroeg of overtrad juridische regels (zoals auteursrecht).
- Analogie: De mens vroeg de robot om "de muur blauw te schilderen", maar de robot schilderde hem rood en gebruikte een verf die de verzekering van het gebouw niet toestaat.
De Belangrijkste Conclusie
Het paper concludeert dat hoewel deze AI-robots steeds beter worden in het schrijven van code, ze nog steeds slecht zijn in het aanvoelen van de situatie.
Ze weten niet wanneer ze moeten stoppen (ze maken wijzigingen die te groot zijn), ze weten niet wat er al is gedaan (ze dupliceren werk), en ze hebben moeite met het volgen van complexe menselijke instructies. Om in de toekomst succesvol te zijn, moeten deze robots leren om kleiner, meer gefocust en beter in staat te zijn om te controleren of hun werk daadwerkelijk nodig is voordat ze mensen om toestemming vragen om te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.