AgenticFlict: A Large-Scale Dataset of Merge Conflicts in AI Coding Agent Pull Requests on GitHub
Dit paper introduceert AgenticFlict, een groot dataset met meer dan 29.000 merge-conflicten uit AI-genererde pull requests op GitHub, wat aantoont dat integratieproblemen bij AI-codering frequent en substantieel zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
AgenticFlict: Een Grote Verzameling van "Botsingen" tussen AI en Mensen
Stel je voor dat softwareontwikkeling een enorme, levendige stad is waar duizenden mensen samen bouwen aan een gigantisch complex van gebouwen (de code). In het verleden deden alleen mensen dit werk. Maar nu zijn er AI-coders (kunstmatige intelligentie) bijgekomen die ook meehelpen bouwen. Ze zijn snel, slim en schrijven code alsof het niets is.
Maar hier is het probleem: als twee mensen (of een mens en een AI) tegelijkertijd aan hetzelfde raam van hetzelfde gebouw werken, ontstaat er een botsing. In de programmeertaal noemen we dit een merge conflict. Het is alsof je en je buurman allebei proberen een raam te schilderen, maar jullie hebben verschillende verfkleuren gekozen en jullie verf zit nu over elkaar heen. Niemand weet meer wie wat heeft gedaan en het raam ziet er rot uit.
Dit artikel introduceert AgenticFlict, een gigantische database die precies vastlegt waar en hoe vaak deze botsingen gebeuren tussen AI en mensen.
Wat is AgenticFlict eigenlijk?
Stel je voor dat je een detective bent die duizenden bouwplannen bestudeert. De onderzoekers (Daniel en John) hebben een speciale robot gebouwd die duizenden bouwplannen van AI-robots doorneemt en ze probeert samen te voegen met de bestaande plannen van de mensen.
- De Verzameling: Ze hebben 142.000 bouwplannen (Pull Requests) verzameld van 59.000 verschillende bouwprojecten (repositories).
- De Test: Ze lieten hun robot deze plannen "samenvoegen" in een veilige testomgeving.
- Het Resultaat: Bij 27.67% van de plannen ging het mis! De robot kon de nieuwe AI-code niet netjes samenvoegen met de oude code. Er ontstond een "botsing".
- De Details: Ze hebben niet alleen gezegd "het ging mis", maar ze hebben ook precies opgeschreven waar het misging (welke regel van de code, welk bestand). Ze hebben meer dan 336.000 specifieke botsingspunten gevonden.
Waarom is dit belangrijk?
Vroeger dachten we: "AI helpt mensen, dus alles wordt makkelijker." Maar dit onderzoek laat zien dat AI soms ook extra rommel veroorzaakt.
Niet alle AI's zijn even goed:
Het is alsof je vijf verschillende bouwteams hebt.- Team Copilot maakt de minste fouten en botsingen (slechts 15% van de tijd).
- Team OpenAI Codex is echter een echte chaosmaker: bij 32% van de plannen botst het met de bestaande code.
- Dit betekent dat sommige AI's "ruigere" code schrijven die moeilijker te integreren is dan andere.
Hoe groter het project, hoe groter de chaos:
Als een AI een heel klein stukje code aanpast (bijvoorbeeld één regel), is de kans op een botsing klein (ongeveer 10%). Maar als de AI een heel groot stuk code herschrijft (veel regels), stijgt de kans op een botsing snel naar 30% of meer.- Analogie: Als je één steen in een muur vervangt, is dat makkelijk. Als je de hele muur opnieuw wilt metselen terwijl iemand anders er nog aan werkt, krijg je een enorme ruzie.
Het is een nieuw soort uitdaging:
We weten nu dat AI niet alleen "code schrijft", maar ook "integratieproblemen creëert". Mensen moeten nu niet alleen kijken of de code goed werkt, maar ook of de AI niet per ongeluk de code van een ander heeft overschreven of verward.
Wat kunnen we hiermee doen?
De onderzoekers hebben deze database (AgenticFlict) gratis beschikbaar gesteld voor iedereen. Het is als een enorme "ongevallenrapportage" voor softwareontwikkeling.
- Onderzoekers kunnen nu leren hoe ze AI beter kunnen laten samenwerken met mensen.
- Ontwikkelaars kunnen tools bouwen die automatisch voorspellen: "Oeps, als deze AI deze code toevoegt, krijg je gegarandeerd een botsing. Laat het maar even rusten."
- AI-bedrijven kunnen hun modellen trainen om minder "ruige" code te schrijven die makkelijker samen te voegen is.
Conclusie
Kort samengevat: AgenticFlict is een waarschuwing en een hulpmiddel. Het laat zien dat AI-coders geweldig zijn, maar dat ze soms ook voor veel "verkeersongevallen" zorgen in de digitale wereld. Door deze ongelukken te bestuderen, kunnen we in de toekomst bouwen aan een stad waar mensen en AI-robots samenwerken zonder dat er overal verf op de grond ligt.
Het is een stap in de richting van Software Engineering 3.0: een wereld waarin AI niet alleen een hulpmiddel is, maar een echte bouwvakker die we moeten leren te managen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.