Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
Dit artikel presenteert een gevalideerde multi-methode volkstelling van 180 miljoen repositories die onthult dat detectiemethoden met een enkel signaal de prevalentie van AI-codeeragenten ernstig onderschatten — waarbij tot 97% van de activiteit wordt gemist — en dat verschillende detectiekanalen onderscheidende, niet-overlappende populaties van agenten en soorten werk vastleggen, wat een holistische aanpak noodzakelijk maakt om hun impact op de open-source toeleveringsketen nauwkeurig te meten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van open-source software voor als een enorme, bruisende stad met meer dan 180 miljoen gebouwen (repositories). Een lange tijd dachten we te weten wie deze structuren bouwde: voornamelijk menselijke architecten. Maar onlangs is er een nieuw soort onzichtbare bouwploeg gearriveerd: AI Coding Agents.
Het probleem? Deze AI-ploegen zijn meesters in vermommingen. Sommigen dragen opvallende uniformen, sommigen laten een handtekening achter op de blauwdrukken, en anderen werken zo stil dat ze precies lijken op menselijke werkers.
Dit paper is als een enorme, high-tech volkstelling die probeerde deze onzichtbare werkers te tellen. De onderzoekers realiseerden zich dat als je alleen naar één specifiek teken zoekt (zoals een uniform), je bijna iedereen zult missen. Dit is wat ze vonden, eenvoudig uitgelegd:
1. De "Eén-Signaal"-valstrik
Stel je voor dat je probeert alle vogels in een bos te tellen.
- Methode A: Je telt alleen vogels die rode hoedjes dragen.
- Methode B: Je telt alleen vogels die een specifiek liedje zingen.
- Methode C: Je telt alleen vogels die een specifiek type veer achterlaten.
Als je alleen Methode A gebruikt, denk je misschien dat er slechts 10 vogels zijn. Maar als je alle drie de methoden combineert, ontdek je dat er eigenlijk 300 zijn.
De bevinding van het paper: De onderzoekers ontdekten dat het vertrouwen op slechts één manier om AI te herkennen (zoals het zoeken naar een specifieke bot-accountnaam) 97% van de activiteit mist. Voor één populaire AI-tool genaamd "Claude Code" vond het zoeken naar het officiële bot-account slechts 28.000 commits. Maar toen ze keken naar alle verschillende manieren waarop het sporen achterlaat (zoals berichten in de code of configuratiebestanden), vonden ze 850.000. Dat is een dertigvoudig verschil.
2. De Vier Soorten "Vermommingen"
De onderzoekers creëerden een "Gezocht"-poster met vier categorieën om deze agents te vangen:
- Type A: De Uniformeerde Bot. Deze zijn gemakkelijk te herkennen. Ze loggen in met een specifiek robot-e-mailadres (zoals
bot@anthropic.com). Het is als een bouwvakker die een feloranje hesje draagt. - Type B: De Handtekening. Deze agents gebruiken geen robot-account, maar laten een notitie achter in het bericht met: "Generated by Replit". Het is alsof een menselijke werker zijn naam onder de blauwdruk zet met een speciale stempel.
- Type C: Het Verborgen Suffix. Dit zijn mensen die AI-tools gebruiken en een klein label aan hun naam toevoegen, zoals
John (aider). Het is als een menselijke werker die een klein speldje draagt met de tekst "AI Assistant". - Type D: De Stille Geest. Dit zijn de meest sluwe. Ze veranderen de codemeldingen of de auteursnamen helemaal niet. Ze laten alleen een "setup-bestand" (zoals een
.cursorrules-bestand) achter in de projectmap. Het is als een geest die alleen een gereedschapskist achterlaat, maar nooit de stenen aanraakt. Deze groep is enorm. Bijvoorbeeld: GitHub Copilot is vooral op deze manier te vinden; het is overal in de setup-bestanden, maar bijna onzichtbaar in de eigenlijke codegeschiedenis.
3. Twee Verschillende Steden (De "Channel Disconnect")
De onderzoekers vergeleken hun "Commit-stad" (kijken naar codewijzigingen) met een andere studie's "Pull Request-stad" (kijken naar projectvoorstellen).
Ze ontdekten dat deze twee steden bijna volledig leeg zijn van elkaars inwoners!
- Codex (een AI-agent) is de koning van de "Pull Request-stad"; het creëert duizenden voorstellen, maar is een geest in de "Commit-stad".
- Claude Code is de koning van de "Commit-stad"; het maakt duizenden directe wijzigingen, maar verschijnt zelden in de "Pull Request-stad".
De les: Als je slechts naar één type stad kijkt, krijg je een volkomen verkeerd beeld van wat de AI daadwerkelijk doet. De ene groep lijkt nieuwe functies te bouwen, terwijl de andere lijkt lekke leidingen te repareren. Het paper concludeert dat hoe de AI wordt ingezet (als bot versus als directe tool) bepaalt wat voor soort werk het lijkt te doen, en dat dit niet noodzakelijkerwijs aan de tool zelf ligt.
4. Wanneer Kwamen Ze Aan?
De volkstelling keek naar gegevens van eind 2024 tot begin 2026.
- De "Met AI Geboren" Groep: Sommige projecten zijn vanaf dag één gebouwd met deze AI-agents. Het zijn als huizen die vanaf de fundering met een robotarm zijn gebouwd.
- De "Legacy" Groep: Veel oude, gevestigde projecten (sommigen decennia oud) zijn plotseling gaan gebruikmaken van deze agents, jaren nadat ze al gebouwd waren. Het is als een oud familiehuis dat plotseling een smart-home renovatie krijgt.
5. Leveren Ze Goed Werk?
De onderzoekers controleerden of de AI fouten maakte.
- Bugfixes: De AI-agents leken vooral te worden gebruikt voor het oplossen van bugs en onderhoud, in plaats voor het bouwen van gloednieuwe functies (in het commit-kanaal).
- Kwaliteit: Interessant genoeg was de code geschreven door deze agents in sommige gevallen minder snel onderhevig aan een 'revert' (het ongedaan maken van wijzigingen) dan menselijke code, wat suggereert dat het stabiel was. Echter, wanneer ze wel wijzigingen aanbrachten, waren die wijzigingen vaak groter dan een mens zou maken.
De Kern van het Verhaal
We kunnen niet simpelweg zoeken naar een "bot-account" om te weten hoeveel AI ons helpt bij het bouwen van software. De AI-werkvloer is divers, onzichtbaar en gebruikt veel verschillende "uniformen". Als we alleen naar de voor de hand liggende zaken kijken, zijn we blind voor het overgrote deel van het werk dat wordt verricht. Om de software supply chain echt te begrijpen, moeten we zoeken naar de uniformen, de handtekeningen, de naamkaartjes én de gereedschapskisten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.