Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
Diese Arbeit präsentiert eine validierte Multi-Methoden-Volkszählung von 180 Millionen Repositories, die offenlegt, dass Single-Signal-Detektionsmethoden die Prävalenz von KI-Coding-Agenten massiv unterschätzen – wobei bis zu 97 % der Aktivitäten übersehen werden – und dass unterschiedliche Detektionskanäle distinkte, sich nicht überschneidende Populationen von Agenten und Arten der Arbeit erfassen, was einen ganzheitlichen Ansatz erforderlich macht, um deren Auswirkungen auf die Open-Source-Lieferkette genau zu messen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Open-Source-Software als eine riesige, geschäftige Stadt mit über 180 Millionen Gebäuden (Repositories) vor. Lange Zeit dachten wir, wir wüssten, wer diese Strukturen baut: hauptsächlich menschliche Architekten. Doch vor kurzem ist eine neue Art von unsichtbarer Baucrew eingetroffen: KI-Coding-Agenten.
Das Problem? Diese KI-Crews sind Meister der Tarnung. Einige tragen helle Uniformen, einige hinterlassen eine Signatur auf den Blaupausen und einige arbeiten so leise, dass sie exakt wie menschliche Arbeiter aussehen.
Dieses Paper ist wie eine massive, hochtechnologische Volkszählung, die versucht hat, diese unsichtbaren Arbeiter zu zählen. Die Forscher erkannten, dass man fast alle übersieht, wenn man nur nach einem spezifischen Zeichen (wie einer Uniform) sucht. Hier ist das, was sie herausgefunden haben, einfach erklärt:
1. Die „Ein-Signal“-Falle
Stellen Sie sich vor, Sie versuchen, alle Vögel in einem Wald zu zählen.
- Methode A: Sie zählen nur Vögel, die rote Hüte tragen.
- Methode B: Sie zählen nur Vögel, die ein bestimmtes Lied singen.
- Methode C: Sie zählen nur Vögel, die eine bestimmte Art von Feder hinterlassen.
Wenn Sie nur Methode A verwenden, denken Sie vielleicht, es gäbe nur 10 Vögel. Aber wenn Sie alle drei Methoden kombinieren, finden Sie vielleicht tatsächlich 300 Vögel.
Der Befund des Papers: Die Forscher fanden heraus, dass das Verlassen auf nur einen Weg, um KI zu erkennen (wie etwa die Suche nach einem spezifischen Bot-Account), 97 % der Aktivitäten übersieht. Bei einem populären KI-Tool namens „Claude Code“ fand die Suche nach dessen offiziellem Bot-Account nur 28.000 Commits. Aber als sie nach allen verschiedenen Arten suchten, auf denen es Spuren hinterlässt (wie Nachrichten im Code oder Konfigurationsdateien), fanden sie 850.000. Das ist ein 30-facher Unterschied.
2. Die vier Arten von „Tarnungen“
Die Forscher erstellerten ein „Steckbrief“-System mit vier Kategorien, um diese Agenten zu fassen:
- Typ A: Der uniformierte Bot. Diese sind leicht zu erkennen. Sie melden sich mit einer spezifischen Roboter-E-Mail-Adresse an (wie
bot@anthropic.com). Es ist wie ein Bauarbeiter, der eine leuchtend orangefarbene Weste trägt. - Typ B: Die Signatur. Diese Agenten nutzen keinen Roboter-Account, hinterlassen aber eine Notiz in der Nachricht, die besagt: „Generiert von Replit“. Es ist, als würde ein menschlicher Arbeiter seinen Namen mit einem speziellen Stempel auf die Blaupause setzen.
- Typ C: Das versteckte Suffix. Dies sind Menschen, die KI-Tools nutzen und ihrem Namen ein kleines Tag hinzufügen, wie
John (aider). Es ist, als würde ein menschlicher Arbeiter eine kleine Anstecknadel tragen, auf der steht: „KI-Assistent“. - Typ D: Der stille Geist. Diese sind am heimlichsten. Sie verändern weder die Codemeldungen noch die Autorennamen. Sie hinterlassen lediglich eine „Setup-Datei“ (wie eine
.cursorrules-Datei) im Projektordner. Es ist, als würde ein Geist nur einen Werkzeugkasten zurücklassen, aber niemals die Ziegel berühren. Diese Gruppe ist riesig. Zum Beispiel ist GitHub Copilot hauptsächlich auf diese Weise zu finden; es ist überall in den Setup-Dateien, aber fast unsichtbar in der eigentlichen Code-Historie.
3. Zwei verschiedene Städte (Der „Kanal-Diskonnekt“)
Die Forscher verglichen ihre „Commit-Stadt“ (das Betrachten von Code-Änderungen) mit einer anderen Studie, der „Pull-Request-Stadt“ (das Betrachten von Projektvorschlägen).
Sie fanden heraus, dass diese beiden Städte fast vollständig leer an Bewohnern der jeweils anderen Stadt sind!
- Codex (ein KI-Agent) ist der König der „Pull-Request-Stadt“, erstellt tausende Vorschläge, ist aber ein Geist in der „Commit-Stadt“.
- Claude Code ist der König der „Commit-Stadt“, nimmt tausende direkte Änderungen vor, taucht aber selten in der „Pull-Request-Stadt“ auf.
Die Lektion: Wenn man nur in eine Art von Stadt schaut, erhält man ein völlig falsches Bild davon, was die KI tatsächlich tut. Eine Gruppe scheint neue Funktionen zu bauen, während die andere eher kaputte Rohre repariert. Das Paper kommt zu dem Schluss, dass die Art und Weise, wie die KI eingesetzt wird (als Bot vs. als direktes Tool), beeinflusst, welche Art von Arbeit sie zu leisten scheint – dies ist nicht unbedingt eine Eigenschaft des Tools selbst.
4. Wann sind sie angekommen?
Die Volkszählung betrachtete Daten von Ende 2024 bis Anfang 2026.
- Die „Mit KI geboren“-Gruppe: Einige Projekte wurden vom ersten Tag an mit diesen KI-Agenten gebaut. Sie sind wie Häuser, die von Grund auf mit einem Roboterarm errichtet wurden.
- Die „Legacy“-Gruppe: Viele alte, etablierte Projekte (einige Jahrzehnte alt) begannen plötzlich, diese Agenten zu nutzen, Jahre nachdem sie gebaut wurden. Es ist, als würde ein altes Familienhaus plötzlich eine Smart-Home-Renovierung erhalten.
5. Leisten sie gute Arbeit?
Die Forscher prüften, ob die KI Fehler macht.
- Fehlerbehebungen (Bug Fixes): Die KI-Agenten wurden hauptsächlich für Fehlerbehebungen und Wartung eingesetzt, statt für den Bau brandneuer Funktionen (im Commit-Kanal).
- Qualität: Interessanterweise war der von diesen Agenten geschriebene Code in einigen Fällen weniger wahrscheinlich zum Rückgängigmachen (Revert) bestimmt als menschlicher Code, was darauf hindeutet, dass er stabil war. Wenn sie jedoch Änderungen vornahmen, waren diese Änderungen oft größer, als ein Mensch sie vornehmen würde.
Das Fazament
Wir können nicht einfach nach einem „Bot-Account“ suchen, um zu wissen, wie viel KI uns beim Bauen von Software hilft. Die KI-Arbeitswelt ist vielfältig, unsichtbar und nutzt viele verschiedene „Uniformen“. Wenn wir nur nach den offensichtlichen suchen, sind wir blind für den Großteil der geleisteten Arbeit. Um die Software-Lieferkette wirklich zu verstehen, müssen wir nach den Uniformen, den Signaturen, den Namensschildern und den Werkzeugkästen suchen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.