Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
Questo articolo presenta un censimento multi-metodo validato di 180 milioni di repository che rivela come i metodi di rilevamento a segnale singolo sottostimino gravemente la prevalenza degli agenti di codifica AI — perdendo fino al 97% dell'attività — e che diversi canali di rilevamento catturino popolazioni di agenti e tipologie di lavoro distinte e non sovrapponibili, rendendo necessario un approccio olistico per misurare accuratamente il loro impatto sulla catena di approvvigionamento open-source.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate il mondo del software open-source come una città enorme e frenetica con oltre 180 milioni di edifici (repository). Per molto tempo, abbiamo pensato di sapere chi stesse costruendo queste strutture: principalmente architetti umani. Ma recentemente, è arrivata una nuova sorta di squadra di costruzione invisibile: gli Agenti di Codice AI.
Il problema? Queste squadre di IA sono maestri del travestimento. Alcune indossano uniformi vistose, altre lasciano una firma sulle planimetrie e altre ancora lavorano così silenziosamente da sembrare esattamente lavoratori umani.
Questo articolo è come un censimento tecnologico avanzato che ha cercato di contare questi lavoratori invisibili. I ricercatori si sono resi conto che se si cerca solo un segno specifico (come un'uniforme), si perderà quasi tutti. Ecco cosa hanno scoperto, spiegato in modo semplice:
1. La trappola del "Segnale Unico"
Immaginate di cercare di contare tutti gli uccelli in una foresta.
- Metodo A: Contate solo gli uccelli che indossano cappelli rossi.
- Metodo B: Contate solo gli uccelli che cantano una canzone specifica.
- Metodo C: Contate solo gli uccelli che lasciano un tipo specifico di piuma.
Se usate solo il Metodo A, potreste pensare che ci siano solo 10 uccelli. Ma se combinate tutti e tre i metodi, potreste scoprire che ce ne sono in realtà 300.
La scoperta del documento: I ricercatori hanno scoperto che fare affidamento su un solo modo per individuare l'IA (come cercare un account bot specifico) fa perdere il 97% dell'attività. Per uno strumento di IA molto popolare chiamato "Claude Code", la ricerca del suo account bot ufficiale ha trovato solo 28.000 commit. Ma quando hanno cercato tutti i diversi modi in cui lascia una traccia (come messaggi nel codice o file di configurazione), ne hanno trovati 850.000. Si tratta di una differenza di 30 volte.
2. I quattro tipi di "Travestimenti"
I ricercatori hanno creato un "Manifesto dei ricercati" con quattro categorie per catturare questi agenti:
- Tipo A: Il Bot in Uniforme. Questi sono facili da individuare. Effettuano l'accesso con un indirizzo email specifico per i robot (come
bot@anthropic.com). È come un operaio edile che indossa un giubbotto arancione fluorescente. - Tipo B: La Firma. Questi agenti non usano un account robot, ma lasciano una nota nel messaggio dicendo: "Generato da Replit". È come un operaio umano che firma la planimetria con un timbro speciale.
- Tipo C: Il Suffisso Nascosto. Questi sono umani che usano strumenti di IA e aggiungono un piccolo tag al proprio nome, come
John (aider). È come un lavoratore umano che indossa una piccola spilla con scritto "Assistente IA". - Tipo D: Il Fantasma Silenzioso. Questi sono i più subdoli. Non cambiano affatto i messaggi del codice o i nomi degli autori. Lasciano solo un "file di configurazione" (come un file
.cursorrules) nella cartella del progetto. È come un fantasma che lascia solo una cassetta degli attrezzi senza mai toccare i mattoni. Questo gruppo è enorme. Ad esempio, GitHub Copilot si trova principalmente in questo modo; è ovunque nei file di configurazione, ma è quasi invisibile nella cronologia del codice effettivo.
3. Due città diverse (Il "Disconnessione tra i canali")
I ricercatori hanno confrontato la loro "Città dei Commit" (osservando le modifiche al codice) con un altro studio sulla "Città delle Pull Request" (osservando le proposte ai progetti).
Hanno scoperto che queste due città sono quasi interamente prive dei residenti dell'altra!
- Codex (un agente IA) è il re della "Città delle Pull Request", creando migliaia di proposte, ma è un fantasma nella "Città dei Commit".
- Claude Code è il re della "Città dei Commit", effettuando migliaia di modifiche dirette, ma appare raramente nella "Città delle Pull Request".
La lezione: Se guardate solo un tipo di città, otterrete un quadro completamente sbagliato di ciò che l'IA sta effettivamente facendo. Un gruppo sembra costruire nuove funzionalità, mentre l'altro sembra riparare tubature rotte. Il documento conclude che il modo in cui l'IA viene implementata (come bot o come strumento diretto) cambia il tipo di lavoro che sembra svolgere, non necessariamente lo strumento stesso.
4. Quando sono arrivati?
Il censimento ha esaminato i dati dalla fine del 2024 all'inizio del 2026.
- Il gruppo "Nato con l'IA": Alcuni progetti sono stati costruiti fin dal primo giorno con questi agenti IA. Sono come case costruite con un braccio robotico fin dalle fondamenta.
- Il gruppo "Legacy": Molti progetti vecchi e consolidati (alcuni di decenni fa) hanno iniziato improvvisamente a usare questi agenti anni dopo la loro creazione. È come una vecchia casa di famiglia che riceve improvvisamente una ristrutturazione per una smart-home.
5. Stanno facendo un buon lavoro?
I ricercatori hanno controllato se l'IA commetteva errori.
- Correzione di Bug: Gli agenti IA sembrano essere stati utilizzati soprattutto per correggere bug e manutenzione, piuttosto che per costruire funzioni completamente nuove (nel canale dei commit).
- Qualità: Interessante notare che il codice scritto da questi agenti era meno propenso a essere revertito (annullato) rispetto al codice umano in alcuni casi, suggerendo che fosse stabile. Tuttavia, quando apportavano modifiche, queste erano spesso più grandi di quelle che farebbe un essere umano.
In sintesi
Non possiamo limitarci a cercare un "account bot" per sapere quanto l'IA stia aiutando a costruire il software. La forza lavoro dell'IA è diversificata, invisibile e utilizza molte diverse "uniformi". Se cerchiamo solo quelle ovvie, restiamo ciechi rispetto alla vasta maggioranza del lavoro che viene svolto. Per comprendere veramente la catena di approvvigionamento del software, dobbiamo cercare le uniformi, le firme, i cartellini identificativi e le cassette degli attrezzi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.