On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Questo studio empirico di 567 pull request di GitHub generate dall'agente Claude Code attraverso 157 progetti open-source rivela che, sebbene l'83,8% dei contributi assistiti da agenti venga accettato — spesso senza modifiche — essi richiedono comunque frequentemente la supervisione umana per correzioni di bug, documentazione e aderenza agli standard del progetto.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina lo sviluppo del software come un enorme e frenetico cantiere edile dove migliaia di squadre stanno costruendo grattacieli digitali (progetti open-source). Per anni, gli operai (sviluppatori) hanno fatto tutto il lavoro pesante, disegnato i progetti e posato i mattoni da soli.
Recentemente, un nuovo tipo di assistente robotico super-intelligente chiamato "Agentic Coding" (nello specifico uno strumento chiamato Claude Code) è arrivato sul sito. A differenza di una semplice calcolatrice che risponde solo a domande, questo robot può prendere una chiave inglese, guardare i progetti, riparare un tubo che perde, scrivere un nuovo manuale di istruzioni e persino presentare la documentazione per ottenere l'approvazione del lavoro — tutto da solo.
Questo documento è una pagella su quanto bene questi robot stiano effettivamente facendo il loro lavoro nel mondo reale. I ricercatori hanno esaminato 567 progetti di costruzione (Pull Request) in cui questo robot ha svolto il lavoro, confrontandoli con i progetti realizzati dagli umani e ponendo quattro grandi domande.
Ecco cosa hanno scoperto, spiegato con semplici analogie:
1. Che tipo di lavoro fanno i robot? (RQ1)
Il Risultato: Sia gli umani che i robot riparano cose rotte (bug) e costruiscono nuove stanze (feature). Tuttavia, i robot hanno un talento speciale per le ristrutturazioni e le pulizie.
- L'Analogia: Se a un operaio umano viene chiesto di "riparare la casa", potrebbe riparare il tetto o costruire un nuovo garage. Se chiedi al robot di "riparare la casa", esso ama riorganizzare i mobili (refactoring), scrivere etichette migliori sugli armadietti (documentazione) e aggiungere più telecamere di sicurezza (testing).
- Il Risultato: I robot sono sorprendentemente bravi nel lavoro di pulizia noioso e basato su regole che gli umani spesso trovano noioso. Tendono anche a scrivere "ordini di lavoro" (descrizioni delle PR) molto più lunghi e dettagliati, spiegando esattamente cosa hanno fatto.
2. I capi (maintainer) accettano il lavoro dei robot? (RQ2)
Il Risultato: Sì, per lo più! Ma non così spesso quanto accettano il lavoro umano.
- Le Statistiche: Circa l'84% del lavoro del robot viene approvato e integrato (merged). Per confronto, circa il 91% del lavoro umano viene approvato.
- Perché vengono rifiutati? Raramente è perché il robot ha costruito un "muro scadente". Di solito, il lavoro viene rifiutato perché:
- Tempismo: Un altro membro del team ha già risolto il problema in un modo diverso.
- Dimensioni: Il robot ha cercato di riparare tutta la casa in un colpo solo, rendendo il progetto troppo grande da revisionare.
- Obsolescenza: Il progetto ha cambiato direzione mentre il robot stava lavorando.
- La Conclusione: I robot sono generalmente affidabili, ma a volte perdono di vista il contesto del "quadro generale" di ciò che il team vuole proprio in questo momento.
3. I robot hanno bisogno di aiuto per finire il lavoro? (RQ3)
Il Risultato: Sorprendentemente, i robot e gli umani hanno bisogno all'incirca della stessa quantità di "rifinitura" prima che il loro lavoro sia perfetto.
- L'Analogia: Immagina di ordinare una torta personalizzata. A volte il pasticciere (robot) la fa perfetta al primo colpo. A volte la fa al 90% e devi solo sistemare la glassa.
- Le Statistiche: Circa il 55% delle torte dei robot è perfetta così com'è. Questo è quasi lo stesso dei pasticceri umani (58,5%).
- L'Impegno: Quando la torta deve essere sistemata, la quantità di lavoro necessaria per correggere la torta di un robot è statisticamente la stessa necessaria per correggere quella di un umano. I robot non commettono più errori che richiedono più lavoro; commettono solo tipi diversi di piccoli errori.
4. Cosa devono sistemare esattamente gli umani? (RQ4)
Il Risultato: Quando gli umani devono intervenire per correggere il lavoro del robot, si occupano principalmente di controlli di sicurezza, istruzioni e stile.
- Correzione Bug (48%): A volte il robot cerca di essere troppo ottimista. Assume che una porta non si romperà mai, quindi non costruisce un piano di riserva. Gli umani devono aggiungere quel piano di riserva.
- Documentazione (29%): Il robot potrebbe costruire una bellissima nuova stanza ma dimenticare di aggiornare la mappa della casa. Gli umani devono aggiornare il "README" (il manuale di istruzioni).
- Refactoring (27%): Il robot potrebbe costruire una parete che funziona, ma è in un posto strano che rende difficile navigare nel resto della casa. Gli umani devono spostarla per adattarla allo stile della casa.
- Stile (23%): Il robot potrebbe usare il colore sbagliato o il carattere sbagliato. Gli umani devono farlo apparire coerente con il resto dell'edificio.
Il Quadro Generale
Pensa all'Agentic Coding come a un apprendista molto talentuoso, veloce e desideroso di imparare.
- Pro: Può svolgere una enorme quantità di lavoro pesante, specialmente i compiti noiosi di pulizia e testing. Produce un lavoro che è spesso abbastanza buono da essere utilizzato subito.
- Contro: A volte perde di vista il "vibe" del progetto, scrive istruzioni troppo lunghe o troppo brevi e occasionalmente ha bisogno di un supervisore umano per controllare la sicurezza e lo stile.
La Conclusione: Il robot non sta ancora sostituendo il capocantiere umano. Invece, è uno strumento potente che svolge il lavoro pesante, permettendo all'umano di intervenire, revisionare i piani e dare l'ultima parola per garantire che tutto sia sicuro, elegante e si adatti perfettamente al progetto. Il documento suggerisce che, sebbene il robot sia un ottimo punto di partenza, la supervisione umana è ancora essenziale per trasformare una "buona bozza" in un "capolavoro finito".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.