💻 computer science

Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance

Questo studio empirico analizza 7.156 pull request per rivelare che, sebbene Devin mostri una tendenza temporale positiva unica nell'accettazione, il tipo di compito è il fattore dominante che influenza i tassi di successo, con OpenAI Codex che dimostra le prestazioni elevate più coerenti attraverso diverse categorie, nonostante nessun singolo agente eccellere in tutti i tipi di compito.

Autori originali: Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Pubblicato 2026-05-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il manager di un cantiere edile molto attivo. Invece di operai umani, hai cinque diversi robot AI (OpenAI Codex, GitHub Copilot, Devin, Cursor e Claude Code) in grado di scrivere codice, correggere bug e redigere documentazione. Il tuo obiettivo è capire quale robot sia il migliore nel ottenere l'approvazione dei suoi lavori da parte degli ispettori del cantiere (il "tasso di accettazione delle Pull Request").

Questo articolo è come un dettagliato pagelle che confronta questi cinque robot nel corso di diversi mesi. Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Il "Tipo di Lavoro" Conta Più del Robot

La sorpresa più grande non è stato quale robot fosse il più veloce, ma che tipo di lavoro stavano svolgendo.

L'Analogia: Immagina di chiedere a un robot di "scrivere una poesia" rispetto a "costruire un ponte". Scrivere una poesia è solitamente più facile da approvare rispetto a costruire un ponte.
La Scoperta: L'articolo ha rilevato che il tipo di compito è il fattore più importante.
- Quando ai robot è stato chiesto di fare documentazione (come scrivere manuali o commenti), sono stati approvati nell'82% dei casi.
- Quando è stato chiesto loro di costruire nuove funzionalità (come aggiungere una nuova stanza a una casa), sono stati approvati solo nel 66% dei casi.
La Lezione: Se giudichi un robot solo in base al suo punteggio complessivo, potresti essere ingannato. Un robot che svolge principalmente compiti facili di "scrittura di poesie" sembrerà una superstar, anche se è terribile nel "costruire ponti".

2. Nessun Singolo Robot Vince in Tutte le Categorie

Non esiste un "miglior robot" per tutto. Ognuno ha una superpotenza specifica.

OpenAI Codex: È l'affidabile tuttofare. Ha performato costantemente bene in quasi ogni tipo di lavoro, senza mai scendere sotto un punteggio decente.
Claude Code: È lo Specialista in Documentazione. È stato il migliore nella scrittura di manuali e nella creazione di nuove funzionalità, ma dobbiamo fare attenzione perché non ha svolto molti altri compiti in questo studio.
Cursor: È il Riparatore di Bug. Quando si trattava di riparare cose rotte, è stato il performer migliore.
Devin: Questo robot ha iniziato lentamente ma è migliorato nel tempo. È stato l'unico a mostrare una chiara tendenza di miglioramento settimana dopo settimana, salendo da circa il 60% di approvazione all'80%.

3. Il Tempo Cambia le Cose (Ma Non per Tutti)

I ricercatori hanno osservato questi robot per mesi per vedere se imparavano o miglioravano.

L'Analogia: Pensa a uno studente che sostiene un test ogni settimana.
- Devin è come lo studente che studia sodo e continua a ottenere punteggi più alti ogni settimana.
- Gli altri sono come studenti che sono già intelligenti; iniziano con punteggi alti e restano alti, ma non mostrano molti miglioramenti nel tempo. Restano semplicemente costanti.

4. Perché il "Punteggio Globale" è Ingannevole

L'articolo mette in guardia dal guardare un singolo "punteggio medio" per un robot.

L'Analogia: Immagina due chef. Lo Chef A cucina solo semplici insalate (che tutti amano). Lo Chef B cucina solo complessi stufati piccanti (che sono più difficili da preparare correttamente). Se guardi solo la "valutazione media dei clienti", lo Chef A potrebbe sembrare migliore. Ma questo non significa che lo Chef A sia uno chef migliore; significa solo che gli sono stati dati ingredienti più facili.
La Scoperta: I ricercatori hanno dovuto separare i robot in base al tipo di lavoro che svolgevano per ottenere un confronto equo. Una volta fatto ciò, hanno scoperto che il robot "migliore" cambiava a seconda che il lavoro fosse correggere un bug, scrivere un test o aggiornare un documento.

Riepilogo

Se vuoi assumere un assistente di codifica AI, non chiedere semplicemente: "Chi è il migliore?".

Se hai bisogno di correzioni di bug, guarda Cursor o OpenAI Codex.
Se hai bisogno di nuove funzionalità o documentazione, Claude Code o OpenAI Codex potrebbero essere la tua scelta migliore.
Se vuoi un robot che sembra imparare e migliorare nel tempo, Devin è quello da tenere d'occhio.

Il punto principale è che il contesto è il re. Non puoi giudicare uno strumento senza sapere esattamente quale lavoro gli viene chiesto di svolgere.

Riepilogo Tecnico: Confronto tra Agenti di Programmazione AI: Un'Analisi Stratificata per Attività dell'Accettazione delle Pull Request

Enunciato del Problema

L'integrazione rapida di assistenti alla programmazione basati sull'intelligenza artificiale nei flussi di lavoro di ingegneria del software ha spostato il paradigma dalla semplice completazione del codice ad agenti autonomi capaci di generare funzioni, correggere bug e creare pull request (PR) in modo indipendente. Tuttavia, i confronti sistematici dell'efficacia di questi agenti rimangono limitati. Le valutazioni esistenti si basano spesso su metriche di performance globali che non riescono a distinguere tra la capacità intrinseca di un agente e la specifica distribuzione delle attività che gli vengono assegnate. Ad esempio, un agente che gestisce principalmente attività di documentazione (che tipicamente hanno tassi di accettazione più elevati) può apparire superiore a uno che gestisce implementazioni di funzionalità complesse, anche se quest'ultimo possiede capacità sottostanti più solide. Questo effetto di confusione, combinato con la mancanza di dati longitudinali su come la performance degli agenti evolve nel tempo, crea un vuoto nella comprensione della vera efficacia dei diversi agenti di programmazione AI nello sviluppo software nel mondo reale.

Metodologia

Questo studio presenta un'analisi empirica di 7.156 pull request chiuse provenienti dal dataset AIDev, specificamente il sottoinsieme AIDev-POP (repository con 100+ stelle). Il dataset copre cinque popolari agenti di programmazione AI: OpenAI Codex, GitHub Copilot, Devin, Cursor e Claude Code.

Filtraggio e Preprocessing dei Dati:
Gli autori hanno filtrato il dataset grezzo di 33.596 PR per conservare solo:

PR chiuse.
PR provenienti da repository con licenze permissive (MIT o Apache-2.0).
PR che hanno ricevuto almeno una revisione o un commento da un umano diverso dal creatore, garantendo una valutazione significativa.

Metriche e Approccio Statistico:

Metrica di Successo: Definita come tasso di accettazione (proporzione di PR fuse).
Analisi Temporale (RQ1): Sono stati applicati modelli di regressione lineare ( $y = \beta_0 + \beta_1 \cdot t + \varepsilon$ ) e smoothing LOESS ai tassi di accettazione nel tempo per identificare i pattern di evoluzione.
Analisi dei Fattori (RQ2): Lo studio ha esaminato le correlazioni tra tassi di accettazione e tipi di attività, nonché la frequenza delle revisioni.
Analisi Comparativa (RQ3): Per affrontare l'eterogeneità del carico di lavoro, gli autori hanno eseguito confronti a coppie stratificati per attività. Utilizzando i test del Chi-quadrato di Pearson di indipendenza (e il test esatto di Fisher per dati sparsi), hanno confrontato gli agenti all'interno di specifiche categorie di attività (es. funzionalità, correzioni, documentazione).
- Controllo della Significatività: È stata applicata una correzione di Bonferroni su 64 test ( $\alpha \approx 0.00078$ ) per controllare le comparazioni multiple.
- Dimensione dell'Effetto: È stato riportato il coefficiente phi ( $\phi$ ) per misurare la magnitudine dell'effetto.

Lo studio riconosce esplicitamente la sua natura osservazionale, notando che, sebbene documenti i pattern, non rivendica causalità a causa di potenziali fattori di confusione come la concentrazione dei repository, i cambiamenti nel comportamento degli utenti e gli aggiornamenti dei modelli.

Contributi Chiave

Analisi dell'Evoluzione Temporale: Lo studio rivela pattern di evoluzione eterogenei tra gli agenti. Devin è l'unico agente che dimostra una tendenza positiva coerente nel tasso di accettazione in un periodo di 32 settimane, mentre gli altri rimangono largamente stabili.
Metodologia Stratificata per Attività: Il documento introduce una metodologia che controlla l'eterogeneità del carico di lavoro valutando gli agenti all'interno di specifiche categorie di attività, prevenendo conclusioni fuorvianti tratte da medie globali.
Dominanza del Tipo di Attività: L'evidenza empirica dimostra che il tipo di attività è un fattore dominante che influenza i tassi di accettazione, creando un divario di 29 punti percentuali tra le categorie con le prestazioni più alte (manutenzione ordinaria: 84,0%) e quelle più basse (prestazioni: 55,4%). Questo divario spesso supera la varianza osservata tra diversi agenti all'interno della stessa categoria.
Punti di Forza Specifici per Agente: L'analisi identifica che nessun singolo agente supera tutti gli altri in tutti i tipi di attività. La performance è altamente dipendente dal contesto.

Risultati Chiave

Tendenze Temporali (RQ1):

Devin ha mostrato un miglioramento coerente di +0,77% a settimana ( $R^2 = 0,34$ ), passando da ~60% a ~80% di accettazione.
OpenAI Codex e GitHub Copilot hanno mostrato un comportamento di plateau, mantenendo tassi di accettazione costantemente elevati dalla prima settimana osservata.

Fattori di Performance (RQ2):

Tipo di Attività: Le attività di documentazione hanno raggiunto un tasso di accettazione dell'82,1%, rispetto al 66,1% per le nuove funzionalità, con un divario di 16 punti percentuali.
Frequenza delle Revisioni: Le PR di GitHub Copilot hanno ricevuto significativamente più revisioni per PR (4,94) rispetto a OpenAI Codex (1,39), correlato a tassi di accettazione più bassi, sebbene gli autori notino che ciò possa riflettere la complessità dell'attività o le politiche del repository piuttosto che un legame causale diretto.

Confronti tra Agenti (RQ3):

OpenAI Codex ha dimostrato tassi di accettazione costantemente elevati in tutte le nove categorie di attività analizzate (da 59,6% a 88,6%), risultando leader nelle attività di correzione (83,0%) e refactoring (74,3%).
Claude Code ha guidato nella documentazione (92,3%) e nelle funzionalità (72,6%), sebbene con un campione più piccolo.
Cursor ha eccelso nelle attività di test (77,8%) e di correzione (80,4%).
Significatività Statistica: Su 64 confronti stratificati, solo 6 sono stati statisticamente significativi dopo la correzione di Bonferroni. Tutte le differenze significative hanno coinvolto attività di correzione o funzionalità. Notevolmente, Devin ha performato peggio rispetto a Codex, Copilot e Cursor specificamente nelle attività di correzione.

Significato e Implicazioni

Il documento sostiene che il "migliore" agente di programmazione AI non è un concetto universale, ma è contingente all'attività specifica in questione. La significativa varianza nei tassi di accettazione basata sul tipo di attività suggerisce che le metriche di performance globali possono essere fuorvianti.

Per i Pratici: La scelta dell'agente dovrebbe essere guidata dal flusso di lavoro specifico. Per le correzioni di bug, Cursor e OpenAI Codex mostrano prestazioni solide, mentre Devin mostra una relativa debolezza in questo dominio. Le attività di documentazione mostrano una differenziazione minima tra gli agenti. Gli autori suggeriscono che i praticanti potrebbero beneficiare dell'adozione di una combinazione di agenti adattati a diversi flussi di lavoro.
Per i Ricercatori: Lo studio sostiene la stratificazione per attività come pratica standard nelle future valutazioni. Le metriche globali dovrebbero essere accompagnate dalle distribuzioni delle attività e i confronti dovrebbero essere stratificati per controllare le variabili di confusione. Gli autori evidenziano inoltre la necessità di metriche complementari (es. analisi statica, debito tecnico) oltre ai semplici tassi di accettazione per catturare la qualità del codice a lungo termine.

Lo studio conclude che, sebbene gli agenti AI stiano trasformando lo sviluppo software, la loro valutazione richiede metodologie sfumate e consapevoli del contesto che tengano conto sia dell'eterogeneità delle attività che delle dinamiche temporali.