🤖 AI

How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests

Questo studio analizza su larga scala le differenze tra le pull request generate da agenti di IA e quelle umane su GitHub, rivelando che i contributi agentichi comportano un numero significativamente maggiore di commit e mostrano una maggiore coerenza tra le descrizioni e le modifiche al codice.

Autori originali: Daniel Ogenrwot, John Businge

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Daniel Ogenrwot, John Businge

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🤖 Gli Agenti AI: I "Nuovi Assunti" di GitHub

Immagina che GitHub sia un gigantesco cantiere edile dove migliaia di persone costruiscono e riparano case (i software) ogni giorno. In passato, solo gli umani (gli architetti e i muratori) potevano disegnare i progetti e apportare modifiche.

Ora, sono arrivati degli Agenti AI (come GitHub Copilot, Devin, Cursor, ecc.). Sono come robot-assistenti che non solo aiutano a posare i mattoni, ma possono anche prendere un progetto, modificarlo e presentarlo al capocantiere chiedendo: "Posso aggiungere questa stanza?". Questo processo si chiama "Pull Request" (PR).

Gli autori di questo studio (Daniel e John) si sono chiesti: "Come lavorano questi robot rispetto agli umani? Sono affidabili? Spiegano bene cosa hanno fatto?"

Per rispondere, hanno analizzato 24.000 progetti modificati dai robot e 5.000 progetti modificati da umani, guardando i dettagli come un detective.

🔍 Cosa hanno scoperto? (Le 3 Cose Principali)

1. La Dimensione delle Modifiche: "Il Robot fa il piccolo ritocco"

Immagina che un umano, quando deve riparare una casa, possa decidere di ristrutturare l'intera cucina, spostare un muro e cambiare il pavimento (molte modifiche, molti file).

Gli Agenti AI, invece, tendono a fare piccoli ritocchi mirati.

Gli Umani: Spesso toccano molti file diversi e fanno molte "tappe" (commit) diverse per finire il lavoro. È come se un umano dicesse: "Ok, prima sposto la finestra, poi cambio il muro, poi dipingo".
I Robot: Tendono a fare modifiche più piccole e concentrate. Spesso risolvono un problema specifico in un solo file.
L'eccezione: Non tutti i robot sono uguali. Alcuni (come Claude o OpenAI Codex) sono un po' più "espansivi" e toccano più cose, mentre altri (come Copilot) sono molto precisi e fanno piccoli aggiustamenti.

La metafora: Se gli umani sono come giardinieri che potano l'intero albero e spostano i rami, i robot sono come potatori elettrici che tagliano solo il ramo secco che hai indicato.

2. Il Numero di "Passi": "Il Robot è più diretto"

Uno dei risultati più interessanti riguarda quanti "passi" (commit) servono per completare un lavoro.

Gli umani spesso fanno un lavoro a più stadi: "Faccio una bozza, poi correggo, poi aggiungo un dettaglio".
I robot tendono a consegnare il lavoro tutto insieme, in un unico "pacchetto" più compatto.

La metafora: È come ordinare una pizza. L'umano potrebbe chiamare, ordinare la base, poi chiamare di nuovo per aggiungere il formaggio, poi chiamare per le olive. Il robot invece chiama una volta sola e dice: "Pizza completa con tutto, grazie".

3. Le Spiegazioni: "Il Robot sa cosa ha fatto?"

Quando qualcuno modifica il codice, deve scrivere una descrizione (es. "Ho corretto l'errore nel login"). La domanda era: i robot mentono o confondono?

Risultato sorprendente: Le spiegazioni dei robot sono altrettanto accurate (e a volte leggermente migliori) di quelle umane.
Se guardi solo le parole usate (lessico), c'è poca sovrapposizione tra la descrizione e il codice (è normale, il codice è tecnico).
Ma se guardi il significato (semantica), i robot capiscono perfettamente cosa hanno scritto e lo spiegano bene.

La metafora: Immagina che un umano scriva un biglietto: "Ho sistemato la cosa che non funzionava". Il robot scrive: "Ho riparato il rubinetto che perdeva". Entrambi sono chiari, ma il robot è stato leggermente più preciso nel collegare l'azione al risultato.

📊 In Sintesi: Cosa significa per noi?

Non sono tutti uguali: Alcuni robot sono più "caotici" e toccano molte cose, altri sono super-precisi. Non possiamo trattarli tutti allo stesso modo.
Sono affidabili nelle spiegazioni: Possiamo fidarci che quando un robot dice "Ho fatto questo", ha davvero fatto quello. Questo è ottimo per la sicurezza e la fiducia.
Cambia il modo di lavorare: Poiché i robot fanno modifiche più piccole e concentrate, i revisori umani (i capocantiere) dovrebbero cambiare strategia. Invece di guardare solo "quanti file sono cambiati", dovrebbero guardare "quanti passi ha fatto il robot".

🏁 Conclusione

Questo studio ci dice che gli Agenti AI non sono mostri che distruggono il codice, ma collaboratori che lavorano in modo diverso dagli umani: sono più focalizzati, fanno meno "passi" intermedi e spiegano bene il loro lavoro.

Il futuro dello sviluppo software non è "Umani contro Robot", ma Umani e Robot che lavorano insieme, ognuno con il suo stile: l'umano per la visione d'insieme e la creatività complessa, il robot per l'efficienza e la precisione chirurgica.

1. Problema e Contesto

Gli agenti di codifica basati sull'Intelligenza Artificiale (AI), come GitHub Copilot, OpenAI Codex, Claude Code e Devin, stanno evolvendo da semplici strumenti di assistenza a collaboratori autonomi capaci di generare codice, correggere bug e inviare direttamente Pull Request (PR) su GitHub.
Nonostante l'adozione crescente, esiste una carenza di evidenze empiriche su come le PR generate da agenti AI differiscano da quelle scritte da esseri umani in repository reali. In particolare, si ignora:

Come gli agenti modificano strutturalmente il codice (numero di commit, file toccati, righe aggiunte/rimosse).
Quanto accuratamente le descrizioni delle PR riflettano le modifiche effettive al codice (allineamento semantico e lessicale).
Questa lacuna limita la capacità di valutare l'affidabilità, l'impatto sulla manutenibilità e la chiarezza comunicativa degli agenti durante le revisioni del codice.

2. Metodologia

Lo studio utilizza il dataset AIDev fornito per la sfida "MSR 2026 Mining Challenge". Il processo di ricerca si articola in quattro fasi principali:

Raccolta Dati: Analisi di un vasto set di dati contenente 932.791 PR di agenti e 6.618 PR umane.
Recostruzione dei Dati Umani: A differenza delle PR degli agenti, quelle umane nel dataset originale mancavano di dettagli a livello di commit. Gli autori hanno recuperato metadati e patch a livello di file tramite la GitHub REST API per garantire un confronto coerente.
Filtraggio: Sono state selezionate solo le PR fuse (merged) con patch valide. Il set finale comprende 24.014 PR Agentic (440.295 commit) e 5.081 PR Umane (23.242 commit).
Analisi delle Metriche:
- RQ1 (Caratteristiche Strutturali): Confronto di metriche come numero di commit, righe aggiunte/eliminate e file toccati. Sono stati utilizzati il test di Mann-Whitney U e la grandezza dell'effetto di Cliff's delta ( $\delta$ ) per valutare le differenze statistiche.
- RQ2 (Allineamento Descrizione-Codice): Valutazione della coerenza tra la descrizione testuale della PR e le modifiche al codice (diff). Sono state calcolate:
  - Similarità Lessicale: TF-IDF e Okapi BM25.
  - Similarità Semantica: Utilizzando i modelli di embedding CodeBERT e GraphCodeBERT con similarità del coseno.

3. Contributi Chiave

Confronto Empirico su Larga Scala: Prima analisi sistematica che confronta le modifiche strutturali del codice tra PR umane e agenti AI in repository open source reali.
Valutazione dell'Allineamento: Misurazione quantitativa di quanto bene le descrizioni degli agenti catturino le modifiche sottostanti, utilizzando sia approcci lessicali che semantici avanzati.
Riproducibilità: Rilascio di un pacchetto di replicazione contenente dati curati e script di analisi.

4. Risultati Principali

RQ1: Caratteristiche Strutturali

Gli agenti AI mostrano pattern di contributo distinti rispetto agli umani:

Numero di Commit: È la differenza più marcata. Le PR umane tendono a essere più frammentate o complesse, mentre gli agenti tendono a produrre commit più concentrati. La differenza è significativa con un effetto grande ( $\delta = 0.5429$ ).
File Toccati e Righe Eliminate: Le PR umane toccano più file e rimuovono più codice (effetto medio). Gli agenti tendono a fare modifiche più localizzate e circoscritte.
Righe Aggiunte: La quantità totale di codice aggiunto mostra differenze minori (effetto piccolo), suggerendo che la quantità di codice non è il fattore discriminante principale, ma piuttosto come è organizzato.
Variazione tra Agenti: Non tutti gli agenti sono uguali. Claude Code e OpenAI Codex mostrano una variabilità maggiore, mentre Devin, Cursor e Copilot producono modifiche estremamente compatte e focalizzate.

RQ2: Allineamento Descrizione-Diff

Similarità Lessicale: Sia per umani che per agenti, la sovrapposizione lessicale superficiale tra descrizione e diff è bassa (i punteggi sono vicini allo zero), indicando che le descrizioni non ripetono semplicemente il codice.
Similarità Semantica: Entrambi i gruppi mostrano un allineamento semantico molto alto (punteggi tra 0.9 e 1.0), indicando che le descrizioni catturano correttamente il significato delle modifiche.
Performance degli Agenti: Le PR generate dagli agenti mostrano una leggermente maggiore coerenza (similarity score più alto) tra descrizione e codice rispetto a quelle umane, con una distribuzione più stretta (meno variabilità).

5. Significato e Implicazioni

Processi di Revisione: I revisori del codice non dovrebbero basarsi solo sulla quantità di codice (LOC) per valutare una PR. Il numero di commit e il numero di file toccati sono indicatori migliori della portata di una PR generata da un agente. Le PR con modifiche ampie o molte righe eliminate potrebbero richiedere una revisione più attenta.
Affidabilità e Automazione: L'alta coerenza semantica suggerisce che le PR degli agenti sono generalmente affidabili nella comunicazione delle loro intenzioni. Questo supporta l'automazione di task come la generazione di note di rilascio, la costruzione di changelog e il routing automatico delle revisioni.
Non Uniformità: Il comportamento degli agenti non è omogeneo; diversi modelli mostrano stili di contributo diversi, il che implica che i sistemi di gestione dei repository dovrebbero adattarsi all'identità dell'agente specifico.

In sintesi, lo studio dimostra che mentre gli agenti AI modificano il codice in modo strutturalmente diverso (più focalizzato, meno frammentato), sono altamente competenti nel descrivere le proprie modifiche, offrendo un livello di coerenza comunicativa pari o superiore a quello umano.