Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents
Questo articolo analizza 654 pull request rifiutate tra cinque agenti di codifica e un baseline umano per identificare modelli di rifiuto unici e specifici per ogni agente, proponendo al contempo euristiche per affrontare la sfida della mancanza di feedback dei revisori nel 67,9% dei casi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina lo sviluppo di software come un enorme e frenetico cantiere edile. Di solito, quando un lavoratore (un programmatore umano) finisce di costruire una nuova stanza o ripara una perdita, consegna una "Richiesta di Modifica" (una Pull Request) al capocantiere. Il manager la esamina e dice: "Ottimo, costruiamola" oppure "No, questo non funzionerà".
Recentemente, è arrivato un nuovo tipo di lavoratore: gli Agenti AI. Questi sono robot capaci di pianificare, costruire e consegnare le proprie Richieste di Modifica senza che un essere umano debba tenerli per mano. Questo articolo investiga cosa succede quando questi lavoratori AI presentano il proprio lavoro rispetto ai lavoratori umani.
Ecco la suddivisione dello studio, utilizzando analogie semplici:
1. Il Grande Problema: Il "Rifiuto Silenzioso"
I ricercatori hanno esaminato 654 Richieste di Modifica rifiutate provenienti da cinque diversi robot AI (come Devin, Claude Code e GitHub Copilot) e le hanno confrontate con le richieste fatte dagli umani.
La scoperta più scioccante? Due rifiuti su tre erano silenziosi.
- L'Analogia: Immagina di sottoporre un disegno a un concorso e che questo venga gettato nel cestino. Chiedi: "Perché?" e il giudice si limita a scrollare le spalle e se ne va.
- La Realtà: Il 67,9% delle richieste AI rifiutate non presentava alcuna spiegazione da parte del revisore. La richiesta è stata semplicemente chiusa. Questo rende molto difficile per i ricercatori capire perché l'IA sia fallita, perché il "giudice" non ha scritto il motivo.
2. Gli Errori "Solo AI"
Quando i ricercatori hanno effettivamente trovato le ragioni del rifiuto, hanno scoperto che i robot AI commettono errori che gli umani quasi mai commettono. Hanno individuato sette motivi specifici di rifiuto che accadevano solo con l'IA:
- La Scatola "Troppo Grande": Gli umani a volte presentano progetti grandi, ma i robot AI tendono a presentare modifiche massicce e travolgenti tutte in una volta. È come se un'IA cercasse di costruire un intero grattacielo in un solo giorno. I manager le hanno rifiutate perché erano troppo grandi per essere revisionate correttamente.
- Il Distintivo della "Diffidenza": Alcuni manager semplicemente non si fidavano del codice perché era stato creato da un robot. Lo hanno rifiutato solo perché generato dall'IA, temendo che potesse essere inaffidabile o "allucinato" (inventato).
- L'Etichetta "Slop": In un caso, il proprietario di un progetto ha rifiutato una richiesta dell'IA etichettandola come "SLOP" (un termine gergale per contenuti di bassa qualità prodotti in massa), dicendo essenzialmente: "Questa è spazzatura generata da una macchina".
- Il Fallimento dell' "Esperimento": Alcune richieste dell'IA sono state presentate solo per vedere se il robot poteva farlo, non perché qualcuno volesse davvero quel codice. Queste sono state rifiutate perché non erano destinate a un uso reale.
3. Le Particolarità "Specifiche dei Robot"
Diversi robot AI hanno personalità e impostazioni differenti, portando a modelli di rifiuto unici:
- L'Effetto "Devin": Un robot specifico, chiamato Devin, ha un'impostazione che chiude automaticamente le proprie richieste se rimangono inattive per troppo tempo. Lo studio ha scoperto che molti dei rifiuti di Devin non erano dovuti al fatto che il codice fosse scadente, ma perché il robot stesso diceva: "Mi annoio, chiudo tutto", dopo 7 giorni di silenzio.
- La Trappola del "Contesto": Alcuni robot AI sono stati rifiutati perché non riuscivano a vedere file o dati "privati" necessari per finire il lavoro. È come un robot che cerca di riparare una serratura ma viene chiuso fuori dalla stanza dove si trova la chiave.
4. La Soluzione: Un "Filtro per la Spazzatura"
Poiché così tanti rifiuti non avevano note (il problema del "Rifiuto Silenzioso"), i ricercatori hanno capito che avevano bisogno di un modo per pulire i dati prima di studiarli. Hanno creato un filtro semplice (un insieme di regole) per indovinare quali rifiuti fossero realmente "silenziosi" e quali potessero invece contenere indizi nascosti.
- Le Regole del Filtro: Hanno cercato richieste che fossero:
- Chiuse dalla persona che le aveva scritte (Chiusa autonomamente).
- Chiuse molto rapidamente (ad esempio, entro 7 giorni).
- Chiuse senza che nessuno lasciasse un commento.
- Il Risultato: Utilizzando queste regole, hanno potuto filtrare il "rumore" (i rifiuti silenziosi e poco utili) e concentrarsi su quelli in cui i manager avevano effettivamente spiegato il perché del loro "No". Questo aiuta i futori ricercatori ad avere un quadro più chiaro di cosa stia andando storto.
Sintesi
L'articolo conclude che, sebbene gli agenti AI stiano costruendo codice più velocemente che mai, vengono rifiutati più spesso degli umani. Questo non accade solo perché il loro codice è pieno di bug, ma perché:
- Presentano cose che sono troppo grandi o complesse.
- Innescano una mancanza di fiducia nei manager umani.
- Hanno comportamenti unici "da robot" (come la chiusura automatica) che gli umani non hanno.
- Spesso vengono rifiutati senza che venga spiegato il motivo, rendendo difficile imparare dagli errori.
Lo studio fornisce un "filtro" per aiutare a pulire questi dati, in modo da poter comprendere meglio come rendere questi lavoratori AI più affidabili in futuro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.