Predicting Acceptance and Review Effort in Human and Agent Pull Requests
Questo articolo dimostra che i modelli di apprendimento automatico che utilizzano esclusivamente caratteristiche al momento della sottomissione possono prevedere accuratamente l'accettazione di pull request sia umane che di agenti, ma faticano a prevedere lo sforzo di revisione, suggerendo che il loro miglior utilizzo sia come strumenti consultivi per il triage piuttosto che come decisori automatizzati.
Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un frenetico laboratorio di software dove le modifiche al codice sono come pacchi in attesa di essere spediti. Nei vecchi tempi, solo gli operai umani inviavano questi pacchi. Ma ora, una nuova squadra di robot IA si è unita alla squadra, consegnando i propri pacchi di codice insieme agli umani. I manager (chiamati "maintainer") sono improvvisamente sopraffatti. Hanno una montagna di pacchi da controllare e hanno bisogno di sapere due cose immediatamente: Quali pacchi verranno approvati e spediti? e Quali richiederanno un'ispezione enorme ed estenuante?
Questo articolo è come un detective che cerca di risolvere questo mistero usando solo gli indizi visibili sull'esterno del pacco nel momento stesso in cui arriva, prima ancora che qualcuno abbia aperto la scatola o iniziato a parlarne.
La Grande Scoperta: L' "Etichetta del Pacco" Dice Molto
I ricercatori hanno scoperto che è possibile fare una previsione piuttosto accurata su se un pacco sarà accettato semplicemente guardando la sua etichetta e la scatola in cui si trova. Hanno costruito un sistema informatico intelligente che osservava elementi come:
- Quanto era lunga la descrizione sull'etichetta.
- Quanti file c'erano all'interno della scatola.
- In quale momento della giornata era stato inviato.
- La reputazione del laboratorio da cui proveniva.
Quando hanno testato questo sistema, il computer è diventato molto bravo a individuare i pacchi "approvati". Infatti, i migliori modelli (usando un metodo chiamato Random Forest) hanno ottenuto un punteggio di 0,958 su 1,0 nell'identificare correttamente quali pacchi sarebbero stati accettati. È come un detective che risolve 96 casi su 100 con un semplice sguardo all'indirizzo!
Tuttavia, c'è un trucco. L'articolo avverte esplicitamente che questo sistema non è un pulsante magico "sì/no". Il computer è bravo a smistare il "probabile sì" dal "probabile no", ma non è abbastanza perfetto da prendere la decisione finale da solo. I ricercatori suggeriscono di usarlo come un assistente utile per dire ai manager: "Ehi, guarda questo per primo!" piuttosto che come un robot automatizzato che dice: "Spediscilo!" senza che un essere umano lo guardi mai.
Il Mistero Più Difficile: Quanto Lavoro Richiederà?
La seconda domanda era più complicata: "Quanto sforzo richiederà la revisione di questo pacco?". I ricercatori hanno cercato di prevedere due cose: quanti commenti riceverebbe il pacco (il "chiacchiericcio") e quante ore rimarrebbe in coda prima di essere spedito (il "tempo di attesa").
Qui, i risultati sono molto più modesti. Il computer poteva indovinare la quantità di chiacchiericcio con un margine di errore di circa 1,00 commento in media, ma spiegava solo il 20% dei motivi per cui alcuni pacchi ricevevano più commenti rispetto ad altri. Prevedere il tempo di attesa era ancora più difficile; le ipotesi del computer erano errate di una media di 24,00 ore, e spiegavano solo il 12% della variazione.
Perché questo era così difficile? L'articolo suggerisce che il tempo di attesa non dipende solo dal pacco stesso. È come aspettare un autobus: anche se il tuo biglietto è perfetto, potresti comunque aspettare molto tempo se l'autista è in pausa, se il traffico è intenso o se l'autobus è pieno. Allo stesso modo, un pacco di codice potrebbe attendere a lungo perché i revisori sono occupati, gli strumenti di test automatizzati sono lenti o il team ha semplicemente un flusso di lavoro lento. L'articolo sostiene che non si possono prevedere questi "ingorghi" guardando solo l'etichetta del pacco.
Umani vs Robot: Seguono Regole Diverse?
La squadra si è anche chiesta se i pacchi dei robot IA fossero più difficili da prevedere rispetto a quelli degli umani. Hanno scoperto che i pacchi dei robot erano in realtà un po' più facili da smistare perché seguivano schemi molto ordinati e regolari. I pacchi umani erano più disordinati e variabili.
Interessante notare che i pacchi dei robot tendevano a ricevere un po' più di "chiacchiericcio" (commenti) e richiedevano un po' più di tempo per essere spediti. L'articolo suggerisce che questo potrebbe essere dovuto al fatto che i manager umani sono extra cauti, controllando due volte il lavoro del robot per assicurarsi che non abbia trucchi nascosti. Ma nonostante questa attenzione extra, il computer era comunque in grado di prevedere l'esito per i robot proprio come per gli umani.
Ciò a cui l'Articolo Dice "No"
È importante sapere cosa questo studio non ha fatto. I ricercatori hanno escluso esplicitamente l'uso di qualsiasi informazione che appare dopo che il pacco viene aperto. Non hanno guardato i commenti scritti dalle persone, i risultati dei test automatizzati o la decisione finale di integrare il codice. Se avessero usato quelle informazioni, sarebbe stato come cercare di prevedere il tempo guardando il terreno dopo che ha piovuto. Tutto il punto era vedere se si potesse indovinare l'esito prima che la pioggia iniziasse.
Hanno anche escluso l'idea che il computer potesse sostituire i revisori umani. I risultati mostrano che, sebbene il computer sia un ottimo strumento di "triage" (come un vigile urbano che dirige le auto), non può spiegare completamente le complesse ragioni sociali e di flusso di lavoro per cui una revisione richiede tempo.
In Breve
In breve, l'articolo suggerisce che possiamo costruire un sistema intelligente per aiutare i manager a dare priorità al loro lavoro. Se un pacco ha un'etichetta chiara, una dimensione ragionevole e proviene da una buona fonte, il sistema può dire: "Questo sembra sicuro, controlliamolo per primo". Ma quando si tratta di indovinare quanto tempo durerà una revisione o quanto accadrà discussione, il sistema sbatte contro un muro. L'articolo conclude che questi strumenti sono migliori come un compagno d'aiuto al giudizio umano, non come un suo sostituto. Il futuro di questa tecnologia potrebbe migliorare se aggiungessimo più indizi, come di cosa sono occupati attualmente i revisori o come funziona effettivamente il codice, ma per ora, gli indizi "esterni al pacco" raccontano solo una parte della storia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.