Repair Evidence Resolution: Separating Prediction, Structural Resolution, and Transfer in Automated Patch Correctness Assessment

Nel mondo dell'ingegneria del software, i computer scrivono sempre più spesso il proprio codice per correggere i bug. Questo campo, noto come riparazione automatica dei programmi (automated program repair), funziona generando migliavere di possibili soluzioni per un programma guasto e poi testandole contro un insieme di regole per vedere quali funzionano. Tuttavia, un problema persistente affligge da tempo questo processo: una correzione può superare tutti i test a cui il computer è sottoposto pur essendo fondamentalmente errata. Questo è chiamato overfitting, ovvero quando una soluzione è troppo perfettamente adattata ai test specifici che affronta, ma non riesce ad affrontare l'errore sottostante reale. Per risolvere questo problema, i ricercatori hanno costruito strumenti che agiscono come giudici, cercando di prevedere quali tra le molte correzioni generate siano realmente corrette e quali siano invece solo fortunate. Per anni, il successo di questi giudici è stato misurato in base a quanto spesso davano la risposta giusta, proprio come si valuta uno studente in un test a scelta multipla. Ma questo approccio trascura una domanda più profonda: anche se un giudice è bravo a indovinare, le informazioni che vede contengono effettivamente gli indizi necessari per distinguere una correzione giusta da una sbagliata?

Un nuovo studio di Mohammad Amir Khusru Akhtar della Usha Martin University sposta l'attenzione dal quanto un giudice sia bravo a indovinare al fatto che l'evidenza disponibile per quel giudice sia effettivamente capace di fare la distinzione corretta. Il ricercatore introduce un framework chiamato Repair Evidence Resolution (Risoluzione dell'Evidenza della Riparazione), che tratta l'informazione visibile al computer come una collezione di gruppi. L'idea centrale è verificare se un singolo gruppo contenga sia una correzione corretta che una errata che appaiono esattamente uguali al computer. Se un tale gruppo esiste, nessuna quantità di astuzia nel fare previsioni potrà mai separarli, perché il computer non ha modo di distinguerli. Non si tratta dell'intelligenza dell'algoritmo, ma dei limiti dei dati stessi. Lo studio si chiede se i segnali specifici utilizzati per valutare le correzioni siano abbastanza dettagliati da separare le risposte giuste da quelle sbagliate, e se il piccolo insieme di esempi utilizzati nella ricerca sia sufficiente a dimostrare che i dati sono adeguati per l'universo molto più vasto di tutte le possibili correzioni.

Per investigare su questo, il ricercatore ha analizzato una vasta collezione di dati pubblicamente disponibili provenienti da una conferenza di ingegneria del software del 2020. Questo dataset conteneva 1.762 record di correzioni di programmi generati da due diversi strumenti automatizzati. Ogni record includeva un'etichetta che indicava se la correzione era corretta o errata, insieme a due diversi tipi di descrizioni numeriche, o canali di evidenza, che un computer usa per comprendere la correzione. Il ricercatore ha scritto un programma per computer per raggruppare queste correzioni in base alle loro descrizioni. Se due correzioni avevano la stessa identica descrizione, venivano inserite nello stesso secchio (bucket). Il programma ha poi controllato ogni secchio per vedere se conteneva un mix di correzioni corrette e errate. Se un secchio conteneva entrambe, significava che l'evidenza era insufficiente per distinguerle, creando un punto cieco per qualsiasi giudice.

L'analisi ha rivelato una chiara differenza tra i due tipi di evidenza. Quando il ricercatore ha esaminato il primo tipo di descrizione da solo, ha scoperto nove gruppi che contenevano un mix confuso di correzioni corrette e errate. Questi nove gruppi coinvolgevano 43 patch, rappresentando un divario piccolo ma significativo nella capacità di distinguere la verità dall'errore. Tuttavia, quando il ricercatore ha esaminato il secondo tipo di descrizione, o quando ha combinato entrambi i tipi di informazione, quei gruppi confusi sono scomparsi. Nella visione combinata, ogni singolo gruppo conteneva solo correzioni corrette o solo correzioni errate. Ciò significa che il secondo tipo di evidenza, o la combinazione di entrambi, ha fornito una separazione strutturale completa che il primo tipo mancava. Lo studio dimostra che avere semplicemente un modello di previsione migliore non è sufficiente; i dati sottostanti devono prima di tutto essere capaci di separare i due esiti.

Forse il risultato più sorprendente riguarda la facilità con cui i ricercatori possono essere tratti in inganno da campioni di piccole dimensioni. Lo studio ha calcolato la probabilità che una selezione più piccola e casuale di queste correzioni sembrasse essere perfettamente risolvibile, anche se la collezione completa non lo era. Per un campione di soli 100 record, la probabilità che sembrasse perfetto (nascondendo tutti i gruppi confondenti) era del 91,29%. Anche con un campione di 400 record, c'era ancora una probabilità del 34% che la confusione rimanesse nascosta. Solo quando la dimensione del campione ha raggiunto gli 800, la probabilità di mancare il problema è scesa sotto il 2,5%. Ciò dimostra che un ricercatore potrebbe facilmente testare un nuovo strumento su un piccolo set di dati, trovare che funziona perfettamente e concludere erroneamente che l'evidenza è sufficiente, mentre la popolazione più ampia di correzioni rimane piena di errori indetectabili.

Il documento non sostiene che queste scoperte risolvano il problema della riparazione automatica o che il dataset specifico rappresenti ogni possibile bug del software. Invece, stabilisce un nuovo modo per sottoporre a audit la qualità dell'evidenza stessa. Dimostra che prima di chiederci se un computer sia abbastanza intelligente da giudicare una correzione, dobbiamo chiederci se l'informazione che gli viene data sia abbastanza dettagliata da rendere possibile il giudizio. Lo studio conferma che l'aggiunta di altri tipi di evidenza può risolvere i conflitti strutturali che un singolo tipo non può risolvere, e avverte che piccoli set di test possono dare un falso senso di sicurezza. Separando la questione della previsione dalla questione della risoluzione dell'evidenza, la ricerca fornisce una via più chiara per valutare quanto bene gli strumenti automatizzati possano realmente comprendere il codice che stanno cercando di correggere.