Enhancing Software Maintenance: A Learning to Rank Approach for Co-changed Method Identification

Sintesi Tecnica: Miglioramento della Manutenzione del Software tramite un Approccio Learning-to-Rank per l'Identificazione di Metodi Co-cambiati

Definizione del Problema
Man mano che i sistemi software crescono in complessità, identificare accuratamente tutte le modifiche necessarie per implementare una specifica modifica diventa sempre più difficile. Una sfida critica è il rilevamento dei "metodi co-cambiati" (co-changed methods)—metodi che evolvono frequentemente insieme nel tempo, indicando spesso un forte accoppiamento evolutivo anche in assenza di esplicite dipendenze nel codice. Gli approcci esistenti presentano limitazioni significative:

1. Problemi di Granularità: L'analisi a livello di commit può perdere co-cambiamenti che si estendono su più commit all'interno di un singolo Pull Request (PR) o includere cambiamenti accidentali.
2. Limitazioni di Ambito: Il rilevamento basato sui clone trascura le relazioni tra codice non clonato.
3. Deficit di Prioritizzazione: Il data mining delle regole di associazione genera set di risultati ampi e non ordinati con alti tassi di falsi positivi, mancando di meccanismi per dare priorità ai candidati più rilevanti.
4. Rigidità Euristica: I metodi di classificazione esistenti si affidano a funzioni di punteggio fisse che non riescono ad aggregare in modo adattivo caratteristiche eterogenee (storiche, strutturali, semantiche).

Per affrontare queste lacune, gli autori propongono CoRanker, un framework che sposta la granularità del rilevamento dal livello di commit al livolo di Pull Request (PR) e impiega un approccio Learning-to-Rank (LtR) per prevedere e classificare i metodi probabilmente co-cambiati.

Metodologia
CoRanker è un framework di apprendimento supervisionato progettato per classificare i metodi candidati in base alla loro probabilità di essere co-cambiati con un metodo di query. La metodologia prevede quattro fasi principali:

1. Raccolta Dati e Selezione dei Progetti:

   • Lo studio utilizza 150 progetti open-source Java da GitHub, per un totale di 41,5 milioni di righe di codice (LOC) e 634.216 PR.
   • I progetti sono stati selezionati in base all'attività (attivi da >2 anni, aggiornati negli ultimi 6 mesi), al volume (>200 PR approvate) e all'integrità strutturale (rappresentazione di sistemi software reali).

2. Estrazione delle Caratteristiche:
   Il modello utilizza dieci caratteristiche derivate dal codice sorgente e dalla cronologia del controllo di versione per rappresentare la relazione tra un metodo di query ($M_q$) e un metodo candidato ($M_c$):

   • Caratteristiche Storiche: Numero di co-cambiamenti (frequenza di modifica congiunta nelle PR) e somiglianza degli Autori (somiglianza di Jaccard tra i set di contributori).
   • Caratteristiche Statiche/Strutturali: Somiglianza semantica (tramite embedding CodeBERT), somiglianza del percorso del file, dipendenza dal codice (relazioni di chiamata), somiglianza gerarchica (superclasse condivisa), punteggio di clone del codice (tramite NiCad), somiglianza del pacchetto, somiglianza del tipo di argomento e somiglianza del nome dell'argomento.
   • Gestione della Ridondanza: La "somiglianza del pacchetto" è stata rimossa a causa dell'alta correlazione con la "somiglianza del percorso" per garantire la generalizzabilità.

3. Preparazione e Etichettatura dei Dati:

   • Il dataset è costruito utilizzando un approccio di separazione temporale per prevenire la fuga di dati (data leakage). Le caratteristiche vengono estratte da una finestra storica (es. 12 mesi) e le etichette vengono generate in base alle occorrenze di co-cambiamento in una finestra successiva (es. 6 mesi).
   • Le etichette rappresentano la frequenza dei co-cambiamenti tra coppie di metodi nel periodo di etichettatura.
   • Le liste di classificazione sono costruite per ogni metodo di query, escludendo le liste in cui tutti i candidati hanno uno storico di co-cambiamento pari a zero.

4. Addestramento del Modello e Valutazione:

   • Algoritmi: Lo studio valuta nove modelli LtR appartenenti alle categorie point-wise (Linear Regression, MART, Random Forest, DNN), pair-wise (RankNet, LambdaMART) e list-wise (Coordinate Ascent, AdaRank, ListNet).
   • Baseline: CoRanker viene confrontato con sei baseline: Support ranking (basato sulla frequenza), Prossimità del file, Rilevamento dei cloni del codice (NiCad), FCP2Vec e due configurazioni di StarCoder 2 (Scalar e Binary, sia in modalità zero-shot che history-aware).
   • Metriche: Le prestazioni sono misurate utilizzando la Normalized Discounted Cumulative Gain (NDCG@k) e la Precision@k per $k \in \{1, 3, 5, 10\}$.

Risultati Chiave

• Prestazioni del Modello: Il modello Random Forest (RF) è emerso come l'algoritmo LtR superiore, superando gli altri modelli LtR di 2,5%–12,8% in NDCG@5. Ha raggiunto un NDCG@5 medio di 0,8394 e una Precision@5 di 0,7418.
• Confronto con le Baseline: CoRanker (utilizzando RF) ha superato significativamente tutte le sei baseline, con miglioramenti in NDCG@5 compresi tra il 4,7% e il 573,5%. In particolare, ha superato la migliore baseline (Support ranking) del 4,7% in NDCG@5 e del 10,2% in NDCG@1.
• Prestazioni degli LLM: Sebbene sia stato valutato StarCoder 2 (15 miliardi di parametri), esso è risultato costantemente inferiore al modello RF basato sulle caratteristiche. Anche con il contesto storico fornito nei prompt, gli LLM non sono riusciti a eguagliare la baseline euristica di support-ranking, suggerendo che gli attuali modelli di codice pre-addestrati faticano a catturare i pattern di accoppiamento evolutivo senza una specifica ingegneria delle caratteristiche.
• Importanza delle Caratteristiche: L'analisi dell'importanza per permutazione ha rivelato che il Numero di co-cambiamenti è la caratteristica dominante (importanza ~0,38). La somiglianza del percorso e la somiglianza degli Autori hanno anche contribuito positivamente. Al contrario, la somiglianza del nome dell'argomento ha avuto un lieve impatto negativo, e la somiglianza semantica (CodeBERT) ha mostrato un contributo minimo.
• Dinamiche Temporali: I modelli addestrati su dati storici più lunghi (90–180 giorni) hanno dimostrato prestazioni più costanti rispetto a quelli addestrati su periodi più brevi (30 giorni). Tuttavia, l'accuratezza della previsione ha iniziato a diminuire dopo 60 giorni di dati di test, suggerendo la necessità di un riaddestramento del modello bimensile per mantenere prestazioni ottimali.

Significatività e Contributi
L'articolo dichiara i seguenti contributi:

1. Proposta di Framework: Introduzione di CoRanker, un framework di learning-to-rank che integra caratteristiche eterogenee per dare priorità ai metodi co-cambiati a livello di PR, superando i limiti dei commit e degli approcci euristici.
2. Valutazione Empirica su Larga Scala: Uno studio completo su 150 progetti Java reali, fornendo un dataset robusto e un pacchetto di replicazione.
3. Validazione delle Prestazioni: Dimostrazione che i modelli LtR, specificamente Random Forest, superano significativamente le baseline esistenti e gli approcci basati su LLM nell'identificazione dei metodi co-cambiati.
4. Approfondimenti sulle Caratteristiche: Evidenza empirica che, sebbene la frequenza storica dei co-cambiamenti sia il principale predittore, l'integrazione di caratteristiche strutturali e semantiche tramite modelli di apprendimento migliora sostanzialmente la qualità della raccomandazione nelle prime posizioni (early-rank).
5. Linee Guida per il Deployment Pratico: Intuizioni sui requisiti operativi di tale strumento, inclusa la necessità di un riaddestramento periodico (ogni 2–3 mesi) e la fattibilità dell'integrazione del sistema in IDE o pipeline CI con un basso overhead di runtime (inferenza <1 secondo per query).

Gli autori concludono che CoRanker offre uno strumento pratico per i team di sviluppo per gestire dipendenze complesse, ridurre il rischio di mancare modifiche necessarie e migliorare la qualità complessiva della manutenzione del software. Riconoscono i limiti riguardanti l'ambito (solo Java/GitHub) e la mancanza di studi sugli utenti, proponendo come lavoro futuro la generalizzazione ad altri linguaggi e l'integrazione diretta negli ambienti di sviluppo.