A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Code Smell Detection

1. Il Problema

La rilevazione automatica dei "code smells" (indici di design subottimale che degradano la qualità del software) rimane una sfida significativa. Gli approcci esistenti presentano gravi limitazioni:

• Strumenti basati su euristiche: (es. DesigniteJava, PMD) soffrono di alta sensibilità alla selezione delle soglie e di una scarsa comprensione semantica, portando a falsi positivi e negativi.
• Modelli ML/DL tradizionali: Spesso non riescono a catturare le relazioni semantiche e strutturali profonde nel codice, ottenendo prestazioni deludenti.
• Limitazioni dei Large Language Models (LLM): Sebbene promettenti, l'adattamento dei LLM tramite Full Fine-Tuning è proibitivo in termini di costi computazionali e memoria GPU. Inoltre, mancano benchmark di alta qualità "pronti per i LM": i dataset esistenti si basano spesso su metriche software (non codice sorgente grezzo) o su etichette rumorose generate automaticamente da strumenti euristici (il "Problema dell'Oracolo"), rendendoli inadatti per l'addestramento di modelli linguistici.

2. Metodologia

Gli autori hanno condotto uno studio sistematico composto da due contributi principali: la creazione di un nuovo benchmark e la valutazione di metodi di Parameter-Efficient Fine-Tuning (PEFT).

A. Costruzione del Dataset (Benchmark LM-Ready)

Per superare le carenze dei dati esistenti, è stato creato un dataset di alta qualità specifico per i code smell in Java:

• Fonte: Repository Java recenti (2019-2024) da GitHub con alto numero di stelle.
• Tipologie di Code Smell: Quattro tipi non banali, sia a livello di metodo che di classe:
  1. Complex Conditional (CC)
  2. Complex Method (CM)
  3. Feature Envy (FE)
  4. Data Class (DC)
• Processo di Validazione:
  1. Raccolta iniziale tramite strumenti euristici (DesigniteJava e PMD).
  2. Revisione Manuale a Due Stadi: Due autori hanno esaminato manualmente i campioni per eliminare falsi positivi/negativi e bilanciare il dataset.
  3. Criteri di accettazione rigorosi definiti per ciascun smell (es. profondità di nidificazione, complessità logica, accessi a membri esterni).
• Risultato: Un dataset bilanciato con codice sorgente compilabile e etichette verificate dall'uomo, pronto per l'addestramento di LM.

B. Sperimentazione PEFT

Lo studio ha valutato l'efficacia di quattro tecniche PEFT su 9 modelli linguistici (4 Small LMs e 5 Large LMs):

• Metodi PEFT: Prompt Tuning, Prefix Tuning, LoRA (Low-Rank Adaptation), e (IA)³ (Infused Adapter by Inhibiting and Amplifying Inner Activation).
• Modelli:
  • SLM: CodeBERT, GraphCodeBERT, UnixCoder, CodeT5.
  • LLM: StarCoderBase (1B, 3B), DeepSeek-Coder (1.3B, 6.7B), CodeLlama-7B.
• Baseline di Confronto:
  • Strumenti euristici (DesigniteJava, PMD).
  • Approcci Deep Learning (DeepSmells, AE-Dense).
  • LLM generici con In-Context Learning (ICL) (GPT-4o-mini, DeepSeek-v3) in setting zero-shot, few-shot e criteria-informed.
• Metriche: Precision, Recall, F1-score e MCC (Matthews Correlation Coefficient).

3. Risultati Chiave

Efficacia dei Metodi PEFT

• Prestazioni vs. Full Fine-Tuning: I metodi PEFT hanno raggiunto prestazioni pari o superiori al Full Fine-Tuning sulla maggior parte dei modelli, pur aggiornando un numero trascurabile di parametri.
• Efficienza: L'uso di PEFT ha ridotto drasticamente l'uso di memoria GPU di picco rispetto al Full Fine-Tuning, rendendo fattibile l'addestramento su hardware limitato.
• Miglioramento rispetto alle Baseline: I modelli PEFT-tuned hanno superato tutte le baseline (euristiche, DL e ICL), con miglioramenti nell'MCC che vanno dallo 0,33% al 13,69%.

Scelte dei Modelli e Metodi

• SLM vs. LLM: Gli LLM generalmente performano meglio, specialmente per gli smell complessi a livello di classe (FE). Tuttavia, per alcuni smell (es. Data Class), gli SLM (in particolare GraphCodeBERT) hanno superato gli LLM.
• Metodo PEFT Ottimale:
  • Per gli LLM, (IA)³ è stato costantemente il metodo migliore su tutti i tipi di smell.
  • Per gli SLM, (IA)³ e Prefix Tuning hanno mostrato le prestazioni migliori, sebbene la scelta dipenda dal modello specifico.
  • LoRA ha mostrato instabilità in alcuni casi (es. su StarCoderBase per la rilevazione di CM), nonostante sia molto popolare.
• Scenari a Risorse Limitate: In scenari con pochi dati (es. 50-250 campioni), le prestazioni calano, ma LoRA emerge come la scelta più robusta quando i dati sono scarsi. Con 500 campioni, i metodi PEFT superano spesso il Full Fine-Tuning.

Confronto con ICL

• L'In-Context Learning (ICL) con prompt ben strutturati è competitivo per alcuni smell (CC e DC), ma rimane significativamente inferiore ai modelli PEFT-tuned per gli smell che richiedono una comprensione semantica profonda e strutturale (CM e FE), con deficit di prestazioni fino al 13-16% in MCC.

4. Contributi Principali

1. Benchmark di Alta Qualità: Creazione del primo dataset "LM-ready" per la rilevazione di code smell, basato su codice sorgente grezzo e validato manualmente, coprendo quattro tipi di smell complessi.
2. Valutazione Sistematica: Prima analisi estensiva delle tecniche PEFT su una vasta gamma di SLM e LLM per il task di rilevazione dei code smell, esplorando sia la comprensione a livello di metodo che di classe.
3. Insight Pratici: Fornitura di linee guida concrete per la selezione del metodo PEFT in base al modello, al tipo di smell e alle risorse disponibili (GPU e dati).
4. Riproducibilità: Rilascio pubblico del dataset, del codice sorgente e del pacchetto di replicazione.

5. Significato e Impatto

Questo lavoro dimostra che l'adattamento efficiente dei parametri (PEFT) è la strategia preferibile per applicare i Large Language Models alla rilevazione dei code smell. Risolve il collo di bottiglia della memoria GPU e supera i limiti degli strumenti tradizionali e dei modelli DL classici.
In particolare, lo studio evidenzia che:

• Non è necessario aggiornare tutti i parametri del modello per ottenere ottimi risultati.
• La scelta del metodo PEFT non è universale ma dipende dal modello e dal task specifico.
• L'approccio PEFT permette una rilevazione "just-in-time" dei code smell durante lo sviluppo, supportando il mantenimento della qualità del software in modo più proattivo rispetto agli strumenti statici tradizionali.

Il paper conclude che, sebbene l'ICL offra un'alternativa leggera, il PEFT rimane la soluzione più robusta e affidabile per la rilevazione accurata dei code smell su larga scala.