Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection

Sintesi Tecnica: Oltre le Regole Rigide: Valutazione dell'Efficacia dei Large Language Models per il Rilevamento dei Code Smell

Problema
I code smell sono indicatori di un potenziale degrado della qualità che impatta negativamente sulla manutenibilità del software, l'affidabilità e i costi di sviluppo. Sebbene gli strumenti di analisi statica (ad esempio, JDeodorant, PMD) siano stati utilizzati a lungo per il rilevamento automatizzato, essi si basano su regole rigide che spesso mancano della flessibilità necessaria per gestire la natura sfumata e dipendente dal contesto di molti smell. Al contrario, l'ispezione manuale è accurata ma costosa e lenta. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale in vari compiti di ingegneria del software, la loro efficacia nel rilevamento dei code smell rimane poco esplorata, in particolare per quanto riguarda la loro capacità di superare o integrare gli strumenti tradizionali in codebase reali e complesse. Inoltre, i benchmark esistenti spesso si basano su dataset sintetici di piccole dimensioni o mancano di una solida verità di base (ground truth) validata da esseri umani.

Metodologia
Gli autori hanno condotto uno studio empirico valutando l'efficacia di quattro LLM — DeepSeek-R1, GPT-5 mini, Llama-3.3 e Qwen2.5-Code — nel rilevare nove specifici code smell (Data Class, Dispersed Coupling, Feature Envy, Intensive Coupling, Long Method, Large Class, Long Parameter List, Refused Bequest e Shotgun Surgery).

• Costruzione del Dataset: Lo studio ha utilizzato un dataset esteso di 30 progetti Java reali, tra i più popolari su GitHub, comprendente oltre 3,5 milioni di righe di codice. Per stabilire una ground truth affidabile, gli autori hanno campionato 268 candidati a code smell e hanno coinvolto 76 studenti di informatica (con competenza Java verificata) per valutarli manualmente. Uno "smell" era confermato se la valutazione media umana superava il punteggio di 3 su 5.
• Configurazione Sperimentale: Gli LLM sono stati istruiti utilizzando una strategia di Chain-of-Thought (CoT), in cui i modelli venivano interrogati con domande diagnostiche specifiche basate sulla letteratura prima di concludere se uno smell fosse presente. La temperatura è stata standardizzata tra i modelli per garantire la coerenza.
• Strategia di Valutazione: Lo studio ha impiegato tre approcci analitici:
  1. Performance del singolo LLM: Confronto delle metriche di Precision, Recall e F1-Score di ciascun LLM rispetto alla ground truth umana.
  2. LLM vs. Analisi Statica: Benchmarking degli LLM rispetto a quattro strumenti di analisi statica consolidati (JDeodorant, JSpIRIT, Organic, PMD).
  3. Strategia Combinata: Proposta e valutazione di un metodo di ensemble basato sul voto che aggrega gli output dei quattro LLM e dei due strumenti di analisi statica (6 voti totali), segnalando uno smell se riceve almeno tre voti.

Contributi Chiave

1. Dataset di Ground Truth: Creazione di una ground truth validata manualmente per 268 istanze di code smell in 30 progetti Java reali, fungendo da benchmark per future strategie di rilevamento.
2. Valutazione Empirica Esaustiva: Un confronto sistematico di quattro diversi LLM contro gli strumenti di analisi statica tradizionali attraverso nove distinti tipi di code smell.
3. Strategia di Rilevamento Ibrida: Proposta e validazione di una strategia di voto combinata che integra LLM e strumenti statici per migliorare la copertura del rilevamento.
4. Pacchetto di Replicazione: Fornitura di tutti i dataset, script e template di prompt per facilitare la replicazione e l'estensione da parte della comunità di ricerca.

Risultati
Lo studio rivela che l'efficacia delle strategie di rilevamento dipende fortemente dal tipo specifico di code smell:

• Smell Strutturalmente Semplici: Per gli smell definiti da metriche strutturali chiare (ad esempio, Large Class, Long Method, Data Class), gli LLM hanno performato con forza, spesso eguagliando o superando gli strumenti di analisi statica. La strategia di voto combinata ha raggiunto i punteggi F1 e la Recall più elevati per queste categorie (ad esempio, Large Class F1: 0,93, Long Method F1: 0,89).
• Smell Dipendenti dal Contesto e Soggettivi: Per gli smell che richiedono una profonda comprensione semantica o contestuale (ad esempio, Feature Envy, Refused Bequest, Long Parameter List), le performance sono variate significativamente. Nessuna singola strategia ha dominato tutti gli smell. In questi casi, strumenti specializzati (ad esempio, Organic per Long Parameter List) o specifici LLM (ad esempio, Llama-3.3 per Feature Envy) hanno spesso superato l'ensemble combinato.
• Compromessi (Trade-offs): La strategia combinata ha massimizzato costantemente la Recall, rendendola efficace nel minimizzare i falsi negativi. Ciò è avvenuto però a scapito di un aumento dei Falsi Positivi per gli smell complessi, suggerendo che la strategia ottimale dipenda dal fatto che un progetto dia priorità alla Recall (copertura) o alla Precision (accuratezza).
• Variabilità del Modello: Le performance sono variate tra gli LLM; ad esempio, Llama-3.3 e DeepSeek-R1 hanno generalmente superato gli altri in specifiche categorie, indicando che l'architettura del modello e i dati di addestramento influenzano le capacità di rilevamento.

Significatività e Rivendicazioni
Gli autori sostengono che, sebbene gli LLM non siano un sostituto universale per gli strumenti di analisi statica, rappresentano un complemento potente e flessibile. Lo studio conclude che:

• Gli LLM sono particolarmente efficaci nel rilevare smell basati su pattern sintattici e dimensioni.
• Un approccio "taglia unica" è insufficiente; la scelta dello strumento di rilevamento deve essere adattata al tipo specifico di smell e alla tolleranza del progetto verso i falsi positivi rispetto ai falsi negativi.
• Una strategia combinata offre un'alternativa robusta per i professionisti che cercano un'alta copertura, specialmente quando lo strumento individuale ottimale è sconosciuto, sebbene possa richiedere un maggiore sforzo di revisione manuale per gli smell complessi.
• Il dataset e i risultati forniti offrono una base per perfezionare i flussi di lavoro di rilevamento, migliorare il prompt engineering e sviluppare sistemi di rilevamento ibridi che sfruttino i punti di forza sia degli approcci basati su regole che di quelli basati sulla semantica.