A Pilot Study on Detecting Software Design Patterns with Large Language Models: An Empirical Evaluation

1. Il Problema

I Design Pattern (modelli di progettazione) sono soluzioni riutilizzabili a problemi ricorrenti nello sviluppo software. La loro corretta implementazione è cruciale per la manutenibilità e l'adattabilità del codice. Tuttavia, l'identificazione manuale dei pattern è un processo laborioso, soggetto a errori e spesso riservato a sviluppatori esperti.
Le tecniche tradizionali di rilevamento si basano su:

• Analisi statica basata su grafi: Richiede una formalizzazione strutturale esplicita, è costosa in termini computazionali e fatica a gestire varianti strutturali o implementazioni non canoniche.
• Machine Learning (ML): Dipende fortemente dalla qualità dei dati di addestramento e dall'estrazione manuale di feature (metriche del codice), che potrebbe non catturare le sfumature semantiche necessarie.

Il problema centrale affrontato dal paper è valutare se i Large Language Models (LLM) moderni possano superare le limitazioni delle tecniche precedenti, offrendo un approccio più flessibile basato sul ragionamento semantico per rilevare automaticamente i pattern di progettazione, e capire se il formato di input (codice, diagrammi o descrizioni testuali) influisca sulle prestazioni.

2. Metodologia

Lo studio è un'indagine empirica pilota strutturata come segue:

• Dataset: Utilizzo del dataset P-MART, contenente codice sorgente Java con annotazioni XML che indicano la presenza di istanze di design pattern. Sono stati selezionati 144 file contenenti implementazioni di cinque pattern specifici:

  • Singleton (Creazionale)
  • Adapter, Bridge, Composite, Decorator (Strutturali)
    Per ogni categoria, sono stati aggiunti file di controllo privi del pattern per bilanciare il dataset.

• Modelli LLM Valutati:

  • 3 Modelli "Coder" (specializzati in codice): Qwen2.5 Coder (32B), NextCoder (7B), NXCode-CQ (7B).
  • 1 Modello "Non-Coder" (generale): Gemma 3 (27B).
  • Approcci Ensemble: Due strategie di votazione a maggioranza basate su tre modelli ciascuno (Ensemble 1: solo coder; Ensemble 2: i tre modelli con le migliori prestazioni individuali).

• Modalità di Input (Prompting): I modelli sono stati testati con tre diverse rappresentazioni degli stessi file di codice:

  1. Codice Sorgente: Il file Java originale.
  2. PlantUML: Rappresentazione grafica/strutturale del codice generata automaticamente.
  3. Descrizione Testuale: Una descrizione generata da un modello LLM (Qwen-3-Coder) che descrive metodi e variabili del codice.

• Procedura: Per ogni combinazione (Modello × Pattern × Modalità di Input), i modelli hanno risposto con "Sì/No" alla domanda se un determinato ruolo di pattern fosse presente, fornendo una spiegazione. Le prestazioni sono state misurate tramite Accuracy, Precision, Recall e F1-Score. Sono stati utilizzati test statistici (Friedman test e Conover post-hoc) per valutare la significatività dei risultati.

3. Risultati Chiave

Risposta alla RQ1: Efficacia dei diversi LLM

• Prestazioni Generali: I modelli NextCoder e Gemma 3 hanno mostrato le prestazioni complessive migliori.
• Pattern Specifici:
  • Singleton e Decorator: Rilevati con alta accuratezza da quasi tutti i modelli, in particolare da Gemma 3 e NextCoder.
  • Adapter e Bridge: NextCoder ha ottenuto i punteggi F1 più alti, adottando una strategia conservativa (alta precisione, ma recall più bassa).
  • Composite: Il modello Nxcode-CQ ha eccelso nel rilevamento di questo pattern complesso.
• Modelli Coder vs Non-Coder: Sorprendentemente, Gemma 3 (un modello non specializzato in codice) ha superato due dei tre modelli coder in termini statistici, suggerendo che la specializzazione "coder" non è sempre necessaria per compiti di comprensione semantica del design.
• Ensemble: Gli approcci ensemble hanno generalmente migliorato l'equilibrio tra precisione e recall, ottenendo spesso il miglior punteggio F1 complessivo, specialmente Ensemble 2.

Risposta alla RQ2: Impatto delle Modalità di Input

• Parità Statistica: Non è stata trovata alcuna differenza statisticamente significativa nelle prestazioni (F1-score) tra le tre modalità di input (Codice, PlantUML, Descrizione Testuale).
• Analisi delle Metriche:
  • Il PlantUML ha mostrato una Precision molto alta, ma un Recall più basso (tendenza a non rilevare istanze incerte).
  • Le Descrizioni Testuali hanno ottenuto il Recall più alto (0.75), indicando una migliore capacità di identificare tutte le istanze corrette, probabilmente grazie alla ricchezza semantica del testo.
  • Il Codice Sorgente ha mostrato prestazioni intermedie.
• Implicazione: La scelta del formato di input può essere flessibile; le descrizioni testuali potrebbero essere particolarmente utili per modelli non coder o per massimizzare il recall.

4. Contributi Principali

1. Valutazione Empirica di LLM: Uno dei primi studi a confrontare sistematicamente modelli LLM (sia coder che non coder) per il rilevamento di pattern di design, andando oltre le tecniche basate su grafi o ML tradizionali.
2. Analisi Multi-Modale: Introduzione e valutazione di una nuova modalità di input: la descrizione testuale del codice, dimostrando che può essere efficace quanto il codice grezzo o i diagrammi UML.
3. Validazione degli Ensemble: Dimostrazione che combinare le previsioni di più modelli tramite votazione a maggioranza può migliorare l'affidabilità del rilevamento rispetto all'uso di un singolo modello.
4. Sfatare il Mito della Specializzazione: Evidenza che un modello generale (Gemma 3) può competere o superare modelli specializzati in codice per compiti di comprensione architetturale.

5. Significatività e Implicazioni Future

• Per gli Sviluppatori: L'uso di LLM può accelerare la comprensione di sistemi legacy, aiutando i nuovi sviluppatori a identificare rapidamente l'architettura e i potenziali "code smells" o anti-pattern.
• Per la Ricerca: Lo studio apre nuove direzioni, suggerendo che l'input testuale descrittivo è una via promettosa, specialmente per modelli più piccoli o generalisti.
• Limitazioni e Lavori Futuri:
  • Lo studio è limitato a file singoli (non interi progetti interconnessi), il che ha penalizzato pattern complessi come il Composite.
  • Sono stati testati solo 5 pattern su un dataset specifico.
  • Futuri lavori esploreranno prompt con few-shot learning (esempi) e Chain-of-Thought (ragionamento passo-passo) per migliorare la precisione, oltre a testare dataset più ampi e combinazioni di input multi-modale.

In conclusione, il paper dimostra che gli LLM sono strumenti promettenti per l'automazione del rilevamento dei design pattern, offrendo un'alternativa flessibile ed efficace alle tecniche statiche tradizionali, con potenziali benefici significativi per la manutenzione e l'evoluzione del software.