Riepilogo Tecnico: SmellBench

Problematica

I recenti progressi nei Large Language Models (LLM) hanno permesso lo sviluppo di sofisticati agenti di codice capaci di gestire compiti di ingegneria del software complessi, inclusa la generazione di codice, la correzione di bug e il ragionamento a livello di repository. Tuttavia, esiste una lacuna critica nella valutazione di questi agenti: sebbene spesso producano codice funzionalmente corretto, il loro uso improprio può portare a codice gonfio e disorganizzato che compromette gravemente la leggibilità, l'estensibilità e la robustezza.

I benchmark esistenti si concentrano principalmente sulla correttezza funzionale (ad esempio, il superamento dei test case) ma trascurano ampiamente la manutenibilità a lungo termine e la qualità del codice. Inoltre, gli attuali benchmark di refactoring soffrono di limitazioni significative:

1. Curatela Manuale: Dataset di alta qualità, curati da esseri umani, sono costosi da produrre e mancano di scalabilità.
2. Estrazione dai Commit: L'estrazione automatica di casi di refactoring dalla cronologia dei commit di GitHub spesso genera dati "rumorosi", dove il refactoring è intrecciato con l'implementazione di funzionalità e la correzione di bug, rendendo difficile isolare specifici scenari di refactoring.
3. Mancanza di Purezza: I dataset esistenti faticano a fornire casi di refactoring controllati, diversificati e di alta qualità con una verità di base (ground truth) scritta da umani.

Metodologia: Costruzione di SmellBench

Per affrontare queste limitazioni, gli autori propongono SmellBench, un benchmark estensibile che inietta proattivamente "code smells" (odori del codice) in snippet di codice pulito provenienti da repository reali. La pipeline di costruzione consiste in quattro fasi chiave eseguite all'interno di un ambiente Dockerizzato:

1. Selezione del Repository: Sono stati selezionati sette repository Python popolari e su larga scala (ad esempio, click, pandas, numpy) per garantire linee guida dei contributori mature e una copertura dei test completa.
2. Scoperta dei Candidati: Per evitare il bias di localizzazione e garantire la validità, la pipeline impiega un processo in due fasi:
   • Filtraggio Grossolano: Seleziona file sorgente che superano le 500 righe di codice per garantire una ricchezza strutturale.
   • Localizzazione tramite Agente: Un agente di codice identifica metodi o classi specifici adatti all'iniezione di smell basandosi su vincoli specifici dello smell, invece di affidarsi al matching basato su regole.
3. Iniezione di Smell: Un potente agente di codice (OpenHands + Claude Sonnet 4.5) modifica il codice pulito per introdurre specifici code smells preservando al contempo la compilabilità. Il benchmark copre 7 tipi distinti di smell:
   • Feature Envy (Invidia di Funzionalità)
   • God Classes (Classi Onnipotenti)
   • Data Clumps (Aggregati di Dati)
   • Shotgun Surgery (Chirurgia a Spruzzo)
   • Dead Code (Codice Morto)
   • Interface Segregation (Segregazione dell'Interfaccia)
   • Deep Inlining (Inlining Profondo)
   • Configurazioni: I casi sono stratificati in 3 livelli di difficoltà (Easy, Medium, Hard) e 2 impostazioni di istruzione (Guided vs. Targeted) per testare diversi livelli di complessità del compito e autonomia dell'agente.
4. Validazione della Qualità: Il codice "smelly" iniettato viene validato rispetto alle suite di test esistenti del repository. I casi sono raffinati iterativamente dall'agente per garantire che tutti i test unitari passino, garantendo che l'iniezione dello smell non rompa la correttezza funzionale. Ciò risulta in 294 campioni validi e accoppiati (pulito vs. smelly) con verità di base scritta da umani.

Framework di Valutazione

SmellBench introduce un framework di valutazione tridimensionale progettato specificamente per i compiti di refactoring, andando oltre le semplici metriche pass/fail:

1. Test Passing Rate (TPR): Misura la correttezza funzionale verificando se il codice refactorizzato supera la suite di test originale.
2. Localization Accuracy (LA): Valuta la capacità dell'agente di identificare correttamente le posizioni specifiche del codice (classi o metodi) che richiedono il refactoring.
3. LLM-as-Judge: Un LLM valuta la qualità del refactoring attraverso quattro aspetti complementari:
   • Code Quality (CQ): Miglioramenti della leggibilità e della manutenibilità.
   • Structural Soundness (SS): Correttezza e razionalità della nuova struttura.
   • Cross-File Coordination (CC): Coerenza e gestione delle dipendenze tra più file.
   • Smell Elimination (SE): Efficacia nell'eliminazione dello smell mirato.

Per garantire la stabilità nella valutazione LLM-as-Judge, viene introdotta una fase preliminare di Smell Analysis per riassumere esplicitamente i problemi strutturali e gli obiettivi di refactoring prima del giudizio finale.

Risultati Sperimentali

Gli autori hanno valutato 2 agenti di codice open-source (OpenHands, Qwen Code) accoppiati con 6 LLM rappresentativi (inclusi Qwen3-Coder, DeepSeek-V3.2, GPT-5-Mini, Gemini-2.5-Flash e Claude Sonnet 4.5).

• Performance Complessiva: Anche la configurazione con le migliori performance (Qwen Code + Claude Sonnet 4.5) ha ottenuto un punteggio di Smell Elimination (SE) di soli 50,34%. Ciò indica un divario significativo tra le attuali capacità di generazione di codice e il ragionamento strutturale profondo richiesto per un refactoring di alta qualità.
• Correttezza Funzionale vs. Qualità: La maggior parte dei modelli ha raggiunto Test Passing Rates (TPR) superiori all'80%, dimostrando che gli agenti possono preservare la funzionalità. Tuttavia, un alto TPR non era correlato a un'alta qualità del refactoring, confermando che la correttezza funzionale è insufficiente per valutare la manutenibilità.
• Sfide Cross-File: L'analisi ha rivelato che gli agenti faticano significativamente con lo Shotgun Surgery (che richiede modifiche coordinate tra molti file). Mentre l'istanza media di smell coinvolgeva 2,5 file, i casi di Shotgun Surgery coinvolgevano circa 5,7 file, eppure gli agenti hanno modificato in media solo circa 2,7 file, fallendo nel gestire l'intero ambito dello smell.
• Deficit di Localizzazione: Gli agenti hanno mostrato deboli capacità di localizzazione autonoma. Nelle impostazioni "Guided" (dove l'agente deve trovare lo smell), la Localization Accuracy si è stagnata intorno al 65-67%, mentre nelle impostazioni "Targeted" (dove la posizione è fornita) l'accuratezza è salita oltre il 90%.
• Competitività Open-Source: I modelli open-source ad alte prestazioni (ad esempio, Qwen3-Coder-480B) hanno dimostrato una competitività paragonabile ai modelli closed-source come GPT-5-Mini nei compiti di refactoring complessi.

Contributi Chiave e Significato

Il paper dichiara i seguenti contributi:

1. Benchmark SmellBench: Un nuovo benchmark estensibile che inietta proattivamente code smells, ottenendo un equilibrio tra scalabilità dei dati e qualità. Fornisce 294 casi di alta qualità attraverso 7 tipi di smell, 3 livelli di difficoltà e 2 impostazioni di istruzione, basati su una verità scritta da umani.
2. Framework di Valutazione Tridimensionale: Un sistema di valutazione su misura che incorpora il Test Passing Rate, la Localization Accuracy e la valutazione della qualità basata su LLM (CQ, SS, CC, SE), offrendo approfondimenti sfumati oltre la correttezza funzionale.
3. Insight Empirici: Esperimenti estesi rivelano che gli attuali agenti allo stato dell'arte faticano con l'identificazione di smell cross-file e le modifiche coordinate. I risultati evidenziano che fare affidamento solo sulla correttezza funzionale maschera carenze significative nelle capacità di manutenibilità del software.
4. Decontaminazione e Purezza: Generando nuovi casi invece di estrarre commit esistenti, SmellBench evita la fuga di dati (data leakage) e garantisce l'isolamento dei compiti di refactoring da altri cambiamenti del codice.

Gli autori concludono che, sebbene gli agenti di codice abbiano fatto progressi notevoli, c'è ampio spazio di miglioramento nel ragionamento a livello di repository e nella capacità di gestire il refactoring strutturale complesso su più file. SmellBench funge da strumento diagnostico per guidare lo sviluppo futuro degli agenti di codice verso una migliore manutenibilità del software.