A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Code Smell Detection

Probleemstelling

Het automatisch detecteren van "code smells" (indicatoren voor suboptimale ontwerpen die softwarekwaliteit beïnvloeden) blijft een uitdaging. Bestaande aanpakken hebben ernstige tekortkomingen:

1. Heuristische tools (zoals DesigniteJava en PMD) zijn sterk afhankelijk van handmatig ingestelde drempelwaarden en missen semantisch inzicht, wat leidt tot veel fouten (false positives/negatives).
2. Machine Learning (ML) en Deep Learning (DL) modellen presteren vaak onbevredigend omdat ze de diepere semantische en structurele relaties in broncode niet goed kunnen vangen.
3. Large Language Models (LLMs) bieden potentie, maar hun toepassing wordt gehinderd door twee factoren:
   • Gebrek aan hoogwaardige datasets: Bestaande datasets bevatten vaak alleen software-metrics in plaats van ruwe broncode, of ze bevatten ruis door labels die gegenereerd zijn door onbetrouwbare heuristische tools ("Oracle Problem").
   • Kosten van full fine-tuning: Het volledig fine-tunen van grote modellen is computatief zeer duur en vereist veel GPU-geheugen.

Methodologie

De auteurs presenteren een uitgebreide studie die twee hoofdbijdragen combineert: het creëren van een nieuwe benchmark en een systematische evaluatie van Parameter-Efficient Fine-Tuning (PEFT).

1. Constructie van een LM-klaar Benchmark
Om de data-knelpunten op te lossen, hebben de auteurs een nieuwe dataset voor Java-code ontwikkeld:

• Bron: 401 populaire Java-repositories van GitHub (2019-2024).
• Doel: Detectie van vier specifieke, niet-triviale code smells: Complex Conditional (CC), Complex Method (CM), Feature Envy (FE) en Data Class (DC).
• Validatie: Een strikt tweestaps handmatig reviewproces werd uitgevoerd om de labels te verifiëren en de "Oracle Problem" te elimineren. Dit resulteerde in een gebalanceerde dataset met ruwe, compileerbare broncode.
• Splitsing: De data werd opgesplitst in trainings-, validatie- en testsets (80/10/10).

2. Experimenteel Opzet
De studie evalueerde de effectiviteit van vier PEFT-methoden op negen verschillende taalmodellen (LMs):

• PEFT-methoden: Prompt Tuning, Prefix Tuning, LoRA (Low-Rank Adaptation) en (IA)³ (Infused Adapter by Inhibiting and Amplifying Inner Activation).
• Modellen:
  • Small Language Models (SLMs): CodeBERT, GraphCodeBERT, UnixCoder, CodeT5 (<1B parameters).
  • Large Language Models (LLMs): StarCoderBase, DeepSeek-Coder, CodeLlama (≥1B parameters).
• Baselines: Vergelijking met heuristische tools, DL-modellen (DeepSmells, AE-Dense) en state-of-the-art LLMs met In-Context Learning (ICL) zoals GPT-4o-mini en DeepSeek-v3.
• Evaluatiemetrics: Precision, Recall, F1-score en Matthews Correlation Coefficient (MCC).

Belangrijkste Bijdragen

1. Een hoogwaardige, broncode-gecentreerde benchmark: De eerste dataset die specifiek is ontworpen voor LMs, met handmatig verifieerde labels voor complexe code smells, wat reproduceerbaarheid garandeert.
2. Systematische evaluatie van PEFT: De eerste uitgebreide studie die PEFT-methoden vergelijkt op zowel SLMs als LLMs voor code smell-detectie, inclusief analyse van hyperparameters en low-resource scenario's.
3. Uitgebreide vergelijking met SOTA: Een robuuste benchmarking tegen traditionele tools, DL-methoden en moderne LLMs met prompting.
4. Praktische inzichten: Gedetailleerde aanbevelingen voor ontwikkelaars en onderzoekers over het kiezen van het juiste model, de PEFT-methode en de afweging tussen efficiëntie en prestaties.

Resultaten

De resultaten tonen aan dat PEFT-methoden zeer effectief zijn voor code smell-detectie:

• Prestaties vs. Full Fine-Tuning: PEFT-methoden presteren over het algemeen gelijk aan of beter dan full fine-tuning, maar met een aanzienlijk lager aantal trainbare parameters en een drastisch verlaagd piekgebruik van GPU-geheugen.
• Beste Methode:
  • Voor LLMs levert (IA)³ consistent de beste resultaten op.
  • Voor SLMs zijn (IA)³ en Prefix Tuning het meest effectief.
  • LoRA toonde soms instabiele prestaties, vooral bij het detecteren van Complex Method.
• Modelgrootte: LLMs presteren over het algemeen beter dan SLMs, vooral bij Feature Envy. Echter, voor Data Class presteerde een SLM (GraphCodeBERT) zelfs beter dan alle geteste LLMs.
• Low-Resource Scenario's: Zelfs met beperkte trainingsdata (500 samples) kunnen PEFT-methoden full fine-tuning overtreffen. Bij zeer weinig data (50 samples) daalt de prestatie echter sterk.
• Vergelijking met Baselines: PEFT-getunede modellen overtroffen alle baselines. De verbetering in MCC (Matthews Correlation Coefficient) varieerde van 0,33% tot 13,69% ten opzichte van de beste bestaande methoden.
  • Opmerking: Algemene LLMs met In-Context Learning (ICL) deden het goed bij Complex Conditional en Data Class, maar presteerden significant slechter bij Complex Method en Feature Envy vergeleken met PEFT-modellen.

Betekenis en Conclusie

De studie bewijst dat Parameter-Efficient Fine-Tuning een haalbare en superieure strategie is om Large Language Models aan te passen voor code smell-detectie. Het lost het probleem van hoge rekencosten op en biedt een oplossing voor het gebrek aan betrouwbare datasets.

Kernboodschappen voor de praktijk:

• Gebruik (IA)³ voor LLMs en Prefix Tuning of (IA)³ voor SLMs.
• Voor Feature Envy en Complex Method is finetuning noodzakelijk; prompting (ICL) is onvoldoende.
• Voor Data Class kunnen kleinere, goedkope modellen (SLMs) zelfs beter presteren dan grote modellen.
• De methode maakt "just-in-time" detectie mogelijk, waarbij ontwikkelaars direct feedback krijgen tijdens het coderen, wat de onderhoudskosten verlaagt.

De auteurs hebben hun dataset en code openbaar gemaakt om reproduceerbaarheid te waarborgen en toekomstig onderzoek in dit domein te stimuleren.