Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection

Technische Samenvatting: Voorbij strikte regels: De effectiviteit van Large Language Models voor de detectie van code-smells beoordelen

Probleemstelling
Code smells zijn indicatoren van potentiële kwaliteitsverslechtering die de onderhoudbaarheid, betrouwbaarheid en ontwikkelingskosten van software negatief beïnvloeden. Hoewel statische analyse-instrumenten (bijv. JDeodorant, PMD) al lang worden gebruikt voor automatische detectie, vertrouwen zij op rigide regels die vaak niet de flexibiliteit bezitten om de genuanceerde, contextafhankelijke aard van veel smells aan te kunnen. Daartegenover staat handmatige inspectie, wat accuraat is maar duur en traag. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken voor diverse software engineering-taken, blijft hun effectiviteit bij het detecteren van code-smells onderbelicht, met name wat betreft hun vermogen om traditionele tools te overtreffen of aan te vullen in real-world, complexe codebases. Bovendien vertrouwen bestaande benchmarks vaak op kleine, synthetische datasets of missen zij een robuuste, door mensen gevalideerde grondwaarheid (ground truth).

Methodologie
De auteurs voerden een empirische studie uit waarbij de effectiviteit van vier LLM's — DeepSeek-R1, GPT-5 mini, Llama-3.3 en Qwen2.5-Code — werd geëvalueerd bij het detecteren van negen specifieke code-smells (Data Class, Dispersed Coupling, Feature Envy, Intensive Coupling, Long Method, Large Class, Long Parameter List, Refused Bequest en Shotgun Surgery).

• Dataset Constructie: De studie maakte gebruik van een uitgebreide dataset van 30 top-gestarrede, real-world Java-projecten van GitHub, bestaande uit meer dan 3,5 miljoen regels code. Om een betrouwbare grondwaarheid vast te stellen, selecteerden de auteurs 268 code-smell kandidaten en lieten zij 76 bachelorstudenten Informatica (met geverifieerde Java-beheersing) deze handmatig evalueren. Een "smell" werd bevestigd als de gemiddelde menselijke score hoger was dan 3 van de 5.
• Experimentele Opzet: De LLM's werden geprompt met behulp van een Chain-of-Thought (CoT) strategie, waarbij de modellen werden gevraagd om specifieke, op literatuur gebaseerde diagnostische vragen te beantwoorden voordat zij concludeerden of een smell aanwezig was. De temperatuur werd over de modellen heen gestandaardiseerd om consistentie te waarborgen.
• Evaluatiestrategie: De studie hanteerde drie analytische benaderingen:
  1. Individuele LLM-prestaties: Het vergelijken van de Precision, Recall en F1-score van elke LLM tegen de menselijke grondwaarheid.
  2. LLM vs. Statische Analyse: Het benchmarken van LLM's tegen vier gevestigde statische analyse-instrumenten (JDeodorant, JSpIRIT, Organic, PMD).
  3. Gecombineerde Strategie: Het voorstellen en evalueren van een op stemmen gebaseerde ensemble-methode die de outputs van de vier LLM's en de twee statische analyse-instrumenten aggregeert (6 stemmen in totaal), waarbij een smell wordt gemarkeerd als deze ten minste drie stemmen ontvangt.

Belangrijkste Bijdragen

1. Grondwaarheid Dataset: De creatie van een handmatig gevalideerde grondwaarheid voor 268 code-smell instanties over 30 real-world Java-projecten, dienend als benchmark voor toekomstige detectiestrategieën.
2. Uitgebreide Empirische Evaluatie: Een systematische vergelijking van vier diverse LLM's tegen traditionele statische analyse-instrumenten over negen verschillende typen code-smells.
3. Hybride Detectiestrategie: De voorstel en validatie van een gecombineerde stemstrategie die LLM's en statische tools integreert om de detectie-dekking te verbeteren.
4. Replicatiepakket: Het beschikbaar stellen van alle datasets, scripts en prompt-templates om replicatie en uitbreiding door de onderzoeksgemeenschap te faciliteren.

Resultaten
De studie onthult dat de effectiviteit van detectiestrategieën sterk afhankelijk is van het specifieke type code-smell:

• Structureel Eenvoudige Smells: Voor smells die gedefinieerd worden door duidelijke structurele metrieken (bijv. Large Class, Long Method, Data Class), presteerden LLM's sterk, waarbij ze vaak statische analyse-instrumenten evenaarden of overtroffen. De gecombineerde stemstrategie bereikte de hoogste F1-scores en Recall voor deze categorieën (bijv. Large Class F1: 0,93, Long Method F1: 0,89).
• Contextafhankelijke en Subjectieve Smells: Voor smells die een diep semantisch begrip of context vereisen (bijv. Feature Envy, Refused Bequest, Long Parameter List), varieerde de prestatie aanzienlijk. Geen enkele strategie domineerde alle smells. In deze gevallen presteerden gespecialiseerde tools (bijv. Organic voor Long Parameter List) of specifieke LLM's (bijv. Llama-3.3 voor Feature Envy) vaak beter dan het gecombineerde ensemble.
• Trade-offs: De gecombineerde strategie maximaliseerde consistent de Recall, waardoor deze effectief is voor het minimaliseren van false negatives. Dit ging echter gepaard met een toename van False Positives voor complexe smells, wat suggereert dat de optimale strategie afhangt van of een project prioriteit geeft aan Recall (dekking) of Precision (nauwkeurigheid).
• Model Variabiliteit: Prestaties varieerden per LLM; bijvoorbeeld presteerden Llama-3.3 en DeepSeek-R1 over het algemeen beter dan anderen in specifieke categorieën, wat aangeeft dat modelarchitectuur en trainingsdata de detectiecapaciteiten beïnvloeden.

Betekenis en Claims
De auteurs claimen dat hoewel LLM's geen universele vervanging zijn voor statische analyse-instrumenten, zij een krachtig en flexibel complement vormen. De studie concludeert dat:

• LLM's bijzonder effectief zijn voor het detecteren van smells gebaseerd op syntactische patronen en grootte.
• Een "one-size-fits-all" benadering onvoldoende is; de keuze voor een detectietool moet worden afgestemd op het specifieke type smell en de tolerantie van het project voor false positives versus false negatives.
• Een gecombineerde strategie een robuust alternatief biedt voor practitioners die streven naar hoge dekking, vooral wanneer de optimale individuele tool onbekend is, hoewel dit mogelijk meer handmatige controle vereist voor complexe smells.
• De verstrekte dataset en bevindingen een fundament bieden voor het verfijnen van detectie-workflows, het verbeteren van prompt engineering en het ontwikkelen van hybride detectiesystemen die gebruikmaken van de sterktes van zowel regelgebaseerde als semantische benaderingen.