A Pilot Study on Detecting Software Design Patterns with Large Language Models: An Empirical Evaluation

Titel en Context

Titel: Een pilotstudie over het detecteren van softwareontwerppatronen met Large Language Models (LLM's): Een empirische evaluatie.
Auteurs: Oishik Chowdhury, Bastin Tony Roy Savarimuthu en Sherlock A. Licorish (Universiteit van Otago, Nieuw-Zeeland).
Doel: Het evalueren van het vermogen van LLM's om softwareontwerppatronen automatisch te detecteren en het vergelijken van verschillende invoermodi (broncode, PlantUML en tekstuele beschrijvingen).

---

1. Het Probleem

Softwareontwerppatronen (zoals die van de "Gang of Four") bieden herbruikbare oplossingen voor veelvoorkomende problemen. Correcte implementatie is cruciaal voor codekwaliteit, onderhoudbaarheid en leesbaarheid. Onjuiste implementatie leidt echter tot "anti-patterns" en "code smells".

• Huidige uitdagingen:
  • Manuele detectie: Het is tijdrovend en vereist ervaren ontwikkelaars om patronen te herkennen, vooral in grote codebases.
  • Beperkingen van traditionele methoden: Bestaande technieken (grafische analyse en machine learning) hebben moeite met variaties in implementatie, vereisen zware feature-extractie en generaliseren vaak slecht naar nieuwe codebases.
  • LLM-potentieel: Hoewel LLM's semantisch kunnen redeneren, is er onvoldoende onderzoek gedaan naar hun prestaties bij het detecteren van patronen onder verschillende invoercondities (bijv. alleen code vs. diagrammen vs. beschrijvingen).

---

2. Methodologie

De studie is opgezet als een pilot met de volgende componenten:

A. Dataset

• Gebruik gemaakt van de P-MART dataset (een standaarddataset voor patroondetectie).
• Geselecteerde patronen: 5 ontwerppatronen (1 creatief, 4 structureel):
  1. Singleton
  2. Adapter
  3. Bridge
  4. Composite
  5. Decorator
• Data: 144 bestanden met patronen, aangevuld met een even aantal bestanden zonder deze patronen voor balans.

B. Gebruikte Modellen (4 LLM's + 2 Ensemble-methoden)

• Coder-modellen:
  • Qwen2.5 Coder (32B)
  • NextCoder (7B)
  • Nxcode-CQ (7B)
• Non-Coder model:
  • Gemma 3 (27B)
• Ensemble-methoden (meerderheidsstemming):
  • Ensemble 1: Alleen de drie coder-modellen.
  • Ensemble 2: De drie best presterende modellen (Nxcode-CQ, NextCoder, Gemma 3).

C. Invoermodi (Prompting Strategieën)
Elk model werd getest met drie verschillende vormen van input voor dezelfde code:

1. Broncode: De daadwerkelijke code.
2. PlantUML: Een visuele representatie van de code (gegenereerd via een parser).
3. Tekstuele beschrijving: Een natuurlijke taalbeschrijving van methoden en variabelen (gegenereerd door Qwen-3-Coder).

D. Evaluatiemetrics

• De modellen moesten een "Ja/Nee" antwoord geven op de vraag of een specifiek patroon aanwezig was.
• KPI's: Accuracy, Precision, Recall en F1-score.
• Statistiek: Friedman-test en post-hoc Conover-test voor significantie.

---

3. Belangrijkste Resultaten

A. Vergelijking van Modellen (RQ1)

• Beste individuele modellen: NextCoder en Gemma 3 presteerden over het algemeen het beste, met name bij het detecteren van Singleton en Decorator patronen.
• Specifieke sterke punten:
  • Nxcode-CQ: Presteerde het beste bij het Composite patroon (hoge recall, maar lagere precision).
  • NextCoder: Uitstekend bij Adapter en Bridge patronen (hoge precision, conservatieve voorspelling).
  • Gemma 3 (Non-Coder): Toonde verrassend sterke prestaties, vaak beter dan de gespecialiseerde coder-modellen, vooral bij tekstuele beschrijvingen.
• Ensemble-resultaten: De ensemble-methoden leverden een gebalanceerde prestatie op. Ensemble 2 behaalde de hoogste F1-scores en presteerde statistisch significant beter dan individuele zwakkere modellen (zoals Qwen 2.5 Coder, die een zeer lage recall had).
• Statistiek: Er was een significant verschil tussen de modellen ($p < 0.05$). Qwen 2.5 Coder en Nxcode-CQ presteerden significant slechter dan Gemma 3 en de ensemble-methoden.

B. Vergelijking van Invoermodi (RQ2)

• Verrassende bevinding: Er was geen statistisch significant verschil in de algehele prestaties (F1-score) tussen de drie invoermodi (Code, PlantUML, Tekstbeschrijving).
• Nuances:
  • Tekstbeschrijvingen: Bereikten de hoogste Recall (0.75), wat betekent dat ze het beste waren in het vinden van alle echte patronen.
  • PlantUML: Bereikte de hoogste Precision, maar lagere recall.
  • Broncode: Presteerde gemiddeld.
• Dit suggereert dat LLM's flexibel zijn en patronen kunnen herkennen ongeacht of ze de ruwe code, een diagram of een samenvatting zien.

---

4. Belangrijkste Bijdragen

1. Empirische Evaluatie van LLM's: Eén van de eerste studies die systematisch LLM's test op patroondetectie over meerdere modellen en invoerformaten.
2. Introductie van Tekstuele Beschrijvingen: Het introduceren van "tekstuele beschrijvingen van code" als een nieuwe invoermodus voor patroondetectie, wat een nieuwe richting voor onderzoek opent (waarbij non-coder modellen mogelijk uitblinken).
3. Validatie van Ensemble-methoden: Het aantonen dat het combineren van meerdere modellen (meerderheidsstemming) de betrouwbaarheid en F1-scores significant kan verbeteren.
4. Vergelijking Coder vs. Non-Coder: Het in twijfel trekken van de noodzaak van gespecialiseerde "coder"-modellen, aangezien een non-coder model (Gemma 3) uitstekende resultaten boekte.

---

5. Betekenis en Toekomstperspectief

• Praktische Toepassing: LLM's kunnen ontwikkelaars (zowel nieuw als ervaren) helpen bij het sneller begrijpen van complexe architecturen en het identificeren van kwaliteitsproblemen of anti-patterns.
• Flexibiliteit: Omdat de invoermodus geen significant verschil maakt, kunnen tools flexibel zijn in hoe ze informatie aan de LLM presenteren (bijv. samenvattingen genereren om context-limieten te omzeilen).
• Beperkingen en Toekomst:
  • De studie was beperkt tot losse bestanden; toekomstig werk moet kijken naar interconnecties tussen bestanden (cruciaal voor patronen zoals Composite).
  • Meer patronen (alle GoF-patronen) moeten worden getest.
  • Onderzoek naar "Chain-of-Thought" prompting en Few-Shot learning om de redeneerprocessen van de modellen te verbeteren.

Conclusie: De studie bevestigt dat LLM's veelbelovend zijn voor de automatische detectie van softwareontwerppatronen. Het gebruik van ensemble-methoden en het overwegen van tekstuele beschrijvingen als input kan de nauwkeurigheid en efficiëntie van deze detectie aanzienlijk verbeteren.