SACS: A Code Smell Dataset using Semi-automatic Generation Approach

Probleemstelling

Codegeur (code smell) verwijst naar potentiële ontwerp- of implementatiefouten die de onderhoudbaarheid en evolutie van software negatief beïnvloeden. Hoewel machine learning (ML) en deep learning steeds vaker worden ingezet voor de detectie en refactorering van codegeur, vormt het gebrek aan grote, hoogwaardige datasets een kritieke bottleneck.

• Handmatige aanpak: Het handmatig creëren van datasets is extreem arbeidsintensief, vereist hoge ontwikkelervaring en leidt vaak tot inconsistenties tussen annotatoren.
• Volautomatische aanpak: Bestaande methoden voor automatische generatie zijn schaalbaar, maar lijden vaak onder lage labelbetrouwbaarheid en slechte datakwaliteit, omdat het niet gegarandeerd is dat gegenereerde entiteiten daadwerkelijk "geurige" code vertegenwoordigen.

Er is dus een behoefte aan een methode die de schaalbaarheid van automatisering combineert met de kwaliteit van menselijke validatie.

Methodologie: Een Semi-automatische Benadering

De auteurs stellen een semi-automatisch framework voor om een grote dataset te genereren. Het proces verloopt in drie hoofdstappen:

1. Automatische Generatie van Kandidaat-Stalen (Stap 1)
In plaats van te vertrouwen op bestaande code, worden "geurige" software-entiteiten bewust gegenereerd uit een corpus van open-source projecten aan de hand van vooraf gedefinieerde regels:

• Lange Methode (Long Method): Methoden worden samengevoegd (method merging) op basis van drie patronen van method-calls (directe aanroep, toewijzing van retourwaarden, of aanroep binnen een expressie).
• Grote Klasse (Large Class): Klassen worden samengevoegd op basis van erfrelaties (ouder naar kind) of gebruikrelaties (een klasse als veld in een andere klasse).
• Aantijging van Eigenschappen (Feature Envy): Methoden worden verplaatst naar gerelateerde klassen op basis van drie patronen: toegang tot velden van een ouderklasse, toegang tot velden van een andere klasse via eigenschappen, of toegang via parameters.

2. Groepering op Basis van Metrieken (Stap 2)
Om de menselijke inspanning te minimaliseren, worden de gegenereerde stalen en de originele code verdeeld in twee groepen aan de hand van software-metrieken en drempelwaarden:

• A_Group (Automatisch geaccepteerd): Stalen met een zeer hoge of zeer lage waarschijnlijkheid om "geurig" te zijn. Deze worden direct aan de dataset toegevoegd zonder menselijke controle.
• M_Group (Manueel te controleren): Ambigue stalen (bijv. met een gemiddelde waarschijnlijkheid). Deze vereisen menselijke validatie.
  • Voor Lange Methode wordt de Lines of Code (LOC) gebruikt.
  • Voor Grote Klasse worden LOC, Aantal Methoden (NOM) en Aantal Attributen (NOA) gebruikt.
  • Voor Feature Envy wordt een aangepaste metriek gebruikt: Number of Foreign Data Invocation (NFDI).

3. Manuele Validatie (Stap 3)
De stalen in de M_Group worden handmatig gecontroleerd door ervaren ontwikkelaars.

• Gestructureerde richtlijnen: Er zijn specifieke checklists voor elke geurtype (bijv. "Is de methode moeilijk leesbaar?", "Heeft de klasse te veel verantwoordelijkheden?").
• Annotatie-tool: Een aangepaste JetBrains IDE-plugin (JetBrains plugin) is ontwikkeld om ontwikkelaars te helpen bij het efficiënt labelen van code en het specificeren van de juiste refactoringsacties.

Belangrijkste Bijdragen

1. Het SACS Dataset: De creatie van een open-source dataset genaamd SACS (Semi-Automatic Code Smell dataset). Deze dataset dekt drie veelbestudeerde geurtypen: Long Method, Large Class en Feature Envy.
2. Schaalbare Methode: Een bewezen semi-automatische workflow die de kwaliteit van handmatige annotatie behoudt terwijl de schaalbaarheid van automatische generatie wordt benut.
3. Verbeterde Tooling: De ontwikkeling van een geavanceerde annotatie-tool (IDE-plugin) en verbeterde generatie-algoritmen die specifiek zijn ontworpen om grote hoeveelheden positieve en negatieve voorbeelden te produceren.
4. Uitgebreide Dekking: In tegenstelling tot eerdere studies die vaak beperkt waren tot één of twee geurtypen, biedt SACS een uitgebreide dekking van drie verschillende categorieën.

Resultaten

De auteurs hebben een dataset gegenereerd op basis van 16 open-source Java-projecten (zoals JEdit, RxJava, JUnit4, Netty, enz.).

• Totale omvang: De dataset bevat meer dan 13.000 positieve stalen (geurige code) en meer dan 70.000 negatieve stalen (schone code).
• Verdeling:
  • Long Method: ~55.000 stalen (inclusief ~5.100 positieve).
  • Large Class: ~13.000 stalen (inclusief ~3.300 positieve).
  • Feature Envy: ~17.000 stalen (inclusief ~4.700 positieve).
• Trainings- en Evaluatie-set: De dataset is opgesplitst in een trainingsset (gegenereerd via het semi-automatische proces, >20.000 stalen) en een evaluatieset (volledig handmatig gecontroleerd, >20.000 stalen) om de prestaties van detectiemodellen te testen.
• Kwaliteit: Drie ervaren Java-ontwikkelaars (met >8 jaar ervaring) hebben de validatie uitgevoerd, wat de betrouwbaarheid van de labels waarborgt.

Betekenis en Toekomstperspectief

De SACS-dataset vormt een waardevol, publiek beschikbaar referentiekader (benchmark) voor het software-engineeringveld.

• Voor ML-onderzoek: Het lost het probleem van data-schaarste op voor deep learning-modellen die grote datasets nodig hebben om codegeur te detecteren.
• Voor Refactorering: Het faciliteert onderzoek naar geautomatiseerde refactoreringstechnieken.
• Kwaliteit vs. Efficiëntie: De studie demonstreert dat een hybride aanpak (semi-automatisch) de beste balans biedt tussen de kosten van handmatige labeling en de kwaliteit van volledig automatische generatie.

De auteurs erkennen dat er nog enige subjectieve inconsistentie en een klein aantal fouten kunnen optreden, maar benadrukken dat de gestructureerde richtlijnen en drempelwaarden de algehele betrouwbaarheid hoog houden. Toekomstig werk richt zich op het uitbreiden van de dataset met meer ontwikkelaars en het generaliseren van de methode naar andere soorten codegeur.