Improving Requirements Classification with SMOTE-Tomek Preprocessing

Technische Samenvatting: Verbetering van de Classificatie van Eisen met SMOTE-Tomek Voorverwerking

Probleemstelling
Requirements engineering (RE) is cruciaal voor het vertalen van behoeften van belanghebbenden naar systeemspecificaties, maar de classificatie van eisen blijft vaak een handmatig en inconsistent proces. Hoewel machine learning (ML) automatisering biedt, wordt de toepassing ervan belemmerd door ernstige class imbalance in datasets uit de praktijk, met name de veelgebruikte PROMISE-dataset. Deze dataset bevat 969 software-eisen die zijn gecategoriseerd in 12 distincte typen (één functioneel en 11 niet-functionele subtypen). De verdeling is sterk scheef; bijvoorbeeld vertegenwoordigt de categorie "Portability" slechts 1,24% van de data, terwijl "Security" 12,9% omvat. Deze onbalans zorgt ervoor dat standaard ML-modellen bias vertonen ten opzichte van meerderheidsklassen, wat resulteert in slechte generalisatie en lage prestaties voor minderheidsklassen. Bovendien, hoewel deep learning (DL)-modellen aanzienlijke vooruitgang hebben geboekt in Natural Language Processing (NLP), maakt hun afhankelijkheid van enorme datasets en rekenkracht ze minder praktisch voor RE-projecten met beperkte middelen.

Methodologie
Deze studie stelt een hybride voorverwerkingsstrategie voor die SMOTE (Synthetic Minority Oversampling Technique) en Tomek Links (SMOTE-Tomek) combineert om zowel class imbalance als data-ruis aan te pakken.

• Data-representatie: Ongestructureerde tekstuele eisen worden omgezet in numerieke vectoren met behulp van Term Frequency-Inverse Document Frequency (TF-IDF).
• SMOTE-Tomek-proces:
  1. Oversampling: SMOTE genereert synthetische samples voor minderheidsklassen via lineaire interpolatie tussen bestaande samples en hun dichtstbijzijnde buren, waardoor de diversiteit van klassen wordt verhoogd zonder eenvoudige duplicatie.
  2. Reiniging: Tomek Links identificeren en verwijderen paren samples die wederzijdse dichtstbijzijnde buren zijn maar tot verschillende klassen behoren (doorgaans grensgevallen of ruisige samples). Deze stap verwijdert het lid van de meerderheidsklasse uit dergelijke paren om de scheidbaarheid van klassen te verbeteren.
• Validatiekader: Om een rigoureuze evaluatie te waarborgen en datalekken te voorkomen, hanteert de studie Stratified 10-fold Cross-Validation. Cruciaal wordt SMOTE-Tomek resampling alleen toegepast op de trainingsfolds (9 folds) in elke iteratie, waarbij de validatiefold (1 fold) onaangeroerd blijft om de oorspronkelijke data-distributie te behouden.
• Geëvalueerde modellen: De studie benchmarkt een diverse reeks klassieke ML-algoritmen, waaronder Logistische Regressie (LR), Decision Trees, Random Forest, Support Vector Machines (Lineaire en RBF-kernen), Naive Bayes, K-Nearest Neighbors (KNN), Gradient Boosting, AdaBoost en CatBoost.

Belangrijkste Bijdragen

1. Systematische Toepassing: Het paper past SMOTE-Tomek toe binnen een stratified K-fold-kader dat specifiek is ontworpen om validatiesets vrij te houden van resampling-artefacten, waardoor een onbevooroordeelde beoordeling van generalisatievermogen wordt gewaarborgd.
2. Comparatieve Evaluatie: Het biedt een uitgebreide prestatieanalyse van klassieke ML-modellen op de onbalans PROMISE-dataset, waarbij wordt aangetoond dat lichtgewicht modellen hoge efficiëntie kunnen bereiken zonder de rekenkundige overhead van deep learning.
3. Interpretabiliteitsanalyse: Door gebruik te maken van Logistische Regressie analyseert de studie feature-coëfficiënten om de relatie tussen specifieke woorden en eistypen te interpreteren, en biedt inzichten in hoe voorverwerking het leren van features stabiliseert.

Resultaten
De integratie van SMOTE-Tomek leverde aanzienlijke verbeteringen op over meerdere metrieken, met name voor Logistische Regressie:

• Logistische Regressie (LR): Bereikte de hoogste prestatie, met een verbetering van de gemiddelde nauwkeurigheid van een baseline van 58,31% ± 2,05% naar 76,16% ± 2,58%. De Matthews Correlation Coefficient (MCC) steeg met ongeveer 7% (van 0,4181 naar 0,6736). Hyperparameter-optimalisatie (C=10, L2-regularisatie, SAGA-oplosser) verfijnde deze resultaten verder.
• Andere modellen: Naive Bayes en Gradient Boosting zagen ook aanzienlijke winsten, met een nauwkeurigheid boven de 70%. Lineaire SVM verbeterde van 71,10% naar 74,20%.
• Negatieve uitkomsten: Omgekeerd presteerden ensemble-methoden zoals AdaBoost en Random Forest slecht of verslechterden ze aanzienlijk na voorverwerking (de nauwkeurigheid van AdaBoost daalde naar 16,10%), wat suggereert dat deze specifieke algoritmen in deze context zeer gevoelig zijn voor de herverdeelde distributie.
• Feature-stabiliteit: Analyse van LR-coëfficiënten toonde aan dat het baseline-model extreme, variabele gewichten vertoonde voor minderheidsklassen (wat wijst op overfitting op ruis). Daarentegen stabiliseerde de SMOTE-Tomek-aanpak deze coëfficiënten, waardoor het model werd gedwongen te vertrouwen op een robuustere en meer gegeneraliseerde set lexicale features.

Betekenis en Claims
Het paper claimt dat SMOTE-Tomek een robuuste, schaalbare en interpreteerbare oplossing biedt voor de classificatie van eisen in onbalans datasets. Het toont aan dat klassieke ML-modellen, wanneer gekoppeld aan passende voorverwerking, effectief om kunnen gaan met de nuances van de PROMISE-dataset zonder de uitgebreide rekenmiddelen van deep learning te vereisen. De studie benadrukt dat hoewel de resultaten veelbelovend zijn, de kleine omvang en beperkte variatie van de PROMISE-dataset een beperking blijven. De auteurs positioneren dit werk als een praktische aanpak voor omgevingen met beperkte middelen en suggereren dat de methodologie toepasbaar is op andere domeinen die geconfronteerd worden met vergelijkbare uitdagingen rond data-ongelijkheid, zoals juridische of gezondheidszorg-documentanalyse. Voor toekomstig werk wordt voorgesteld om grotere datasets en hybride benaderingen te verkennen die lichtgewicht modellen combineren met deep learning.