Improving Requirements Classification with SMOTE-Tomek Preprocessing

Sintesi Tecnica: Miglioramento della Classificazione dei Requisiti con Preprocessing SMOTE-Tomek

Enunciato del Problema
L'ingegneria dei requisiti (RE) è fondamentale per tradurre le esigenze degli stakeholder in specifiche di sistema, tuttavia la classificazione dei requisiti rimane spesso un processo manuale e incoerente. Sebbene l'apprendimento automatico (ML) offra automazione, la sua applicazione è ostacolata da uno squilibrio di classe severo nei dataset reali, in particolare nel dataset PROMISE ampiamente utilizzato. Questo dataset contiene 969 requisiti software categorizzati in 12 tipi distinti (uno funzionale e 11 sottotipi non funzionali). La distribuzione è fortemente sbilanciata; ad esempio, la categoria "Portabilità" rappresenta solo l'1,24% dei dati, mentre "Sicurezza" ne costituisce il 12,9%. Questo squilibrio causa nei modelli ML standard un pregiudizio verso le classi maggioritarie, risultando in una scarsa generalizzazione e in prestazioni basse sulle classi minoritarie. Inoltre, sebbene i modelli di apprendimento profondo (DL) abbiano fatto progressi significativi nell'elaborazione del linguaggio naturale (NLP), la loro dipendenza da dataset massicci e risorse computazionali li rende meno pratici per progetti RE con risorse limitate.

Metodologia
Questo studio propone una strategia di preprocessing ibrida che combina SMOTE (Synthetic Minority Oversampling Technique) e Link di Tomek (SMOTE-Tomek) per affrontare sia lo squilibrio di classe che il rumore nei dati.

• Rappresentazione dei Dati: I requisiti testuali non strutturati vengono convertiti in vettori numerici utilizzando la Frequenza del Termine-Inversa della Frequenza del Documento (TF-IDF).
• Processo SMOTE-Tomek:
  1. Sovracampionamento: SMOTE genera campioni sintetici per le classi minoritarie tramite interpolazione lineare tra i campioni esistenti e i loro vicini più prossimi, migliorando la diversità di classe senza una semplice duplicazione.
  2. Pulizia: I Link di Tomek identificano e rimuovono coppie di campioni che sono vicini più prossimi reciproci ma appartengono a classi diverse (tipicamente campioni borderline o rumorosi). Questo passo rimuove il membro della classe maggioritaria di tali coppie per migliorare la separabilità di classe.
• Quadro di Validazione: Per garantire una valutazione rigorosa e prevenire la fuoriuscita di dati, lo studio impiega una Validazione Incrociata Stratificata a 10 Pieghe. Crucialmente, il ricampionamento SMOTE-Tomek viene applicato solo alle pieghe di training (9 pieghe) in ogni iterazione, lasciando la piega di validazione (1 piega) intatta per preservare la distribuzione originale dei dati.
• Modelli Valutati: Lo studio confronta un insieme diversificato di algoritmi ML classici, tra cui Regressione Logistica (LR), Alberi Decisionali, Random Forest, Macchine a Vettori di Supporto (kernel Lineare e RBF), Naive Bayes, K-Nearest Neighbors (KNN), Gradient Boosting, AdaBoost e CatBoost.

Contributi Chiave

1. Applicazione Sistematica: Il documento applica SMOTE-Tomek all'interno di un framework K-fold stratificato specificamente progettato per mantenere i set di validazione liberi da artefatti di ricampionamento, garantendo una valutazione imparziale delle capacità di generalizzazione.
2. Valutazione Comparativa: Fornisce un'analisi completa delle prestazioni dei modelli ML classici sul dataset PROMISE sbilanciato, dimostrando che modelli leggeri possono raggiungere un'alta efficienza senza il sovraccarico computazionale dell'apprendimento profondo.
3. Analisi dell'Interpretabilità: Utilizzando la Regressione Logistica, lo studio analizza i coefficienti delle caratteristiche per interpretare la relazione tra parole specifiche e tipi di requisiti, offrendo approfondimenti su come il preprocessing stabilizzi l'apprendimento delle caratteristiche.

Risultati
L'integrazione di SMOTE-Tomek ha prodotto miglioramenti significativi su più metriche, in particolare per la Regressione Logistica:

• Regressione Logistica (LR): Ha raggiunto le prestazioni più elevate, migliorando l'accuratezza media da una linea di base di 58,31% ± 2,05% a 76,16% ± 2,58%. Il Coefficiente di Correlazione di Matthews (MCC) è aumentato di circa il 7% (da 0,4181 a 0,6736). L'ottimizzazione degli iperparametri (C=10, regolarizzazione L2, solver SAGA) ha ulteriormente affinato questi risultati.
• Altri Modelli: Anche Naive Bayes e Gradient Boosting hanno registrato guadagni sostanziali, superando il 70% di accuratezza. La SVM Lineare è migliorata dal 71,10% al 74,20%.
• Risultati Negativi: Al contrario, i metodi di ensemble come AdaBoost e Random Forest hanno performato male o si sono degradati significativamente dopo il preprocessing (l'accuratezza di AdaBoost è scesa al 16,10%), suggerendo che questi specifici algoritmi sono altamente sensibili alla distribuzione ricampionata in questo contesto.
• Stabilità delle Caratteristiche: L'analisi dei coefficienti LR ha rivelato che il modello di base esibiva pesi estremi e variabili per le classi minoritarie (indicando un overfitting al rumore). Al contrario, l'approccio SMOTE-Tomek ha stabilizzato questi coefficienti, costringendo il modello a fare affidamento su un insieme più robusto e generalizzato di caratteristiche lessicali.

Significato e Affermazioni
Il documento afferma che SMOTE-Tomek fornisce una soluzione robusta, scalabile e interpretabile per la classificazione dei requisiti in dataset sbilanciati. Dimostra che i modelli ML classici, se accoppiati a un preprocessing appropriato, possono gestire efficacemente le sfumature del dataset PROMISE senza richiedere le estese risorse computazionali dell'apprendimento profondo. Lo studio sottolinea che, sebbene i risultati siano promettenti, le dimensioni ridotte e la varietà limitata del dataset PROMISE rimangono un vincolo. Gli autori posizionano questo lavoro come un approccio pratico per ambienti con risorse limitate e suggeriscono che la metodologia è applicabile ad altri domini che affrontano sfide simili di squilibrio dei dati, come l'analisi di documenti legali o sanitari. È proposto un lavoro futuro per esplorare dataset più ampi e approcci ibridi che combinano modelli leggeri con l'apprendimento profondo.