Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

Questo studio confronta diversi modelli di apprendimento automatico supervisionato, inclusi metodi basati su alberi ensemble e DistilBERT, per prevedere automaticamente la gravità dei bug nei progetti software utilizzando dati storici di Eclipse Bugzilla, al fine di ottimizzare le priorità di manutenzione e migliorare la qualità del software.

L'essenziale

Immagina di avere un enorme magazzino di lamentele (i "bug" o difetti) arrivato da un gigante del software chiamato Eclipse. Ogni giorno, migliaia di persone scrivono bigliettini dicendo: "Ehi, qui c'è qualcosa che non va!".

Il problema? Il magazzino è così pieno che i gestori (gli sviluppatori) non riescono a leggere tutto. Se provano a leggere a mano ogni biglietto, si stancano, fanno errori e, peggio ancora, potrebbero perdere un biglietto che dice "ATTENZIONE: IL TETTO STA CROLLANDO" (un bug critico) perché è sepolto sotto una pila di biglietti che dicono "La penna blu è un po' sbiadita" (un bug banale).

La tesi di Nafisha è come un super-intelligente assistente robotico che impara a leggere questi bigliettini e a dirvi immediatamente: "Questo è urgente, correte a ripararlo!" oppure "Questo può aspettare".

Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Problema: Il Caos nel Magazzino

In passato, gli umani dovevano decidere manualmente quanto fosse grave ogni problema. Era come cercare di ordinare una biblioteca mescolando enciclopedie e fumetti senza regole.

• Il rischio: Se un bug grave viene trattato come uno piccolo, il software può crashare, i dati possono andare persi o gli utenti possono arrabbiarsi.
• La soluzione: Usare l'Intelligenza Artificiale (Machine Learning) per fare il lavoro sporco di ordinamento.

2. La Soluzione: L'Allenamento del Robot

Nafisha ha preso 88.000 vecchi biglietti di reclamo (dati storici) e ha addestrato 10 diversi tipi di "robot" (algoritmi di machine learning) per imparare a riconoscere la gravità.

Immagina di avere 10 allenatori sportivi diversi che provano a insegnare a un atleta a saltare l'ostacolo:

• I "Logici" (Regressione Logistica, SVM): Sono come vecchi professori severi. Guardano le regole rigide. Sono bravi a non farsi ingannare, ma a volte sono un po' lenti.
• I "Scommettitori" (Naive Bayes): Sono come giocatori d'azzardo che calcolano le probabilità. "Se la parola 'crash' appare, è probabile che sia grave".
• I "Squadre di Esperti" (XGBoost, LightGBM, CatBoost): Immagina un consiglio di esperti che vota. Ognuno guarda il problema da un'angolatura diversa e poi decidono insieme. Sono molto forti e precisi.
• Il "Genio Linguistico" (DistilBERT): Questo è il più speciale. È un robot che ha letto quasi tutto internet. Non guarda solo le parole chiave, ma capisce il contesto. Se qualcuno scrive "Il sistema è lento", lui capisce che potrebbe essere un problema serio, anche se non usa la parola "crash". È come un traduttore che capisce le sfumature.

3. La Sfida: La Pila di Carta

C'era un grosso ostacolo: nel magazzino, i biglietti "urgenti" (critici) erano pochissimi rispetto a quelli "banali". Era come cercare di trovare un ago in un pagliaio, ma l'ago era solo uno su mille.

• Il trucco: Nafisha ha usato una tecnica chiamata SMOTE. Immagina di prendere l'unico "ago" (il bug grave) e creare delle copie virtuali perfette di esso per insegnare meglio al robot a riconoscerlo, senza ingannare la realtà.

4. La Gara: Chi ha vinto?

Dopo aver fatto allenare tutti i robot su una parte dei dati e averli testati su una parte nuova, ecco cosa è successo:

• I Campioni di Precisione (DistilBERT e XGBoost): Sono stati i migliori nel dare la risposta giusta più spesso in assoluto (circa il 90% di successo). Il "Genio Linguistico" (DistilBERT) ha vinto perché capisce meglio le sfumature del linguaggio umano nei messaggi di errore.
• Il Campione della Sicurezza (Regressione Logistica): Anche se non era il più veloce nel dare la risposta giusta in generale, era il migliore nel non perdere mai un bug grave. Se il tuo obiettivo è assicurarsi che nessun problema serio passi inosservato (anche a costo di controllare qualche bug inutile in più), questo è il robot da scegliere.

5. Perché è importante per tutti noi?

Questa ricerca non è solo per programmatori. È come avere un sistema di allarme antincendio intelligente per il software.

• Risparmio di tempo: Gli sviluppatori non perdono ore a cercare l'ago nel pagliaio.
• Sicurezza: I problemi che potrebbero far crollare un sistema bancario o un'app medica vengono risolti subito.
• Ambiente: Meno tempo sprecato a cercare bug significa meno energia consumata dai computer e meno stress per le persone.

In sintesi

Nafisha ha dimostrato che, invece di affidarsi al caos e alla stanchezza umana per gestire migliaia di errori software, possiamo usare l'intelligenza artificiale per creare un filtro intelligente. Questo filtro sa distinguere tra un "graffio sulla carrozzeria" e un "motore che sta per esplodere", permettendo alle aziende di costruire software più sicuri, veloci e affidabili per tutti noi.

È come passare da un vigile del fuoco che corre a caso per la città, a un sistema che sa esattamente dove sta l'incendio prima ancora che le fiamme diventino visibili.

Sommario tecnico

1. Problema e Motivazione

La gestione della manutenzione del software nei grandi progetti (come Eclipse) genera un volume enorme di report di bug. La classificazione manuale della gravità (severity) di questi bug è un processo laborioso, soggetto a bias umani, incoerente e spesso lento.

• Sfida principale: La difficoltà di prioritizzare i bug critici (che influenzano sicurezza e stabilità) rispetto a quelli minori in tempi brevi.
• Limiti attuali: I metodi manuali soffrono di disuguaglianze nelle competenze degli sviluppatori e pressioni temporali. Inoltre, i dataset di bug reali presentano uno sbilanciamento delle classi (class imbalance), dove i bug "critici" sono molto meno frequenti rispetto a quelli "triviali" o "normali", rendendo difficile l'addestramento di modelli predittivi accurati.

2. Metodologia di Ricerca

Lo studio propone un approccio basato su Machine Learning Supervisionato per automatizzare la previsione della gravità dei bug utilizzando dati storici dal repository Eclipse Bugzilla.

A. Dataset e Preprocessing

• Fonte: Dataset Bugzilla_Eclipse_Bug_Reports (88.682 report) da Hugging Face.
• Attributi: Descrizione testuale breve (Short_Description), tipo di bug, priorità, stato di risoluzione e l'etichetta di gravità (variabile target).
• Preprocessing:
  • Gestione dei valori mancanti (media per numerici, moda per categorici).
  • Codifica delle feature (Label Encoding e One-Hot Encoding).
  • Bilanciamento delle classi: Utilizzo della tecnica SMOTE (Synthetic Minority Over-sampling Technique) per generare campioni sintetici della classe minoritaria (bug ad alta gravità) e mitigare lo sbilanciamento.
  • Elaborazione del testo: Tokenizzazione, rimozione del case, padding per i modelli transformer e estrazione di feature tramite TF-IDF e n-grammi.
  • Split: 80% per l'addestramento, 20% per il test, con validazione incrociata a 3-fold (K-fold).

B. Modelli di Machine Learning Valutati

Sono stati confrontati 10 algoritmi appartenenti a diverse categorie:

1. Modelli Lineari: Regressione Logistica, SVM Lineare, Classificatore Passivo-Aggressivo, SGD.
2. Alberi e Ensemble: XGBoost, LightGBM, CatBoost, Random Forest (citato nella letteratura).
3. Probabilistici: Naive Bayes.
4. Basati su Distanza: K-Nearest Neighbors (KNN).
5. Deep Learning (Transformer): DistilBERT (modello pre-addestrato ottimizzato per la classificazione del testo).

C. Metriche di Valutazione

Le prestazioni sono state misurate utilizzando:

• Accuratezza (Accuracy)
• Precisione (Precision)
• Recall (Sensibilità)
• F1-Score
• AUC-ROC
• Matrici di confusione

3. Risultati Chiave

L'analisi sperimentale ha rivelato differenze significative tra i modelli, specialmente in relazione al compromesso tra precisione e recall per le classi ad alta gravità.

• Migliori Prestazioni Generali (Accuracy):
  • DistilBERT ha ottenuto la massima accuratezza (90.48%), dimostrando la superiorità dei modelli transformer nel comprendere il contesto semantico delle descrizioni testuali dei bug.
  • XGBoost (90.41%) e CatBoost (90.17%) hanno seguito da vicino, confermando l'efficacia degli ensemble basati su alberi per questo tipo di dati.
• Prestazioni per la Rilevazione di Bug Critici (Recall):
  • La Regressione Logistica ha mostrato il miglior Recall (0.627) e il miglior F1-Score (0.517) per la classe ad alta gravità. Sebbene la sua accuratezza complessiva sia inferiore (85.07%), è il modello migliore per minimizzare i falsi negativi (ovvero, non perdere bug critici).
  • Naive Bayes ha ottenuto la Precisione più alta (0.845), indicando che quando predice un bug come "critico", è molto probabile che lo sia, ma tende a perdere molti bug critici reali (basso recall).
• Impatto del Preprocessing: L'uso di SMOTE e TF-IDF è stato fondamentale per migliorare le prestazioni dei modelli, specialmente nel bilanciare la classe minoritaria.

4. Contributi Principali

1. Confronto Olistico: Lo studio fornisce un confronto sistematico tra approcci tradizionali (lineari, alberi), ensemble moderni (XGBoost, LightGBM) e modelli di Deep Learning (DistilBERT) su un dataset reale e su larga scala.
2. Analisi del Trade-off: Dimostra chiaramente che non esiste un "modello migliore" universale. La scelta dipende dall'obiettivo del progetto:
   • Se l'obiettivo è l'accuratezza globale, i modelli basati su Transformer (DistilBERT) o Ensemble (XGBoost) sono superiori.
   • Se l'obiettivo è la sicurezza e la priorità (trovare tutti i bug critici possibili), modelli più semplici come la Regressione Logistica offrono un recall superiore.
3. Validazione delle Tecniche di Bilanciamento: Conferma l'efficacia di SMOTE nel contesto della previsione della gravità dei bug, dove le classi sono fortemente sbilanciate.

5. Significato e Impatto

• Efficienza Operativa: L'automazione della triage dei bug permette ai team di sviluppo di ridurre i tempi di risposta e allocare le risorse sui problemi più critici, migliorando la qualità del software.
• Qualità del Software: Una previsione accurata della gravità riduce i tempi di inattività (downtime) e aumenta la fiducia degli utenti, specialmente in settori critici come sanità e finanza.
• Sostenibilità: Ottimizzando il processo di debug, si riduce il consumo energetico legato a cicli di sviluppo e testing inefficienti.
• Futuro: Lo studio suggerisce l'implementazione di modelli ibridi e sistemi in tempo reale integrati in strumenti come JIRA o Bugzilla, oltre a lavori futuri sulla spiegabilità (Explainable AI) dei modelli deep learning per aumentare la fiducia degli sviluppatori.

In sintesi, la tesi conclude che l'uso combinato di tecniche di preprocessing avanzate (SMOTE, TF-IDF) e modelli di machine learning moderni (in particolare DistilBERT e XGBoost) offre una soluzione scalabile ed efficace per la gestione della qualità del software, sebbene la selezione del modello debba essere guidata dalla specifica priorità del progetto (accuratezza vs. rilevamento dei casi critici).