Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

Deze studie vergelijkt diverse toezichtlerende machine learning-modellen voor het voorspellen van bugernst in softwareprojecten en concludeert dat ensemble-bomen en DistilBERT de beste algehele nauwkeurigheid bieden, terwijl lineaire modellen superieur zijn bij het detecteren van kritieke bugs.

De kern

🐞 De "Bug-Alarm" voor Software: Een Simpele Uitleg

Stel je voor dat een groot softwarebedrijf een gigantische reparatieservice is. Elke dag komen er duizenden meldingen binnen van mensen die zeggen: "Hé, er is iets kapot!" In de programmeertaal noemen we dit bugs (fouten).

Het probleem? Er zijn zoveel meldingen dat de managers (de programmeurs) het niet meer kunnen bijhouden. Ze moeten beslissen: "Moet ik dit nu direct fixen, of kan het morgen?"

• Een kritieke bug is alsof de motor van een vliegtuig stopt. Dat moet nu opgelost worden.
• Een kleine bug is alsof er een vlekje op de stoel zit. Dat kan wachten.

Vroeger keken mensen met hun blote ogen naar elke melding om te beslissen hoe ernstig het was. Dat ging te langzaam, was vermoeiend en iedereen had een andere mening.

Nafisha Tamanna Nice (de schrijfster van dit rapport) heeft een slimme oplossing bedacht: een computer die zelf kan beslissen hoe ernstig een fout is. Ze heeft een "digitaal team" van slimme algoritmen getraind om dit werk te doen.

---

🛠️ Hoe werkt dit "Digitale Team"?

Stel je voor dat je een schoolklas hebt met 10 verschillende leerlingen. Iedere leerling heeft een andere manier van denken en kijken naar de problemen. Nafisha heeft deze 10 leerlingen getest om te zien wie de beste "bug-detecteur" is.

Ze hebben gekeken naar een enorme stapel oude meldingen van het project Eclipse (een bekend softwareproject). Hier zijn de "leerlingen" die ze hebben getest:

1. De Snelle Rekenaars (Logistieke Regressie, SVM):

   • Vergelijking: Dit zijn als de leerlingen die snel een simpele regel bedenken: "Als het woord 'crash' in de tekst staat, is het ernstig." Ze zijn snel en eerlijk, maar soms missen ze de subtiele details.
   • Resultaat: Ze waren heel goed in het vinden van alle ernstige fouten (ze lieten er weinig aan ontsnappen), maar ze riepen soms ook wel eens onterecht "Brand!" bij een kleinigheidje.

2. De Boom-Tekenaars (XGBoost, LightGBM, CatBoost):

   • Vergelijking: Deze leerlingen denken in stappen. "Is het een database-fout? Ja. Is het een grote server? Ja. Dan is het waarschijnlijk ernstig." Ze maken een soort beslissingsboom.
   • Resultaat: Ze waren heel nauwkeurig. Ze maakten weinig fouten in hun oordeel.

3. De Super-Intelligente Lezers (DistilBERT):

   • Vergelijking: Dit is de slimste leerling van de klas. Hij leest niet alleen de woorden, maar begrijpt ook de sfeer en de context. Hij begrijpt dat "het systeem is vastgelopen" net zo erg is als "alles is kapot", zelfs als de woorden anders zijn. Dit is een geavanceerde AI die taal begrijpt.
   • Resultaat: Deze leerling scoorde het hoogst in totale nauwkeurigheid. Hij zag de meeste fouten en maakte de minste vergissingen.

---

📊 Wat hebben ze ontdekt?

Nafisha heeft de resultaten vergeleken en kwam tot een paar belangrijke conclusies:

• De "Super-Les" (DistilBERT) wint: Als je de allerbeste totale score wilt, is de AI die taal begrijpt (DistilBERT) de winnaar. Hij is als een ervaren detective die elke nuance snapt.
• De "Veilige Net" (Logistieke Regressie): Als je bang bent om een ernstige fout te missen (bijvoorbeeld bij een ziekenhuis-app of banksoftware), is de snelle rekenaar (Logistieke Regressie) misschien beter. Hij roept soms iets te vaak "Alarm!", maar hij laat zelden een echte ramp ongemerkt.
• Het probleem van de "Kleine Minderheid": In de echte wereld zijn er veel meer kleine fouten dan grote rampen. Het is alsof je 99 appels en 1 sinaasappel hebt. Als je computer alleen appels ziet, denkt hij dat alles een appel is.
  • De oplossing: Nafisha heeft een trucje gebruikt (SMOTE) waarbij ze de computer kunstmatig extra voorbeelden van de "sinaasappels" (de ernstige fouten) liet zien, zodat de computer leerde ze te herkennen.

---

🌍 Waarom is dit belangrijk voor de maatschappij?

Dit onderzoek is niet alleen voor programmeurs, maar heeft gevolgen voor ons allemaal:

1. Veiligheid: Stel je voor dat er een fout zit in de software van een auto of een medisch apparaat. Door deze fouten sneller te vinden en te prioriteren, kunnen mensenlevens worden gered.
2. Tijdwinst: Programmeurs hoeven niet meer urenlang te zoeken naar de "naald in de hooiberg". De computer zegt direct: "Kijk hier eerst!" Hierdoor zijn apps en websites sneller klaar en werken ze beter.
3. Minder energie: Door efficiënter te werken, wordt er minder computerkracht en tijd verspild aan het zoeken naar de verkeerde problemen. Dit is beter voor het milieu.

🚀 Wat komt er nu?

De schrijfster zegt: "Dit is pas het begin."
In de toekomst kunnen deze systemen:

• Live meekijken: Ze kunnen direct in de software van bedrijven worden ingebouwd, zodat elke nieuwe fout die iemand meldt, direct automatisch wordt ingedeeld.
• Beter worden: Ze kunnen leren van nieuwe projecten, net zoals een leerling die elke dag iets nieuws leert.
• Uitlegbaar zijn: Momenteel is de "Super-Les" (DistilBERT) soms een "zwarte doos" (we weten niet precies waarom hij een bepaalde beslissing nam). De toekomstige doel is om de computer te laten uitleggen: "Ik denk dat dit ernstig is, omdat het woord 'data-verlies' voorkomt."

Kortom: Nafisha heeft bewezen dat we met slimme computers de chaos van softwarefouten kunnen ordenen. Het is alsof we een super-organiser hebben ingehuurd die ervoor zorgt dat de echte rampen altijd als eerste worden opgelost.

Technische samenvatting

Titel: Voorspelling van Bug-ernst in Softwareprojecten met Gecontroleerde Machine Learning-modellen

Auteur: Nafisha Tamanna Nice
Instelling: Daffodil International University, Dhaka, Bangladesh

---

1. Probleemstelling

In moderne softwareontwikkeling groeien bug-repositories (zoals die van Eclipse) exponentieel. Het handmatig classificeren van de ernst (severity) van bugs (bijv. kritiek, major, minor, triviaal) is een tijdrovende, inconsistente en vatbare taak voor menselijke bias.

• Uitdagingen:
  • Class Imbalance: Kritieke bugs komen veel minder vaak voor dan minder ernstige bugs, wat leidt tot een vertekend dataset.
  • Unstructured Data: Bug-rapporten bestaan vaak uit ongestructureerde tekst die moeilijk te analyseren is.
  • Prioritering: Zonder automatische prioritering kunnen teams kritieke problemen missen, wat leidt tot systeemuitval en vertragingen.
• Doel: Het ontwikkelen en evalueren van geautomatiseerde, gecontroleerde machine learning-modellen om de ernst van bugs nauwkeurig te voorspellen op basis van historische repository-data.

2. Methodologie

Het onderzoek volgt een gestructureerde pipeline voor data-analyse en modeltraining:

• Dataset:
  • Bron: Eclipse Bugzilla dataset (via Hugging Face).
  • Grootte: 88.682 bug-rapporten.
  • Kenmerken: Projectnaam, Bug-ID, Oplossingsstatus, Korte beschrijving (tekst), Bug-type, Prioriteit en de doelvariabele Severity_Label.
• Data Preprocessing:
  • Missing Values: Numerieke waarden vervangen door het gemiddelde; categorische waarden door de modus.
  • Feature Encoding: Label Encoding voor geordende categorische variabelen en One-Hot Encoding voor niet-geordende variabelen (zoals Project en Prioriteit).
  • Feature Scaling: Standardisatie (mean=0, std=1) voor numerieke features.
  • Tekstverwerking: Voor het DistilBERT-model: lager maken, tokenisatie en padding. Voor andere modellen: TF-IDF (Term Frequency-Inverse Document Frequency) en n-grams.
  • Class Balancing: Toepassing van SMOTE (Synthetic Minority Over-sampling Technique) om het probleem van onbalans tussen klassen (weinig kritieke bugs) op te lossen.
  • Splitsing: 80% training, 20% testing.
• Gebruikte Algoritmen (10 Modellen):
  De studie vergelijkt een breed scala aan gecontroleerde leertechnieken:
  1. Lineaire Modellen: Logistic Regression, Linear SVM, Passive Aggressive Classifier, SGD.
  2. Bayesiaanse Modellen: Naive Bayes.
  3. Afstand-gebaseerd: K-Nearest Neighbors (KNN).
  4. Ensemble Tree-methoden: XGBoost, LightGBM, CatBoost.
  5. Deep Learning (Transformer): DistilBERT (een lichtgewicht versie van BERT voor tekstclassificatie).
• Validatie:
  • K-fold cross-validatie (k=3).
  • Evaluatiemetrics: Accuracy, Precision, Recall, F1-score, AUC-ROC en Confusiematrices.

3. Belangrijkste Resultaten

De experimentele resultaten tonen duidelijke verschillen in prestaties tussen de modellen:

• Algemene Nauwkeurigheid (Accuracy):
  • DistilBERT behaalde de hoogste nauwkeurigheid (90,48%), gevolgd door XGBoost (90,41%) en CatBoost (90,17%).
  • Dit bevestigt dat transformer-modellen en geavanceerde ensemble-methoden zeer effectief zijn in het verwerken van complexe tekstuele beschrijvingen en metadata.
• Prestaties voor Kritieke Bugs (Recall & F1-score):
  • Hoewel DistilBERT en XGBoost de beste algehele nauwkeurigheid hadden, presteerde Logistic Regression het beste op Recall (0,627) en F1-score (0,517) voor het detecteren van hoge-ernst bugs.
  • Naive Bayes behaalde de hoogste Precision (0,845), wat betekent dat het de minste vals-positieven genereerde voor hoge-ernst bugs (conservatieve benadering).
• Confusiematrices:
  • De analyse toonde aan dat modellen zoals XGBoost en DistilBERT goed generaliseren, terwijl lineaire modellen zoals Logistic Regression beter waren in het minimaliseren van vals-negatieven (het niet detecteren van een kritieke bug).

4. Bijdragen en Conclusies

• Vergelijkende Analyse: Het paper biedt een uitgebreide vergelijking van traditionele ML-algoritmen versus moderne deep learning-modellen (DistilBERT) voor bug-ernstvoorspelling.
• Preprocessing Impact: Het benadrukt dat effectieve preprocessing (vooral SMOTE voor class imbalance en TF-IDF voor tekst) cruciaal is voor de prestaties van het model.
• Modelkeuze afhankelijk van doel:
  • Voor maximale algehele nauwkeurigheid: Kies DistilBERT of XGBoost.
  • Voor kritieke bug-detectie (waar het missen van een bug duurder is dan een vals alarm): Kies Logistic Regression vanwege de hogere recall.
  • Voor minimale vals-positieven: Kies Naive Bayes.
• Generalisatie: Hoewel de modellen goed presteerden op de Eclipse-dataset, blijft generalisatie naar andere projecten met verschillende rapportagepatronen een uitdaging.

5. Betekenis en Toekomstperspectief

• Sociale Impact: Automatische prioritering verbetert de softwarekwaliteit, vermindert downtime en verhoogt de betrouwbaarheid van kritieke systemen (bijv. zorg, financiën).
• Duurzaamheid: Efficiëntere bug-oplossing leidt tot minder computercycli en energieverspilling tijdens het debuggen.
• Toekomstig Werk:
  • Uitbreiden met datasets van diverse projecten om generalisatie te testen.
  • Onderzoek naar hybride modellen die de interpretatie van lineaire modellen combineren met de kracht van deep learning.
  • Integratie van real-time voorspellingssystemen in bestaande tools zoals Jira of Bugzilla.
  • Verbetering van de "explainability" (uitlegbaarheid) van black-box modellen zoals DistilBERT.

Samenvattend: Dit onderzoek demonstreert dat gecontroleerde machine learning, met name ensemble-methoden en transformers, een krachtig hulpmiddel is om de softwareontwikkelingscyclus te optimaliseren door bugs automatisch te triageren op basis van ernst, mits de juiste preprocessing en modelselectie worden toegepast.