Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

Cette étude évalue l'efficacité de divers modèles d'apprentissage automatique supervisé, allant des arbres de gradient aux transformers, pour prédire automatiquement la sévérité des bogues dans les projets logiciels en utilisant des données historiques d'Eclipse Bugzilla, révélant que les méthodes ensemblistes et DistilBERT offrent la meilleure précision globale tandis que les modèles linéaires sont supérieurs pour la détection des bogues critiques.

L'essentiel

🍎 Le Titre : "Prédire la gravité des bugs comme un chef cuisinier"

Imaginez que vous êtes le chef d'un immense restaurant (un projet logiciel). Chaque jour, des clients (les utilisateurs) vous envoient des milliers de plaintes : "Il y a un insecte dans ma salade", "Le serveur a renversé mon verre", "La porte de la cuisine est bloquée".

Dans le monde du logiciel, ces plaintes s'appellent des bugs. Le problème, c'est qu'il y en a des milliers. Si vous essayez de les trier vous-même, vous allez passer votre vie à lire des papiers et vous allez rater les plus graves (comme l'insecte dans la salade) parce que vous êtes fatigué.

L'objectif de ce mémoire (réalisé par Nafisha Tamanna Nice) est de créer un robot chef (un modèle d'intelligence artificielle) capable de lire ces plaintes et de dire instantanément :

• 🚨 URGENT : "C'est un insecte ! Arrêtez tout, c'est dangereux !" (Gravité : Critique)
• ⚠️ MOYEN : "Le verre est renversé, nettoyez ça avant le prochain service." (Gravité : Majeur)
• 🟢 PETIT : "La porte est un peu lourde, on réparera ça demain." (Gravité : Mineur)

---

🔍 Comment le robot a-t-il appris ? (La Méthode)

Pour entraîner ce robot, la chercheuse a utilisé une énorme bibliothèque de plaintes passées du projet Eclipse (un très grand logiciel open-source). C'est comme si elle avait donné au robot 88 000 histoires de bugs passés pour qu'il apprenne les motifs.

Elle a testé 10 types de robots différents (des algorithmes d'apprentissage automatique) pour voir lequel était le meilleur :

1. Les "Classiques" (Logistic Regression, SVM, Naive Bayes) : Ce sont comme des apprentis qui utilisent des règles simples. "Si le mot 'crash' est dans la phrase, c'est grave." Ils sont rapides et faciles à comprendre.
2. Les "Super-Héros des Arbres" (XGBoost, LightGBM, CatBoost) : Imaginez une équipe de détectives qui posent des questions en cascade. "Est-ce que c'est un problème de base de données ? Oui. Est-ce que ça bloque l'application ? Oui. Donc c'est critique !" Ils sont très forts pour trouver des motifs complexes.
3. Le "Génie du Langage" (DistilBERT) : C'est le plus avancé. C'est comme un traducteur qui ne lit pas juste les mots, mais qui comprend le contexte. Il sait que "le système est lent" peut être grave si c'est un hôpital, mais moins grave si c'est un jeu vidéo. Il utilise une technologie appelée "Transformer".

---

🏆 Le Résultat : Qui a gagné ?

Après avoir fait passer des examens à tous ces robots, voici ce qui s'est passé :

• Le Champion de la Précision (DistilBERT & XGBoost) : Ces deux-là ont eu les meilleures notes globales. Le robot "Génie du Langage" (DistilBERT) a compris le mieux les descriptions compliquées des bugs, et le robot "Détective" (XGBoost) a été très efficace pour classer les choses. Ils sont les meilleurs pour dire "Ceci est un bug majeur" avec une grande certitude.
• Le Champion de la Sécurité (Régression Logistique) : Parfois, il vaut mieux être prudent. La Régression Logistique a été la meilleure pour ne rien rater. Elle a eu tendance à dire "C'est grave !" même si elle n'était pas sûre à 100%. C'est comme un détective qui dit : "Mieux vaut vérifier 100 fausses alarmes que de rater un seul vrai crime." C'est crucial pour les bugs critiques où on ne veut aucune erreur.

Leçon importante : Il n'y a pas un seul robot parfait. Si vous voulez éviter de rater un bug critique, vous choisissez le robot "prudent". Si vous voulez trier tout le monde rapidement, vous choisissez le robot "précis".

---

🌍 Pourquoi est-ce important pour nous ? (L'Impact)

Pourquoi se donner tant de mal pour trier des bugs ?

1. Économiser du temps et de l'argent : Imaginez que votre équipe de développeurs passe 8 heures par jour à trier des papiers. Avec ce robot, ils passent 1 heure à trier et 7 heures à réparer les vrais problèmes. C'est comme avoir un assistant personnel qui fait le tri des emails.
2. Sécurité et Confiance : Si un bug critique dans une application bancaire ou médicale est traité immédiatement grâce à ce tri automatique, cela évite des catastrophes. C'est comme avoir un garde du corps qui détecte le danger avant qu'il n'arrive.
3. Moins de gaspillage : En ne perdant pas de temps sur des bugs mineurs, on économise de l'énergie (des serveurs, des ordinateurs) et on rend le logiciel plus durable.

🚀 Et pour le futur ?

La chercheuse conclut que ce robot fonctionne très bien, mais qu'il doit continuer à apprendre. Comme un enfant, il doit voir de nouveaux types de bugs pour ne pas être surpris. L'idée est de l'intégrer directement dans les outils que les développeurs utilisent déjà (comme Jira ou Bugzilla) pour que, dès qu'un bug est signalé, le robot le classe instantanément.

En résumé : Ce mémoire nous dit que l'intelligence artificielle peut agir comme un triage médical intelligent pour les logiciels. Elle permet de sauver les patients (les systèmes critiques) en priorité, tout en laissant les médecins (les développeurs) se concentrer sur ce qui compte vraiment.

Résumé technique

1. Problématique et Contexte

Dans le génie logiciel moderne, la gestion des bogues est cruciale pour la maintenance et la qualité des systèmes. Cependant, les dépôts de bogues (comme ceux d'Eclipse ou Jira) contiennent des milliers de rapports non structurés, rendant la classification manuelle de la sévérité (critique, majeur, mineur, trivial) laborieuse, lente et sujette aux biais humains.

• Le défi principal : L'incapacité des équipes à prioriser efficacement les corrections, ce qui entraîne des retards de projet, des risques de sécurité et une dégradation de l'expérience utilisateur.
• La contrainte technique : Les données sont déséquilibrées (peu de bogues critiques par rapport aux bogues mineurs) et hétérogènes (mélange de texte libre et de métadonnées), ce qui complique la création de modèles prédictifs robustes.

2. Méthodologie de Recherche

L'étude propose une approche comparative pour identifier les algorithmes d'apprentissage supervisé les plus performants pour prédire la sévérité des bogues.

A. Collecte et Prétraitement des Données

• Source de données : Le jeu de données provient du système de suivi de bogues Eclipse Bugzilla, contenant 88 682 rapports de bogues.
• Attributs utilisés : Description courte du bogue (texte), type de bogue, priorité, statut de résolution et projet. La variable cible est l'étiquette de sévérité (Severity_Label).
• Prétraitement :
  • Nettoyage : Gestion des valeurs manquantes (moyenne pour les numériques, mode pour les catégoriels).
  • Encodage : Utilisation du Label Encoding et du One-Hot Encoding pour les variables catégorielles.
  • Traitement du texte : Pour les modèles basés sur le texte (DistilBERT), mise en minuscules, tokenisation et padding. Pour les autres modèles, extraction de caractéristiques via TF-IDF et n-grammes.
  • Équilibrage des classes : Application de la technique SMOTE (Synthetic Minority Over-sampling Technique) pour corriger le déséquilibre des classes, car les bogues de haute sévérité sont sous-représentés.
  • Division : 80 % pour l'entraînement et 20 % pour le test, avec une validation croisée K-fold (K=3).

B. Modèles Évalués

L'étude compare 10 algorithmes couvrant diverses familles d'apprentissage automatique :

1. Apprentissage linéaire : Régression Logistique, SVM Linéaire, Classificateur Passif-Agressif, SGD (Stochastic Gradient Descent).
2. Ensembles d'arbres (Tree-based) : XGBoost, LightGBM, CatBoost.
3. Probabiliste : Naive Bayes.
4. Basé sur la distance : K-Nearest Neighbors (KNN).
5. Deep Learning (Transformers) : DistilBERT (modèle pré-entraîné optimisé pour la classification de texte).

C. Métriques d'Évaluation

Les performances ont été mesurées via :

• Précision, Rappel (Recall), Score F1, Exactitude (Accuracy).
• Courbe ROC et AUC.
• Matrices de confusion pour analyser les vrais/faux positifs et négatifs.

3. Résultats Clés et Analyse

Les résultats expérimentaux révèlent des compromis intéressants selon l'objectif de prédiction :

• Meilleure Exactitude Globale (Accuracy) :

  • DistilBERT a obtenu le meilleur score global avec 90,48 %, suivi de près par XGBoost (90,41 %) et CatBoost (90,17 %).
  • Cela démontre que les modèles basés sur des transformers (compréhension contextuelle du texte) et les ensembles d'arbres de gradient sont supérieurs pour la classification générale de la sévérité.

• Détection des Bogues Critiques (Rappel/Recall) :

  • La Régression Logistique a montré le meilleur rappel (0,627) et le meilleur score F1 (0,517) pour la classe des bogues de haute sévérité.
  • Interprétation : Bien que moins précise globalement, la régression logistique est plus efficace pour ne pas manquer (minimiser les faux négatifs) les bogues critiques, ce qui est crucial pour la triage d'urgence.

• Précision (Précision) :

  • Naive Bayes a obtenu la précision la plus élevée (0,845), indiquant qu'il génère le moins de faux positifs lorsqu'il prédit un bogue comme étant critique.

• Analyse des Matrices de Confusion :

  • Les modèles complexes (DistilBERT, XGBoost) excellent dans la classification globale mais peuvent avoir du mal à généraliser parfaitement sur les classes minoritaires sans un réglage fin.
  • Les modèles linéaires montrent une meilleure capacité à capturer les signaux faibles des bogues critiques.

4. Contributions Principales

1. Comparaison Exhaustive : L'étude fournit une analyse comparative rigoureuse entre des méthodes traditionnelles (SVM, Naive Bayes), des ensembles d'arbres modernes (XGBoost, LightGBM, CatBoost) et des modèles de transformers (DistilBERT) sur un jeu de données réel et massif.
2. Stratégie de Prétraitement : Validation de l'efficacité combinée de SMOTE pour l'équilibrage des classes et de TF-IDF pour l'extraction de caractéristiques textuelles, démontrant leur impact positif sur la performance des modèles.
3. Guide de Sélection de Modèle : Identification claire qu'il n'existe pas de "modèle unique" optimal. Le choix dépend de la priorité du projet :
   • Pour la précision globale : Privilégier DistilBERT ou XGBoost.
   • Pour la détection des bogues critiques (minimiser les risques) : Privilégier la Régression Logistique.

5. Signification et Impact

• Amélioration de la Qualité Logicielle : L'automatisation du triage permet aux équipes de développement de se concentrer immédiatement sur les bogues affectant la stabilité et la sécurité, réduisant ainsi les temps d'arrêt et améliorant la fiabilité des produits.
• Efficacité Opérationnelle : Réduction significative du temps et des ressources consacrés à l'analyse manuelle des rapports de bogues.
• Durabilité et Éthique : En optimisant l'utilisation des ressources de calcul et de développement, la méthode contribue indirectement à des pratiques logicielles plus durables. L'étude souligne également l'importance de la transparence des modèles et de la gestion des biais dans les données d'entraînement.
• Perspectives Futures : L'auteur suggère l'intégration de ces modèles dans des systèmes de suivi réels (Jira, Bugzilla) pour un triage en temps réel, ainsi que l'exploration de modèles hybrides combinant l'interprétabilité des modèles linéaires et la puissance des transformers.

En conclusion, cette thèse démontre que l'apprentissage automatique supervisé, couplé à un prétraitement rigoureux des données, est une solution viable et efficace pour automatiser la prédiction de la sévérité des bogues, offrant des gains tangibles pour l'assurance qualité logicielle.