Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

该研究利用来自 Eclipse Bugzilla 的历史数据，通过对比多种监督机器学习模型（包括集成树方法和 DistilBERT）及特征工程策略，评估了其在预测软件缺陷严重程度方面的性能，旨在为自动化缺陷优先级排序提供可操作的算法选择建议。

要点

这篇论文讲述了一个关于**“如何给软件里的错误（Bug）自动打分定级”**的故事。

想象一下，你经营着一家巨大的**“数字医院”**（这就是像 Eclipse 这样的开源软件项目）。每天都有成千上万的病人（Bug 报告）送进来，有的只是擦破皮（小问题），有的则是心脏骤停（严重危机）。

1. 核心问题：医生忙不过来

在过去，这些病人全靠人类医生（软件工程师）来分诊。

• 痛点：病人太多了，医生们忙得焦头烂额。
• 后果：有的医生累了，把“心脏骤停”误判为“擦破皮”，导致病人没得到及时救治；有的医生太谨慎，把“擦破皮”当成“绝症”处理，浪费了医疗资源。
• 目标：我们需要一个**“超级 AI 分诊员”**，它能瞬间阅读病人的描述，准确判断谁最需要急救。

2. 研究方法：一场“分诊员”大比武

作者 Nafisha 就像一位**“教练”，她找来了10 位不同风格的“分诊员”候选人**（也就是 10 种机器学习算法），让它们在同一套历史病历（Eclipse 的 Bug 数据）上进行比赛，看谁最厉害。

这 10 位候选人分为几派：

• 老派经验派（传统算法）：
  • 逻辑回归 (Logistic Regression)：像一位老练的急诊科医生，虽然不一定能看出所有细节，但特别擅长**“宁可错杀，不可放过”**，能确保不漏掉任何重症病人（召回率高）。
  • 朴素贝叶斯 (Naive Bayes)：像一位谨慎的专家，它说“这是重症”时，通常准得吓人（精确率高），但可能会漏掉一些不那么明显的重症。
• 现代科技派（树模型与集成学习）：
  • XGBoost, LightGBM, CatBoost：这些像是**“超级医疗团队”**。它们由成百上千个小医生组成，每个人看一点，最后综合意见。它们非常强大，处理复杂病例的能力很强，整体准确率最高。
• 未来派（深度学习）：
  • DistilBERT：这就像一位读过所有医学文献的“天才 AI"。它不仅能看懂字面意思，还能理解病人心情的微妙变化（文本的深层含义）。它在比赛中夺得了冠军，整体准确率最高。

3. 训练过程：如何教 AI 看病？

为了让这些 AI 变聪明，作者给它们做了特殊的“特训”：

• 清洗病历：把病历里乱七八糟的错别字、无关信息（比如“病人 ID 号”）都去掉，只保留核心症状。
• 平衡训练：历史上“重症病人”很少，“小病”很多。如果直接教，AI 会以为“大家都只是感冒”。于是作者用了SMOTE 技术，相当于给 AI 制造了一些“模拟重症病人”的假病历，强迫它学会识别重症，不再忽视它们。
• 考试验证：把数据分成两部分，80% 用来上课（训练），20% 用来考试（测试），确保 AI 不是死记硬背，而是真的学会了。

4. 比赛结果：谁赢了？

• 全能冠军：DistilBERT（天才 AI）和 XGBoost（超级团队）在整体准确率上拔得头筹。它们最擅长把病人分对类，无论是大病小病。
• 救命专家：如果你只关心**“千万别漏掉重症”，那么逻辑回归**（老练医生）是最佳选择。虽然它可能会把一些轻病误判为重病（有点过度紧张），但它保证了没有重症病人被漏掉。
• 谨慎专家：朴素贝叶斯在**“确诊重症”**时最准，它说“这是重症”时，基本不会出错。

5. 这对社会有什么意义？

这就好比给软件世界装上了**“智能急救系统”**：

• 省钱省时间：不再让工程师把时间浪费在修“小感冒”上，而是集中火力攻克“心脏骤停”。
• 更安全：金融、医疗等关键软件不再因为漏掉一个严重 Bug 而崩溃。
• 更环保：减少了无谓的调试和重复工作，间接节省了电力和计算资源。

总结

这篇论文告诉我们：机器已经学会如何像经验丰富的医生一样，快速、准确地从成千上万的软件错误中，揪出那些最危险的“定时炸弹”。

虽然现在的 AI 已经很强了（DistilBERT 和 XGBoost 表现优异），但未来的方向是让它们更透明（让人类知道它为什么这么判断），并且能适应更多不同类型的“医院”（不同的软件项目）。

简单来说，这就是用 AI 给软件世界做“分诊”，让好钢用在刀刃上，让软件更安全、更稳定。

技术摘要

以下是基于 Nafisha Tamanna Nice 的硕士学位论文《基于监督机器学习模型的软件项目缺陷严重性预测》（Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models）的详细技术总结：

1. 研究背景与问题陈述 (Problem Statement)

• 核心问题：在现代大型软件项目中，缺陷（Bug）报告的数量呈指数级增长。手动对缺陷进行严重性分级（如：严重、主要、次要、琐碎）不仅耗时费力，而且容易受到人为偏见、疲劳和专家经验差异的影响，导致分类不一致。
• 后果：低效的缺陷优先级排序会导致关键系统故障被忽视，增加项目延期风险，降低软件质量和用户信任度。
• 研究目标：利用监督机器学习（Supervised Machine Learning）技术，基于历史缺陷数据（文本描述和元数据）自动预测缺陷的严重性，从而辅助开发团队进行高效的缺陷 triage（分类与优先级排序）。
• 主要挑战：
  • 数据不平衡：严重缺陷（Critical/Major）在数据集中通常属于少数类，而轻微缺陷（Minor/Trivial）占多数，导致模型倾向于预测多数类。
  • 非结构化文本：缺陷描述通常是自然语言，存在拼写错误、格式不统一等问题。
  • 泛化能力：模型在不同项目间（不同代码库、不同报告习惯）的迁移能力。

2. 方法论 (Methodology)

本研究采用了一套完整的机器学习流水线，主要步骤如下：

2.1 数据来源

• 数据集：Eclipse Bugzilla 缺陷报告数据集（来自 Hugging Face）。
• 规模：包含 88,682 条缺陷报告。
• 特征：包括项目（Project）、Bug ID、解决状态、简短描述（Short Description）、缺陷类型（Bug Type）、优先级（Priority）和严重性标签（Severity Label，作为目标变量）。

2.2 数据预处理 (Data Preprocessing)

• 缺失值处理：数值特征用均值填充，分类特征用众数填充。
• 特征编码：
  • 标签编码（Label Encoding）：用于无顺序的分类变量。
  • 独热编码（One-Hot Encoding）：用于项目、优先级等变量。
• 文本处理：
  • 针对传统模型：分词、TF-IDF（词频 - 逆文档频率）向量化、N-gram 特征提取。
  • 针对深度学习模型（DistilBERT）：小写化、BERT 分词（Tokenization）、填充（Padding）。
• 类别不平衡处理：使用 SMOTE（合成少数类过采样技术）生成合成样本来平衡严重缺陷类别。
• 数据划分：80% 用于训练，20% 用于测试。

2.3 实验模型 (Machine Learning Models)

研究对比了 10 种 不同的监督学习算法，涵盖多种类别：

1. 线性模型：逻辑回归（Logistic Regression）、线性支持向量机（Linear SVM）、被动攻击分类器（Passive Aggressive）。
2. 随机梯度下降：SGD 分类器。
3. 树基集成学习：XGBoost、LightGBM、CatBoost。
4. 贝叶斯模型：朴素贝叶斯（Naive Bayes）。
5. 距离基模型：K 近邻（KNN）。
6. 深度学习/Transformer：DistilBERT（一种轻量级的预训练 Transformer 模型）。

2.4 评估指标

使用以下指标全面评估模型性能：

• 准确率（Accuracy）
• 精确率（Precision）
• 召回率（Recall）
• F1 分数（F1-Score）
• AUC-ROC 曲线
• 混淆矩阵（Confusion Matrix）
• 3 折交叉验证（3-fold Cross-Validation）

3. 关键实验结果 (Key Results)

实验在 Eclipse 数据集上进行了对比分析，主要发现如下：

3.1 整体性能表现

• 最高准确率：DistilBERT 以 90.48% 的准确率位居第一，紧随其后的是 XGBoost (90.41%) 和 CatBoost (90.17%)。
  • 结论：基于 Transformer 的模型和梯度提升树模型在处理复杂文本特征和特征交互方面表现最佳。
• 其他表现：Naive Bayes (89.94%)、KNN (89.94%) 和 Linear SVM (89.62%) 也表现良好，但略逊于顶级模型。

3.2 针对“高严重性”缺陷的检测能力 (关键发现)

在缺陷预测中，召回率（Recall） 往往比准确率更重要（即尽可能不漏掉严重 Bug）。

• 逻辑回归（Logistic Regression）：虽然整体准确率（85.07%）不是最高，但它在召回率（0.627） 和 F1 分数（0.517） 上表现最佳。
  • 意义：逻辑回归在识别高严重性缺陷方面最有效，适合那些“宁可误报，不可漏报”的关键场景。
• 朴素贝叶斯（Naive Bayes）：在精确率（Precision, 0.845） 上表现最好，意味着它产生的假阳性（将普通 Bug 误判为严重）最少。

3.3 模型对比总结

模型类型	优势	适用场景
DistilBERT / XGBoost	整体准确率最高，能捕捉复杂文本语义	需要高精度分类和综合性能的场景
Logistic Regression	高召回率，F1 分数平衡性好	关键任务：优先发现所有潜在的高严重性 Bug
Naive Bayes	高精确率，计算简单	需要最小化误报（False Positives）的场景

4. 主要贡献 (Key Contributions)

1. 广泛的基准对比：系统性地比较了从传统线性模型、集成树模型到最新 Transformer 模型（DistilBERT）在缺陷严重性预测任务上的表现，填补了不同技术栈之间的对比空白。
2. 针对不平衡数据的优化策略：验证了 SMOTE 和类别权重调整在处理严重缺陷（少数类）数据不平衡问题上的有效性，特别是证明了这些技术如何提升逻辑回归等模型的召回率。
3. 实践指导意义：提出了基于项目优先级的模型选择建议：
   • 若目标是最大化发现严重 Bug（高召回），推荐使用 Logistic Regression。
   • 若目标是整体分类精度和自动化 triage，推荐使用 DistilBERT 或 XGBoost。
4. 特征工程验证：证实了结合文本特征（TF-IDF/Tokenization）和元数据（优先级、类型）能显著提升预测效果。

5. 研究意义与未来展望 (Significance & Future Work)

5.1 社会与行业影响

• 提升软件质量：通过自动化优先排序，确保关键缺陷被快速修复，减少系统崩溃和安全漏洞。
• 提高效率：减少开发人员手动审查 Bug 的时间，加快软件发布周期（Time-to-Market）。
• 资源优化：更合理的资源分配，避免在低优先级问题上浪费算力或人力。

5.2 局限性与未来工作

• 泛化能力：模型在 Eclipse 数据集上表现良好，但在其他项目（如 Java 以外的语言或不同领域）上的泛化能力仍需验证。
• 可解释性：虽然 DistilBERT 精度高，但其“黑盒”性质使得开发人员难以理解预测依据。未来需结合 SHAP 或 LIME 等可解释性 AI 技术。
• 实时集成：建议将模型集成到 Jira 或 Bugzilla 等现有工作流中，实现实时预测。
• 高级预处理：探索更先进的词嵌入（Word2Vec, GloVe）或更大的预训练模型（如 BERT 全量版）以捕捉更深层的语义上下文。

总结

该论文通过严谨的实验设计，证明了监督机器学习在软件缺陷严重性预测中的巨大潜力。研究不仅识别出 DistilBERT 和 XGBoost 为综合性能最优模型，还特别强调了 Logistic Regression 在捕捉高严重性缺陷方面的独特价值，为软件工程和自动化测试领域提供了重要的理论依据和实用工具。