技术摘要：迈向架构侵蚀违规症状的自动化识别

1. 问题陈述

软件架构侵蚀是指实现系统与其预期架构发生偏离，导致可维护性、性能和可持续性下降。虽然架构侵蚀存在多种症状（结构性、质量性和演进性），但违规症状（即代码违反设计原则、模式或决策的情况）是需要立即关注的最直接指标。

传统上，识别这些违规行为依赖于静态代码分析或对文本人工制品（textual artifacts）的手动审查。然而，静态分析工具往往存在违规类型检测有限、语言支持窄以及无法捕捉语义细微差别的问题。通过代码审查进行的人工识别虽然准确，但过程繁琐、耗时且容易产生人为错误。尽管代码审查评论中蕴含着关于架构决策的丰富信息，但此前尚无研究调查过针对文本人工制品（如代码审查评论）中违规症状的自动化识别问题。

2. 研究方法

本研究采用多阶段实证方法，评估从代码审查评论中自动检测违规症状的可行性。

2.1 数据集构建

• 来源： 来自四个开源项目（OpenStack 的 Nova、Neutron 以及 Qt 的 Base、Creator）的代码审查评论，通过 Gerrit REST API 在 2014 年至 2020 年间收集。
• 标注： 挖掘了 21,583 条评论。四名研究人员手动将 606 条评论标注为“违规症状”（正类）和 606 条为“非违规”（负类），以创建一个平衡的训练集。评分者间一致性（Cohen's Kappa）为 0.857。
• 不平衡测试集： 构建了一个独立的留出测试集，包含 150 条评论（7 条违规，143 条非违规），以模拟现实世界中低流行率（约 4.7% 正率）的情况。

2.2 第一阶段：ML/DL 分类

作者使用三种预训练词嵌入技术（word2vec、fastText 和 GloVe）训练并评估了分类器。

• 机器学习 (ML)： 测试了五种算法：支持向量机 (SVM)、逻辑回归 (LR)、决策树 (DT)、伯努利朴素贝叶斯 (NB) 和 k-最近邻 (kNN)。
• 深度学习 (DL)： 训练了一个 TextCNN 模型。
• 集成学习： 应用多数投票策略（硬投票）来组合单个分类器的预测结果。
• 超参数调优： 对 ML 模型使用了网格搜索。对于 DL，具体设置包括 200 维嵌入、0.001 的学习率和 0.25 的 Dropout。
• 不平衡处理： 应用了代价敏感学习技术（如类别权重、SMOTE 重采样、代价矩阵）来处理训练数据，以应对测试集中的自然不平衡问题。

2.3 第二阶段：验证

• 定性研究： 对参与原始代码审查的从业者进行了在线调查（24 份回复）和半结构化访谈（6 名参与者），以评估自动化方法的感知效用。
• 定量研究： 对 35 名开发人员进行了对照实验（控制组 vs. 实验组）。实验组接收由分类器生成的提示，这些提示强调了潜在的违规症状。衡量指标是正确识别并修复违规行为的比例。

2.4 第三阶段：LLM 对比

评估了三种最先进的大型语言模型 (LLM)，使用提示工程（零样本学习和包含 2、4、6、10 个示例的少样本学习）：

• GPT-4o（专有模型）
• Qwen-3（开源权重模型）
• DeepSeek-R1（开源 MoE 模型）
  采用了成本意识提示策略，以减轻在不平衡设置下对多数类的偏差。

3. 关键结果

3.1 ML/DL 性能 (RQ1 & RQ2)

• 最佳分类器： 在 ML/DL 方法中，使用 word2vec 嵌入的 SVM 分类器 在平衡数据集上表现最好（F1 分数：0.808，精确率：0.789，召回率：0.828）。
• 嵌入影响： 200 维词嵌入通常优于 100 维和 300 维模型。fastText 嵌入在 DL 模型（TextCNN）中取得了相对较好的结果。
• 集成： 使用多数投票的集成分类器通常比单个 ML 分类器表现更好（例如，F1 分数的提升高达 13.10%）。然而，集成并未一致地提升 DL 分类器（TextCNN）的性能。
• 不平衡鲁棒性： 在自然低流行率条件下，代价敏感 SVM 模型保持了较高的 Macro-F1 分数 (0.816)，证明了在现实场景中的有效性。Friedman 检验进行的统计显著性分析确认，性能差异并非由随机波动引起。

3.2 LLM 性能 (RQ4)

• 优越性： 基于 LLM 的分类器表现优于 传统的 ML/DL 方法。
• 顶尖表现者： 使用 2-shot 设置的 GPT-4o 在所有评估的模型中取得了最高的 F1 分数 (0.851) 和准确率 (0.848)。
• 集成局限性： 与 ML/DL 不同，集成 LLM（跨模型或跨 shot 设置）并未一致地提高性能，有时反而会导致性能下降，这可能是由于单个 LLM 的高基准性能以及潜在的幻觉放大效应。

3.3 实践验证 (RQ3)

• 从业者反馈： 66.7% 的受访者认为识别出的症状代表了潜在的架构违规。大多数人同意该方法可以帮助比手动审查更快地定位和优先处理问题。
• 对照实验： 提供违规症状提示显著提高了开发人员的检测率。正确识别并修复违规行为（类别 1）的比例从 13.0%（控制组）增加到 29.4%（实验组）。总检测率（类别 1 + 2）从 25.9% 上升到 64.7%，相对提升了 150%。

4. 核心贡献

1. 可行性论证： 首个证明利用 ML、DL 和 LLM 从代码审查评论中自动识别架构违规症状之可行性的研究。
2. 全面对比： 在不同的嵌入维度和 shot 设置下，对 15 种 ML 分类器、4 种 DL 分类器和 3 种 LLM 进行了严格比较。
3. 经从业者验证的见解： 通过调查、访谈和对照实验提供的实证证据，证实了自动化提示能显著提高开发人员检测架构问题的能力。
4. 数据集与工具： 发布了来自代码审查的架构违规标注数据集以及用于支持未来研究的复现包。

5. 意义与主张

本文主张，自动识别违规症状可以作为现代代码审查的一个补充层，提供早期预警，以防止偏离预期架构的代码被集成。

• 对从业者而言： 该方法提供了一种实用的工具，以减轻识别架构问题的认知负荷，帮助团队优先处理重构工作并维持架构完整性。
• 对研究者而言： 本研究强调，虽然 LLM（特别是 GPT-4o）目前提供了更优越的性能，但传统的 ML 方法（如使用 word2vec 的 SVM）在处理特定文本分类任务时仍然非常有效，且在计算资源受限时更具成本效益。
• 方法论层面： 该工作通过利用代码审查讨论中丰富的语义上下文，弥合了理论上的架构一致性检查与实际开发工作流之间的鸿沟。

作者总结道，尽管在误报率和集成成本方面仍面临挑战，但定量和定性的证据都强力支持将此类自动化技术集成到软件开发生命周期中，以增强系统的可持续性。