💻 computer science

Semantic Spectrum: Fault Localization via Method Behavioral Divergence

本文提出了基于语义谱的故障定位（SSFL），这是一种利用运行时输出值分布来构建语义谱的方法级方法，通过无需模型训练或在线推理，实现了比传统的基于谱的方法、基于学习的方法以及基于大语言模型的方法更优越的故障定位准确度。

原作者： Tu Peng, Xianju Zheng, Yin Kuang, Abdelmounaim Mekaoui, Yazhi Yang, Ling Xiong

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Tu Peng, Xianju Zheng, Yin Kuang, Abdelmounaim Mekaoui, Yazhi Yang, Ling Xiong

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代软件那庞大而复杂的机器运作中，一个错误的指令就可能导致全球性服务的瘫痪，造成数百万美元的损失并使数百万用户陷入困境。当程序出错时，工程师的首要任务不仅是修复代码，更要找到错误隐藏的确切位置。这一过程被称为故障定位（fault localization），长期以来一直依赖于一种被称为基于谱系的故障定位（spectrum-based fault localization）的方法。想象一个监控摄像头系统，它仅仅记录了一个人在顺利的一天里进入了哪些房间，以及在发生事故的一天里进入了哪些房间。如果那个人在两种情况下都走过了同一条走廊，摄像头就无法分辨出哪条路径导致了错误。几十年来，软件调试工具一直遵循着同样的原则：它们追踪在测试通过和测试失败时执行了哪些行代码。如果一行代码在成功测试和失败测试中都运行了，传统工具会将它们视为同样可疑，往往导致开发者面对一长串完全相同的候选名单，却无法分辨出真正的罪魁祸首。

这种由于不同的代码片段在追踪系统中看起来完全一致而导致的根本局限性，已成为软件可靠性的主要瓶颈。研究人员最近尝试通过使用复杂的人工智能来猜测错误位置，或者通过分析代码变更的历史来解决这一问题，但这些方法通常需要海量的训练数据或昂贵的计算能力。来自成都理工大学和北京语言大学的研究团队提出了一条不同的路径。他们不再关注程序进入了哪些“房间”，而是决定倾听程序离开时“说了什么”。他们提出的这种名为“语义谱系故障定位”（Semantic Spectrum-based Fault Localization）的新方法，将关注点从代码所走的路径转向了它产生的实际数值。通过将程序的输出视为一种独特的指纹，他们找到了一种能够识别此前标准工具无法察觉的错误的方法，能够在无需训练任何人工智能模型的情况下，以显著更高的速度和准确度识别故障来源。

这种新方法背后的核心思想简单而深刻：即使两段代码遵循完全相同的程序路径，当出现错误时，它们产生的执行结果往往也是不同的。在典型的软件测试中，程序运行一系列步骤并返回一个值，例如一个数字、一个单词或一个真假值。当软件正常工作时，这些返回值遵循一种可预测的模式。当存在漏洞（bug）时，即使执行的代码步骤相同，模式也会发生变化。研究人员意识到，通过捕获这些输出值并分析在成功测试与失败测试中特定结果出现的频率，他们可以创建一个“语义谱系”。这个谱系就像是一张详细的程序行为地图，不仅展示了程序去了哪里，还展示了它实际做了什么。

为了验证这一理论，该团队将此方法应用于包含 357 个真实世界软件漏洞的知名集合，这些漏洞分布在五个不同的 Java 项目中，涵盖了从数学库到日期处理工具等各种类型。他们使用一种专门的工具，在每次测试运行时拦截代码中每个方法的输出。对于每个方法，他们构建了两个剖面（profile）：一个显示通过测试时的输出分布，另一个显示失败测试时的输出分布。然后，他们通过比较这两个剖面来衡量行为偏离了多少。如果一个方法在通过测试和失败测试中返回相同的值，那么它很可能是无辜的。但如果返回值的模式发生了剧烈变化——例如，一个通常返回“true”的方法在失败测试中突然开始返回“false”——系统就会将其标记为高度可疑。

实验结果令人瞩目。与仅依赖追踪代码执行路径的最佳传统工具相比，这种新方法将开发者需要检查的可疑对象数量减少了 60% 到 90%。在一些较大的项目中，传统工具会让开发者在数十行同样可疑的代码中苦苦搜寻，而新方法能将实际错误定位在列表的更靠前位置。这种改进非常显著，在测试的最大型项目中，研究人员将正确错误的平均排名位置从 71.63 降低到了 6.88，这意味着搜索工作量减少了 90.4%。这是传统方法无法实现的成就。该方法在解决“平局问题”（tie problem）方面表现得尤为出色，即传统工具因为多个方法看起来完全一致而失效的情况。通过倾听输出，新方法即使在两者行走路径相同的情况下，也能听出正确方法与错误方法之间的区别。

研究人员还将他们的技术与最新一代基于人工智能的工具进行了对比，后者通常需要对海量数据集进行训练，或使用强大的语言模型来阅读并理解代码。他们的方法无需训练，也无需复杂的 AI 推理，其表现优于最强的基于学习的基准工具 HetFL，在排名前三和前五的列表中识别出了更多的漏洞。具体而言，该方法在 Top-3 和 Top-5 位置分别定位了 242 个和 262 个漏洞，而 HetFL 分别为 195 个和 228 个。这表明，程序产生的数据本身比 AI 模型试图学习的复杂模式更直接、更可靠。该方法也是确定性的（deterministic），这意味着它每次都会产生相同的结果，不像某些 AI 系统那样可能会给出不同的答案。

该发现最实用的方面之一在于其高效性。虽然捕获输出值的过程会为测试阶段增加少量时间（每个软件版本约增加 7 秒），但其带来的精度提升是巨大的。研究人员发现，为了能够跳过数小时的手动搜索，付出这点额外的时间代价是非常值得的。该方法通过将软件的原始输出转换为统一格式，将数字、单词和真假值视为一种通用的 Token（标记）语言。随后，它统计每个 Token 在通过测试与失败测试中出现的频率。如果某个特定的 Token 在失败测试中频繁出现但在通过测试中很少出现，或者 Token 的平衡发生了剧烈偏移，系统就会知道出了问题。这种方法不需要重写软件，也不需要开发者提供额外信息；它只是在倾听现有测试已经在产生的内容。

研究还强调了现有方法的局限性。当漏洞没有改变代码采取的路径，而仅仅改变了它产生的数据时，传统工具往往会失效。同样，软件中的某些复杂对象在打印时不会产生清晰的文本，这使得它们难以用此方法进行分析。研究人员指出，他们的系统目前无法检测代码中不返回数值或不改变变量的部分，例如某些类型的初始化设置函数。然而，对于绝大多数标准的软件函数，通过比较输出分布来提供一个强大的调试新视角是非常有效的。

通过将关注点从代码结构转向数据行为，这项研究为一个老问题提供了全新的视角。它证明了寻找软件漏洞的答案往往不在于观察代码去了哪里，而在于倾听它到达时说了什么。研究结果表明，通过将程序的输出视为丰富的诊断信息来源，工程师可以比以往更快速、更准确地定位错误，且无需承担训练人工智能模型的沉重成本。随着软件系统不断变得复杂，基于实际产生结果来区分正确路径与错误路径的能力，可能会成为保持数字世界平稳运行的重要工具。这项工作证实了，有时，寻找错误最有效的方法就是去留意“应当发生的情况”与“实际发生的情况”之间的差异。

技术摘要：语义谱系：通过方法行为差异进行故障定位

1. 问题陈述

自动化故障定位（Fault Localization, FL）旨在减少识别缺陷代码所需的调试工作量。主流范式——基于谱系的故障定位（Spectrum-Based Fault Localization, SBFL）依赖于结构覆盖谱系，即记录在执行通过测试和失败测试时哪些语句或方法被执行。然而，SBFL 存在一个根本性的局限性：它忽略了代码实际产生的值。

这种对二进制执行轨迹的依赖造成了“信息瓶颈”。当一个缺陷方法和一个正确的方法被同一组测试用例执行时，它们会表现出“覆盖一致性”（coverage tie），从而获得相同的可疑度得分。此外，还会出现“偶然正确性”（coincidental correctness）现象，即通过测试执行了缺陷代码但未暴露失败。对 Defects4J 基准测试集的实证研究表明，54%–56% 的故障方法与至少一个其他方法共享相同的可疑度得分，这阻碍了传统 SBFL 对真实缺陷的优先级排序。尽管深度学习（DL）和大型语言模型（LLM）方法试图引入额外的上下文（如代码历史、语义特征），但许多方法仍高度依赖覆盖数据，需要大量的训练，或者依赖于在工业环境下可能无法获取的资源（如缺陷报告）。

核心问题在于：基于结构的排序器无法区分具有相同执行剖面但具有不同运行时行为的程序实体。

2. 方法论：语义谱系故障定位 (SSFL)

作者提出了 SSFL，这是一种方法级的方法，它将诊断视角从结构覆盖转向了输出语义。SSFL 不再询问“这段代码是否被执行？”，而是询问“这段代码产生了什么值？”，并量化通过执行与失败执行之间这些输出的差异。

核心工作流

该框架分为四个连续阶段运行：

候选过滤 (Candidate Filtering)：
利用标准的结构覆盖分析，系统识别出一组至少被一个失败测试执行过的候选方法。从未在失败期间被调用的方法会被排除，以确保计算效率。
语义捕获 (语义运行时监控)：
系统使用 Byteman（一种 Java 字节码插桩代理）来拦截候选方法的运行时输出。
- 对于非 void 方法，捕获返回值。
- 对于 void 方法，捕获可变参数的状态。
- 异常退出被记录为特殊标记（tokens）。
- 原始输出通过固定的分词程序转化为统一的标记序列（例如，将布尔值映射为 T/F，将数值归一化为带有正负号/量级标记的有效数字，并将字符串按符号逐个分解）。
语义谱系构建 (Semantic Spectrum Construction)：
分词后的输出被聚合为每个方法的频率矩阵：
- 通过语义谱系 ( $M^p$ )： 聚合来自通过测试的标记频率。
- 失败语义谱系 ( $M^f$ )： 聚合来自失败测试的标记频率。
  矩阵的行代表输出标记，列代表在单个测试中出现的频率 ( $j$ )。单元格 $M_{\tau, j}$ 记录了观察到标记 $\tau$ 恰好 $j$ 次的测试次数。
差异量化与排序 (Divergence Quantification and Ranking)：
系统通过使用两种互补的指标来衡量 $M^p$ 和 $M^f$ 之间的差异，从而计算可疑度得分：
- 双向归一化欧几里得距离 ($Suspnorm$)： 测量两个矩阵之间的原始分布差异。
- 加权频率差异 ( $\Delta W_{freq}$ )： 捕捉标记级加权频率的变化。该指标为数值输出的符号标记（如 $\oplus$ , $\ominus$ ）分配更高的权重，因为符号的变化比数字的变化更能指示故障。
自适应组合策略：
为了解决其中一个指标饱和的问题（例如，不相交的分布导致 $Suspnorm \approx 1.0$ ），SSFL 采用了输出剖面感知策略：
- 对于输出剖面较简单的项目（Chart, Time），它使用谱系差异得分 ( $SDW = Suspnorm \times \Delta W_{freq}$ )。
- 对于具有复杂标记模式的项目（Lang, Math, Closure），它使用 CombMAX 融合规则，即取归一化谱系差异得分与覆盖异常得分 ( $SF P = Suspnorm \times \frac{F}{P+1}$ ) 的最大值。

3. 核心贡献

视角转变： 本文提出将故障定位从结构覆盖转向输出语义，有效地解决了覆盖一致性和不可区分性问题。
基于频率的语义谱系： 它将单次测试的输出行为形式化为标记-频率映射，并将其聚合为双语义谱系矩阵（ $M^p$ 和 $M^f$ ），从而保留了跨测试执行的输出标记频率。
行为差异指标： 引入了一种数学模型，结合了双向归一化欧几里得距离和加权频率差异，以量化语义差异。
无需训练的高效性： 与基于 DL 或 LLM 的方法不同，SSFL 不需要模型训练，不需要缺陷报告，也不需要在线 LLM 推理。它基于运行时证据进行确定性操作。

4. 实验结果

作者在五个 Defects4J 项目（Chart, Closure, Lang, Math, Time）的 357 个真实故障上评估了 SSFL。

与 SBFL 的比较： SSFL 显著优于传统的 SBFL 公式（Ochiai, DStar, GP13）。它实现的平均首次排名 (MFR) 比表现最好的传统基准低 60%–90%。例如，在 Closure 项目上，MFR 从 71.63 (DStar) 降至 6.88。
与基于学习和基于 LLM 的方法比较：
- 与基于学习的技术（DeepFL, Grace, HetFL）相比，SSFL 在 Top-1 (172)、Top-3 (242) 和 Top-5 (262) 定位计数上均取得了最高值。
- 与基于 LLM 的方法 FlexFL 相比，尽管 FlexFL 利用了缺陷报告和 LLM 推理，但 SSFL 在 Top-1 上多定位了 8 个 缺陷，在 Top-3 上多定位了 28 个，在 Top-5 上多定位了 26 个。
- SSFL 的总体 MFR 为 4.25，而表现最好的学习型基准（HetFL）为 7.85。
运行时开销： SSFL 特有的开销（插桩、谱系构建和评分）在调试过程中每个版本大约增加约 7 秒，根据项目规模的不同，相比传统 SBFL 增加了 24%–84%。作者指出，主要的瓶颈是用于存储追踪文件的存储空间，而非计算时间。

5. 重要性与主张

本文声称，运行时输出值分布提供了与结构覆盖和源代码推理互补的诊断证据。

解决一致性问题： SSFL 通过检测结构谱系无法捕捉到的输出分布中的行为差异，成功打破了“覆盖一致性”。
无需训练的鲁棒性： 该方法证明，无需承担深度学习模型的计算成本和数据需求，也无需 LLM 的非确定性，即可实现高精度的故障定位。
正交信号： 作者将 SSFL 定位为一个正交的诊断信号。他们认为，虽然 LLM 擅长代码理解和结构分析，但 SSFL 捕获了实际的数据流和值分布，这使其成为集成到混合框架（例如，作为 FlexFL 的输入）中以增强整体定位准确性的有力候选方案。

作者承认了局限性，包括目前无法对构造函数进行插桩、处理缺乏有意义 toString() 输出的复杂不透明对象（如 AST 节点）时的挑战，以及追踪文件的存储开销。然而，他们总结道，语义谱系提供了一个独特且有效的故障定位维度，而这一维度目前尚未得到充分利用。