🤖 AI

SemLoc: Structured Grounding of Free-Form LLM Reasoning for Fault Localization

SemLoc 提出了一种基于结构化语义锚定的故障定位框架，通过将大语言模型的自由推理转化为可验证的中间表示并构建语义违规谱系，有效解决了现有技术在处理语义缺陷时的局限性，在 SemFault-250 数据集上显著提升了定位准确率并减少了代码检查量。

原作者： Zhaorui Yang, Haichao Zhu, Qian Zhang, Rajiv Gupta, Ashish Kundu

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaorui Yang, Haichao Zhu, Qian Zhang, Rajiv Gupta, Ashish Kundu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SEMLOC 的新工具，它就像是一个**“拥有超级逻辑的侦探助手”**，专门用来帮程序员在代码里找那些最狡猾的 Bug。

为了让你更容易理解，我们可以把“找 Bug"这件事想象成**“在一场复杂的魔术表演中，找出魔术师在哪里偷偷换了牌”**。

1. 以前的方法：只盯着“动作”看（传统技术）

传统的找 Bug 方法（比如 SBFL），就像是一个只会数人数的保安。

它的做法：它会看哪些魔术师（代码行）在“成功”的魔术里出现过，哪些在“失败”的魔术里出现过。如果某个魔术师只在失败的魔术里出现，保安就会说：“肯定是他干的！”
它的局限：但是，现在的 Bug 往往很狡猾。有时候，成功的魔术和失败的魔术，魔术师的动作顺序完全一样，经过的路线也完全一样。唯一的区别是，魔术师心里想的“规则”（比如：牌必须按大小排序）被违反了。
结果：因为动作和路线都一样，那个只会数人数的保安就懵了，它发现所有魔术师都“嫌疑均等”，根本分不清谁才是真凶。

2. 以前的 LLM 方法：只会“瞎猜”的预言家

最近，人们开始用大语言模型（LLM，也就是现在的 AI）来帮忙。

它的做法：AI 会读代码，然后像算命先生一样说：“我觉得第 5 行有问题，因为那里看起来不对劲。”
它的局限：
1. 太随意：AI 每次说的话可能都不一样（今天猜第 5 行，明天猜第 8 行），没法验证。
2. 没证据：它只是“感觉”不对，拿不出实锤证据。
3. 分不清主次：有时候第 5 行错了，导致第 10 行也跟着报错。AI 可能把第 10 行当成罪魁祸首，因为它看起来更明显，但其实它只是“受害者”。

3. SEMLOC 的新招：把“直觉”变成“可执行的证据”

SEMLOC 的核心思想是：不要直接让 AI 猜哪一行错了，而是让 AI 把“正确的规则”写下来，然后让程序自己跑一遍，看看哪条规则被打破了。

我们可以把 SEMLOC 的工作流程想象成**“三步走”的侦探破案**：

第一步：给规则“贴标签”（结构化语义落地）

比喻：AI 不再是直接指认凶手，而是像一位严谨的法官，把程序里应该遵守的“法律条文”（语义规则）一条条写下来，并且精确地给每条法律贴上“案发地点”的标签。
例子：
- 规则 A：输入的数字不能为空。（标签：函数入口处）
- 规则 B：计算出的结果必须在 0 到 1 之间。（标签：返回结果处）
- 规则 C：列表里的每个数字都必须是负数。（标签：第 5 行代码处）
关键点：这些规则不再是模糊的“我觉得”，而是变成了可以自动运行的代码检查器。

第二步：全场“测谎”（语义频谱分析）

比喻：现在，侦探把刚才写好的“法律条文”（规则 A、B、C...）全部发给程序，让程序在“成功的魔术”和“失败的魔术”里都跑一遍。
过程：
- 在成功的魔术里，规则 A、B、C 都遵守了。
- 在失败的魔术里，规则 A、B 遵守了，但规则 C 被打破了！
结果：侦探立刻发现：“哦！只有失败的魔术里，第 5 行对应的规则 C 被打破了。所以，第 5 行就是嫌疑最大的地方！”
优势：即使所有魔术师的动作（代码路径）都一样，只要有一条“法律”被违反了，就能精准定位。

第三步：排除“替罪羊”（反事实验证）

比喻：有时候，第 5 行错了，导致第 10 行也跟着报错。这时候，第 10 行看起来也很像凶手（因为它也违反了规则）。侦探需要做一个**“如果实验”**：
- 假设：如果我把第 10 行修好，魔术会成功吗？
- 实验：AI 试着把第 10 行改好，重新跑一遍。结果发现：魔术还是失败了！说明第 10 行只是“替罪羊”。
- 再假设：如果我把第 5 行改好呢？
- 实验：重新跑一遍。结果：魔术成功了！
结论：侦探最终确认，第 5 行才是真正的罪魁祸首（根因），而第 10 行只是被牵连的。

4. 效果怎么样？

研究人员用了一个包含 250 个真实 Bug 的测试集（就像 250 个不同的魔术表演）来测试 SEMLOC。

传统方法：只能猜中 6% 的案子，而且需要检查近一半的代码。
SEMLOC：
- 猜中率：直接猜中第一名的概率达到了 42.8%（翻了 6 倍多）。
- 精准度：它只需要检查 7.6% 的代码（以前要查一半，现在只要查一小撮）。
- 抗干扰：它能成功区分谁是真凶，谁是替罪羊。

总结

这篇论文的核心贡献就是发明了一套**“翻译器”：
它把 AI 那种“飘忽不定、只可意会”的直觉**，翻译成了**“严谨、可执行、有明确地点”的代码规则**。

这就好比以前我们抓小偷靠“感觉谁眼神不对”，现在 SEMLOC 给每个人发了一个**“行为记录仪”，谁违反了规定，记录仪就亮红灯。而且它还能通过“如果修好这里会怎样”的模拟实验，确保我们抓到的真的是那个始作俑者**，而不是被冤枉的无辜者。

这让找 Bug 从“大海捞针”变成了“精准狙击”。

1. 研究背景与问题 (Problem)

核心痛点：
现有的故障定位（Fault Localization, FL）技术主要依赖语法谱（Syntactic Spectra），即基于代码覆盖率、控制流或依赖关系的执行结构信号（如 SBFL 技术）。然而，这些方法在面对**语义错误（Semantic Bugs）**时表现不佳。

语义错误的特征： 失败和通过的测试用例往往遍历完全相同的代码路径，覆盖率模式几乎一致。唯一的区别在于程序是否满足了特定的语义意图（如数值不变量、关系约束、领域假设等）。
现有 LLM 方法的局限： 虽然大语言模型（LLM）具备语义推理能力，但现有的基于 LLM 的定位方法通常直接生成非结构化的自然语言猜测或粗粒度的可疑位置。这些输出具有随机性（Stochastic），无法在多个测试用例间进行系统性交叉验证，也无法区分根本原因（Root Cause）与级联的下游症状。

目标：
构建一个能够将 LLM 的自由形式语义推理转化为可执行、可验证、且与具体代码结构绑定的故障定位框架，以解决语义错误定位难的问题。

2. 方法论 (Methodology)

论文提出了 SEMLOC 框架，其核心思想是将 LLM 推断的语义意图转化为结构化的中间表示（Intermediate Representation），并通过运行时验证来定位故障。整个流程分为四个阶段：

2.1 结构化语义锚定 (Structured Semantic Grounding)

输入： 待测程序、测试用例（通过/失败）、LLM 推断的语义约束。
中间表示 (cbfl-ir)： SEMLOC 定义了一种封闭的中间表示格式，将每个推断的属性绑定到具体的**类型化程序锚点（Typed Program Anchor）**上。
- 约束类别 ( $\kappa$ )： 包括前置条件、后置条件、数值范围、关系约束等 9 类。
- 锚点 ( $\alpha$ )： 基于 Tree-sitter 解析和轻量级 SSA（静态单赋值）变换提取。锚点包括函数入口/出口、循环头/尾、变量定义点（After Def）和使用点（Before Use）。
- 规范 ( $\phi$ )： 使用 SSA 版本化的变量名编写的布尔表达式，确保无歧义。
LLM 提示工程： LLM 被要求输出符合特定 JSON Schema 的约束，强制其使用 SSA 变量名和预定义的锚点类型，从而将自由推理转化为结构化数据。

2.2 语义谱分析 (Semantic Spectrum Analysis)

插桩与执行： 系统对程序进行插桩，在定义的锚点处插入检查逻辑，并在所有测试用例（通过和失败）上运行。
语义违规谱矩阵： 构建一个“约束 - 测试”违规矩阵 $V$ 。如果约束 $C_j$ 在测试 $t_i$ 中违反，则 $V_{ij}=1$ 。
可疑度评分： 借鉴 SBFL 的 Ochiai 系数，根据约束在失败测试中违反而在通过测试中满足的程度来计算每个约束的可疑度分数 $\sigma(C_j)$ 。
分数传播： 将约束的分数传播到其对应的代码语句（如定义赋值、调用点等），生成语句级的可疑度排名。

2.3 反事实验证 (Counterfactual Verification)

为了解决“过度近似”（在通过和失败测试中均违反）和“级联效应”（上游错误导致下游约束违反）的问题，SEMLOC 引入反事实验证：

过度近似检测： 直接剔除在任何通过测试中均违反的约束。
补丁生成与验证： 对于高可疑度约束，LLM 生成一个最小化的局部代码补丁（Counterfactual Patch）以修复该约束。
因果分类： 重新运行测试：
- Primary (根本原因)： 补丁使所有失败测试通过。
- Secondary (级联)： 补丁减少了失败但未完全消除。
- Irrelevant (无关)： 补丁无影响。
剪枝： 仅保留由 Primary 约束关联的语句，剔除冗余和级联噪声。

3. 主要贡献 (Key Contributions)

结构化语义锚定框架： 提出了一种将 LLM 推理转化为可执行、锚定且可运行时检查的定位证据的机制。通过封闭的中间表示（cbfl-ir）和 SSA 版本化变量，消除了 LLM 输出的模糊性。
SEMLOC 系统实现： 构建了一个完整的故障定位系统，包含基于 Tree-sitter 的 SSA 转换、LLM 驱动的约束推断、以及集成 pytest 的语义违规收集器。
语义谱与反事实验证的结合： 首次将语义约束的跨测试违规模式（Semantic Spectrum）与因果验证（Counterfactual Verification）结合，有效区分了根本原因和下游症状。
基准测试与实证评估： 构建了 SemFault-250 基准（250 个包含单一语义错误的 Python 程序），并证明了该方法在定位精度和减少检查范围上的显著优势。

4. 实验结果 (Results)

在 SemFault-250 基准上的评估结果如下：

定位精度 (Accuracy)：
- Top-1 (Top-1 准确率)： SEMLOC 达到 42.8%，远超基于覆盖率的 SBFL-Ochiai (6.4%) 和 Delta Debugging (0.0%)。
- Top-3 (Top-3 准确率)： 达到 68.0%。
- 消融实验：
  - 去除语义索引（SEMLOC †）：Top-3 降至 44.0%，说明单纯依靠 LLM 猜测无法在首次猜测错误后提供有效修正。
  - 去除反事实验证（SEMLOC +）：Top-1 从 42.8% 降至 30.8%，证明因果验证对提升精度至关重要（提升 12 个百分点）。
检查范围 (Inspection Effort)：
- SEMLOC 仅标记了 7.6% 的可执行代码行作为可疑，相比 SBFL 的 43.6% 减少了 5.7 倍。
- 故障语句的中位排名从 SBFL 的 8 降至 2。
真实仓库适用性 (RQ3)：
- 在 BUGSINPY 的 youtube-dl 子集（7 个真实 Bug）上，SEMLOC 实现了 57.1% 的 Top-1 准确率和 100% 的 Top-5 准确率，平均仅标记 11.9% 的代码行。
鲁棒性： 在不同 LLM 模型（Claude Sonnet 4.6, Gemini 2.5 Pro）和温度设置下，性能表现稳定，证明结构化锚定机制有效降低了 LLM 的随机性影响。

5. 意义与影响 (Significance)

范式转变： 将故障定位从“基于执行结构的信号”转变为“基于语义意图的违规信号”。这解决了当控制流和覆盖率无法区分故障时的定位难题。
LLM 的可信化利用： 提出了一种将 LLM 的“模糊推理”转化为“可验证证据”的方法论。通过结构化中间表示和运行时验证，使 LLM 的输出变得可审计、可交叉验证，不再仅仅是黑盒猜测。
因果推理的引入： 通过反事实验证区分根本原因和级联效应，解决了传统语义分析中常见的“过度报警”问题，提供了更清晰的故障诊断。
工程价值： 显著减少了开发者的调试时间（将检查范围缩小至 7.6%），为自动化调试工具在复杂语义错误场景下的应用提供了可行的技术路径。

总结： SEMLOC 通过结合 LLM 的语义理解能力与程序分析的严谨性，成功构建了一个能够处理语义错误、具备高可解释性和高定位精度的新型故障定位框架。