🤖 machine learning

SmartOracle -- An Agentic Approach to Mitigate Noise in Differential Oracles

SmartOracle 引入了一种利用专门的大型语言模型子智能体来自动化并增强 JavaScript 模糊测试中差异化预言机（differential oracles）准确性的智能体框架，在显著降低人工成本、费用和误报率的同时，成功识别了主流引擎中此前未知的规范级缺陷。

原作者： Srinath Srinivasan, Tim Menzies, Marcelo D'Amorim

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Srinath Srinivasan, Tim Menzies, Marcelo D'Amorim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题的核心：计算机错误中的“大海捞针”

想象一下，你正在测试三个不同品牌的咖啡机（我们称之为品牌 A、品牌 B 和品牌 C），以观察它们的冲煮方式是否一致。你向这三台机器倒入完全相同的热水和咖啡豆。

目标： 你想找出一个“漏洞（bug）”，即某台机器冲出的咖啡味道与其他两台不同。
现实情况： 大多数情况下，这些机器的味道确实会有细微差别。也许品牌 A 的咖啡稍微热一点，或者品牌 B 的杯量稍微大一点。这些是良性差异（benign differences）（即噪声）。它们并没有坏，只是工作方式不同。
噩梦： 如果你运行这项测试 10,000 次，你会得到 10,000 个“差异”。人类专家必须查看每一个差异，以决定：“这是一台坏掉的机器（漏洞），还是仅仅是正常的变动？”

这就是软件领域（特别是像 Chrome、Safari 和 Firefox 这样的 JavaScript 引擎）中**差异化模糊测试（Differential Fuzzing）**所面临的问题。计算机发现了数百万个差异，但其中 99% 都是无害的。人类专家会被这些“噪声”淹没，从而错过真正的漏洞。

解决方案：迎来“SmartOracle”

作者创建了 SmartOracle，它就像是雇佣了一支专业的 AI 侦探团队，而不是要求一名全才去完成所有的工作。

SmartOracle 并没有让一个庞大且缓慢的 AI 去阅读整份报告，而是将工作分解给了一个由 智能体（Agent） 组成的团队，每个智能体都有特定的角色：

差异查找者（The Discrepancy Finder）： 这个智能体观察两个不同的输出结果，并指出：“好吧，品牌 A 说‘Hello’，而品牌 B 说‘Hi’。这里就是它们产生差异的具体位置。”
规范检查者（The Specification Checker）： 这个智能体是“规则手册专家”。它会查阅官方手册（JavaScript 规范），并询问：“规则手册是否规定它们必须说同样的话？”
评论家（The Critic）： 这个智能体是“反方辩友”。它观察另外两个智能体的成果，并指出：“等等，规则手册实际上允许品牌 B 在这种特定情况下说‘Hi’。这不是漏洞，这是一个误报。”
编排者（The Orchestrator）： 这是团队领导，负责汇总所有线索，并做出最终裁决：报告（REPORT）（这是一个真实的漏洞）或 跳过（SKIP）（这只是噪声）。

他们是如何测试它的

研究人员针对两类对象测试了这个 AI 智能体团队：

历史漏洞： 他们将已知的历史漏洞输入系统，以观察 AI 是否能找到这些漏洞。
新式模糊测试： 他们让系统对当前主流浏览器（如 Chrome、Safari 等）的最新版本进行实时测试，看它能否发现人类尚未发现的新漏洞。

结果：更快、更便宜、更聪明

论文声称 SmartOracle 相比传统方法有了巨大的提升：

更高的准确度： 它捕捉到了 84% 的真实漏洞（召回率），同时仅将 18% 的无害差异标记为漏洞（误报率）。
速度更快： 它分析问题的速度比试图一次性处理所有问题的单个大型 AI 模型快了 4 倍。
成本更低： 运行成本降低了 10 倍。
- 类比： 想想这就像是雇佣一支由三名初级机械师组成的团队（他们速度快且便宜），每人专门负责汽车的一个部件；相比之下，雇佣一名超级昂贵的资深高级技师试图独自修理所有东西，效率较低。这个团队能更快、更省钱地完成任务。
真实的发现： 在实时测试中，SmartOracle 在主流浏览器中发现了 8 个 以前无人知晓的新漏洞。其中一个是 GraalJS 中严重的解析漏洞，开发者在发现后立即进行了修复。

“秘诀”：半监督标注

论文还提到了一种巧妙的技巧，使他们无需人工手动标注每一个错误即可训练和测试系统。

类比： 想象你有一大堆混杂在一起的邮件（有些是账单，有些是垃圾邮件，有些是情书）。你没有时间去阅读每一封信。
技巧： 你根据信封的颜色对邮件进行分组（退出码/Exit Codes）。你假设所有红信封都是账单。你只需阅读一封红信封来确认它是账单，然后你就自动将其他红信封也标记为“账单”，而无需阅读它们。
结果： 这种“半监督”方法使他们能够非常快速且准确地构建大规模测试数据集，证明了你不需要阅读每一封邮件就能知道它的类型。

总结

SmartOracle 是一种全新的软件测试方式。它不再让专家淹没在“疑似漏洞”的海洋中，而是利用一支由专业 AI 智能体组成的团队来阅读规则、检查证据并过滤噪声。它比以往的方法更快、更便宜，而且更擅长发现真正的漏洞。它已经成功地在驱动互联网运行的软件中找到了新的问题。

技术摘要：SmartOracle —— 一种用于缓解差异化测试正交器（Differential Oracles）噪声的智能体方法

1. 问题陈述

差异化模糊测试（Differential Fuzzing）是一种强大的技术，通过在多个实现之间执行相同的输入来发现软件系统（如 JavaScript 解释器）中的漏洞。然而，这种方法面临着两个阻碍其扩展性的根本挑战：

噪声（假阳性）： 大多数输出差异是良性的，源于未指定的行为、不同的优化路径或不断演进的规范。如果没有有效的过滤，差异化模糊测试会产生大量的非行动项差异，从而淹没真实的漏洞。
人工排查成本： 将真实的漏洞与良性差异区分开来目前仍需要专家的手动干预。这一过程既昂贵又耗时，且容易出错。此外，随着规范的演进，基于规则的正交器需要不断的、劳动密集型的维护才能保持有效。

现有的自动化解决方案（如 AccuOracle、FuzzJIT）通常依赖于静态的、硬编码的规则，或者针对特定的子系统进行定制，缺乏在没有脆弱启发式算法的情况下对规范违规进行推理的灵活性。

2. 方法论：SmartOracle 框架

作者提出了 SmartOracle，这是一个自主的智能体系统，旨在自动化处理差异化模糊测试发现的排查工作。与单体大语言模型（LLM）提示词不同，SmartOracle 将排查工作流分解为专门的子智能体，通过协作来合成证据。

2.1 智能体架构

该系统利用一个中央**编排器（Orchestrator）**来协调五个专门的子智能体和三个集成的工具：

差异查找器（Discrepancy Finder）： 分析引擎输出之间的行为分歧，总结关键特征，并提出潜在根因。
规范检查器（Specification Checker）： 查询缓存的 ECMAScript 规范（ECMA-262）以建立事实依据并验证合规性。
推理置信度检查器（Reasoning Confidence Checker）： 根据证据强度为决策分配定量的置信度分数。
重复项检查器（Duplicate Checker）： 使用 top-k 相似性工具验证发现项是否与之前报告的问题匹配，以防止重复报告。
假阳性批判者（False Positive Critic）： 批判推理过程，以识别逻辑陷阱和常见的不可报告模式（例如规范允许的未定义行为）。

集成工具：

终端（Terminal）： 在配置好的引擎（V8、SpiderMonkey、JSC、GraalJS）上执行 JavaScript 代码片段，以验证动态行为。
规范（Specification）： 允许智能体查询语言标准。
Top-k 相似（Top-k Similar）： 检索相似的历史问题以辅助重复检测。

2.2 评估方法：半监督标签传播

为了解决基准测试中标注数据稀缺的问题，作者引入了一种半监督标注策略：

聚类： 首先根据退出代码元组对发现项进行分组，然后使用基于 TF-IDF 编码文本日志的 K-means 聚类进行精细化处理。
中心点传播（Medoid Propagation）： 对于每个簇，手动标注“中心点”（距离质心最近的实例）。该标签随后被传播到簇中的所有其他发现项。
效率： 这种方法使得能够以极少的人工标注工作量创建大规模的事实依据数据集。

3. 核心贡献

智能体架构： 引入了 SmartOracle，这是一个利用专门化智能体（查找器、检查器、批判者等）来自动化 JavaScript 差异化模糊测试根因分析的新颖框架。
评估方法： 一种使用 K-means 聚类的半监督标注策略，用于高效建立大规模错误日志的事实依据，从而减少了标注瓶板。
实证验证： 全面的评估证明了智能体方法在准确性、速度和成本方面均优于顺序 LLM 提示词。

4. 实验结果

该系统在历史漏洞数据集（Park 等人、Lima 等人）以及来自活跃模糊测试任务的 710 个经过人工标注的发现项数据集上进行了评估。

4.1 有效性 (RQ1)

召回率： SmartOracle 在 Park 等人的数据集上实现了 0.84 的召回率（识别出 37/44 个漏洞），并在其他数据集上实现了约 0.73–0.75 的召回率。
假阳性率： 该系统实现了 18% 的假阳性率，成功抑制了大部分不可行动的发现项。

4.2 新颖性 (RQ2)

在针对主流引擎（V8、JSC、GraalJS）最新版本的实际部署中，SmartOracle 发现了 8 个此前未知的规范级漏洞。其中四个已被开发者确认，包括一个在 GraalJS 中的解析漏洞，该漏洞随后已在 upstream 被修复。

4.3 机制与效率 (RQ3)

将使用专门化子智能体配合 Gemini 2.5 Flash 的 SmartOracle 与使用单个 Gemini 2.5 Pro 配合思维链（Chain-of-Thought）的顺序基准进行比较，结果显示：

准确性： SmartOracle 实现了更高的召回率（0.84 对比 0.68）。
速度： 分析时间减少了 4 倍（每例 20 秒对比 91 秒）。
成本： API 成本降低了 10 倍（每例 $0.003 对比$ 0.04）。
标签传播： 仅使用退出代码进行半监督标注时，二进制漏洞检测的准确率达到了 98.7%。对于细粒度的根因分析，K-means 精炼将传播准确率从 77.34% 提升到了 89.15%（提高了 11.81 个百分点）。

5. 意义与主张

本文声称 SmartOracle 证明了智能体架构在处理复杂软件工程任务时优于单体 LLM 提示词。核心结论包括：

架构胜过规模： 相比于大型单体模型（Pro），使用小型高效模型（Flash）进行的专门化编排在准确性和资源效率方面表现更佳。性能的提升归功于条件执行路径和动态工具选择，而非单纯的模型参数量。
可扩展性： 通过自动化语义分析和噪声抑制，SmartOracle 使大规模差异化模糊测试活动在有限的专家关注下变得可行。
泛化性： 虽然在 JavaScript 上得到了验证，但作者认为这种智能体方法和半监督评估框架也可应用于其他复杂的软件系统（如数据库引擎、编译器），尽管这仍是未来的研究方向。
工具的重要性： 对推理轨迹的分析表明，工具接口（终端、规范查询）的质量比智能体的数量对成功的贡献更大，这表明丰富的领域特定工具是提升智能体性能的关键杠杆。

作者保持了审慎的态度，承认了有效性威胁，例如对 JavaScript 的领域特定性、正交器事实依据的主观性，以及闭源 LLM 的随机性。他们强调，虽然该系统显著减少了人工工作量，但并不能完全消除对人工审查的需求，特别是在处理边缘情况和规范歧义时。