💻 computer science

MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases

本文提出了 MR-Scout 工具，通过从开源项目的现有测试用例中自动发现并合成高质量的元变换关系（MRs），有效解决了元变换测试中 MR 设计困难的问题，并显著提升了测试覆盖率与变异得分。

原作者： Congying Xu, Valerio Terragni, Hengcheng Zhu, Jiarong Wu, Shing-Chi Cheung

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Congying Xu, Valerio Terragni, Hengcheng Zhu, Jiarong Wu, Shing-Chi Cheung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MR-Scout 的自动化工具，它的核心任务是从程序员已经写好的测试代码中，“挖掘”出隐藏的测试规则，并把这些规则变成可以自动生成新测试的“魔法公式”。

为了让你更容易理解，我们可以用"侦探破案"和"食谱传承"的比喻来解释。

1. 背景：测试的“预言家”难题

在软件世界里，程序员写代码后需要测试它有没有 Bug。

传统测试：就像你给机器一个输入（比如算 $2+2$ ），然后你需要知道正确答案（$4$）来检查机器对不对。这叫做“预言家问题”（Oracle Problem）——有时候，我们根本不知道正确答案是什么（比如预测明天的天气，或者计算复杂的图形渲染）。
变形测试（Metamorphic Testing, MT）：这是一种聪明的办法。既然不知道正确答案，我们就看输入和输出之间的关系是否合理。
- 比喻：假设你在做面包。你不知道面包烤出来具体多重（因为不知道面粉湿度），但你知道一个规则：“如果我把面团加倍，烤出来的面包重量也应该加倍。” 这就是一个“变形关系”（MR）。只要输入变了，输出按规律变，程序就是对的。

痛点：设计这种“关系规则”非常难，需要专家级的领域知识。这导致很多程序员不敢用这种高级测试方法。

2. 核心发现：程序员其实已经“藏”了答案

作者们观察到一个有趣的现象：程序员在写普通测试代码时，其实已经悄悄把这种“关系规则”写进去了，只是没明说。

比喻：想象一位老厨师（程序员）写了一本食谱（测试代码）。他写：“把面团 A 做成面包，把面团 B（A 的加倍版）也做成面包，然后检查 B 的重量是不是 A 的两倍。”
虽然老厨师没在标题里写“这是变形规则”，但他实际上已经演示了规则。
MR-Scout 的任务：就是派一个“侦探机器人”去阅读这些食谱，把老厨师隐含的规则（MR）提取出来，整理成通用的公式。

3. MR-Scout 是如何工作的？（三步走）

MR-Scout 的工作流程就像是一个**“发现 - 提炼 - 筛选”**的过程：

第一步：发现“藏宝图” (MTC Discovery)

动作：MR-Scout 扫描开源软件（OSS）里的成千上万个测试文件。
逻辑：它寻找那些符合特定模式的测试代码。比如，它寻找这样的代码：“先调用一次函数（输入 A），再调用一次函数（输入 B），最后断言（检查）A 和 B 的输出满足某种关系（比如 B > A）”。
比喻：就像侦探在图书馆里找书，专门找那些写着“先做动作 X，再做动作 Y，最后检查 Z 是否等于 X 的两倍”的段落。一旦找到，就标记为“藏宝图”（MR 编码测试用例）。
成果：他们从 701 个开源项目中，挖出了 11,000 多张 这样的“藏宝图”。

第二步：提炼“魔法公式” (MR Synthesis)

动作：把找到的具体代码（比如“把 'wow' 变粗体”）变成通用的参数化方法。
逻辑：原来的代码是死的（只测试 "wow"），MR-Scout 把它变成活的（测试任何文字）。
比喻：老厨师的食谱是“把 'wow' 变粗体，宽度会变”。MR-Scout 把它改写成：“把任意文字变粗体，宽度都会增加”。这就变成了一个通用的魔法公式（编码后的 MR）。
成果：生成了可以自动接受新输入（比如 "hello", "test"）并自动检查规则的测试程序。

第三步：筛选“真金” (MR Filtering)

动作：不是所有挖出来的规则都是对的。有些规则太死板，换个输入就报错（假警报）。MR-Scout 会用自动化工具（EvoSuite）生成大量新数据来“考试”这些规则。
逻辑：如果一个规则在 95% 的新数据上都能通过，它就是高质量的；如果经常报错，就扔掉。
比喻：就像你提炼出了“变粗体宽度增加”的公式，但你去测试“空字符串”或者“特殊符号”时，发现规则失效了。MR-Scout 会把这种“不靠谱”的公式剔除，只留下97% 以上真正好用的“真金”。

4. 效果如何？（为什么这很酷？）

作者们做了大量实验，结果非常惊人：

挖掘精准：MR-Scout 找到的规则，97% 都是真的有效规则（没有误报）。
质量极高：经过筛选后的“魔法公式”，97% 都能完美适应新的测试数据。
提升显著：
- 如果把这些新规则加到现有的测试中，代码覆盖率（Line Coverage）提升了 13.52%。
- 发现 Bug 的能力（变异得分）提升了 9.42%。
- 比喻：这就像给原本只有 100 个探员的侦探队，突然增加了 13% 的探员，而且这些新探员还特别擅长发现那些老探员漏掉的隐蔽角落。
人类能看懂：研究人员让 5 位专家看这些生成的规则，发现 55% 到 76% 的规则是人类很容易理解的。这意味着程序员可以直接拿来用，或者迁移到其他类似的项目中。

5. 总结

MR-Scout 就像是一个**“测试代码的炼金术士”**。

它不需要你重新发明轮子（不需要专家手动设计复杂的规则）。
它从程序员已经写好的、看似普通的测试代码中，自动提炼出通用的测试智慧。
它把这些智慧变成自动化工具，帮助软件发现更多 Bug，让软件更健壮。

这项研究最大的意义在于：它把“专家级”的测试能力，从少数人的头脑中，解放出来，变成了可以自动从海量代码中批量生产的“工业标准品”。 这让原本高深莫测的“变形测试”变得触手可及，大大降低了软件质量保障的门槛。

1. 研究背景与问题 (Problem)

核心痛点：测试预言机问题 (Oracle Problem)
在自动化测试中，生成测试输入相对容易，但确定预期的输出（即测试预言机）往往非常困难，尤其是在缺乏规范或输出难以验证的场景下。

现有方案及其局限：

蜕变测试 (Metamorphic Testing, MT) 通过定义“蜕变关系”（Metamorphic Relations, MRs）来解决预言机问题。MR 定义了多个相关输入及其对应输出之间的逻辑关系（例如：如果输入 $x$ 变为 $x'$ ，则输出 $f(x)$ 和 $f(x')$ 应满足某种关系）。
局限性： 设计 MR 需要深厚的领域知识，且高度依赖测试人员的经验。这导致 MT 的广泛应用受到阻碍。
现有自动推断方法： 虽然已有基于机器学习、搜索或遗传编程的方法尝试自动推断 MR，但它们通常局限于特定领域（如数值程序）或特定类型的关系（如等价关系），难以泛化到通用的面向对象程序。

观察与机会：
作者观察到，开发者编写的现有单元测试用例中往往隐式地编码了领域知识和 MR。例如，一个测试用例可能断言“加粗后的文本宽度应大于等于普通文本宽度”，这实际上就是一个 MR。然而，这些 MR 是隐式的，没有显式标记，且难以从现有代码中自动提取并转化为可复用的参数化方法。

研究目标：
如何自动从现有的开源软件（OSS）测试用例中发现并合成蜕变关系（MRs），将其转化为可参数化的方法（Codified MRs），以支持自动化测试用例生成？

2. 方法论：MR-Scout (Methodology)

MR-Scout 是一个自动化工具，旨在从现有的测试用例中挖掘 MR。其核心洞察是：MR 编码的测试用例（MTCs）在语义上具有可被机械识别的特性。

MR-Scout 的工作流程分为三个阶段：

阶段 1：MTC 发现 (MTC Discovery)

MR-Scout 通过静态分析源代码，根据两个主要属性筛选出可能包含 MR 的测试用例（MTCs）：

方法调用 (P1 - Method Invocations)： 测试用例中必须包含对同一个类的至少两次方法调用，且每次调用对应不同的输入。这确保了存在源输入（Source Input）和后续输入（Follow-up Input）。
关系断言 (P2 - Relation Assertion)： 测试用例中必须包含至少一个断言，用于验证上述方法调用的输入/输出之间的关系。
- 系统定义了两种断言模式来识别关系：
  - BoolAssert： 使用布尔运算符（如 <=, ==）或用户定义的布尔方法连接两个元素（输入或输出）。
  - CompAssert： 使用比较断言（如 assertEquals），其中两个参数分别对应关系中的两个元素。
- 系统排除了简单的逻辑组合（如 && 连接的独立断言），以避免误报。

阶段 2：MR 合成 (MR Synthesis)

对于发现的 MTC，MR-Scout 将其中的 MR 编码转化为参数化方法（Codified MRs）：

推导成分： 识别源输入、后续输入、输入变换（Input Transformation，即如何从源输入生成后续输入）、源输出、后续输出以及输出关系断言。
- 注：本研究专注于那些包含显式输入变换（即后续输入由源输入/输出变换而来）的 MR 实例。
代码化 (Codification)：
- 将硬编码的源输入转换为方法的参数。
- 移除与特定输入值绑定的无关断言（防止新输入产生误报）。
- 保留输入变换逻辑、执行逻辑和输出关系断言。
- 最终生成一个可执行的 Java 方法，该方法接收任意源输入，自动构造后续输入，执行并验证 MR。

阶段 3：MR 过滤 (MR Filtering)

为了去除低质量或不适用的 MR，MR-Scout 使用 EvoSuite 生成新的测试输入来验证合成后的 Codified MRs：

标准： 如果一个 Codified MR 在至少 95% 的有效输入上都能通过（不抛出异常且断言通过），则被视为高质量 MR。
有效性判断： 输入被视为有效，如果它在执行过程中没有因参数检查（如 IllegalArgumentException）而抛出异常。
过滤掉那些导致大量误报（False Alarms）或无法处理新输入的 MR。

3. 关键贡献 (Key Contributions)

首个自动合成工具： 提出了 MR-Scout，这是第一个能够从现有测试用例中自动发现并合成蜕变关系（MRs）的方法。
大规模数据集： 从 701 个 开源 Java 项目中发现了超过 11,000 个 MR 编码测试用例（MTCs），并发布了该数据集，为 MR 发现、推断和自动化 MT 研究提供了宝贵资源。
全面的实证评估： 通过大量实验评估了 MR-Scout 的精度、合成 MR 的质量、实用性（对测试充分性的提升）以及可理解性。
开源资源： 公开了研究工具和所有实验数据集，支持复现和后续研究。

4. 实验结果 (Results)

研究团队在 701 个开源项目上进行了评估，主要回答了四个研究问题（RQ）：

RQ1 (精度)： MR-Scout 发现的 MTC 是否具备定义属性？
- 结果： 人工抽样检查 164 个样本，97% 为真阳性。这表明 MR-Scout 在发现 MTC 方面具有高精度，数据集可靠。
RQ2 (质量)： 合成的 Codified MRs 在应用于新输入时的质量如何？
- 结果： 经过过滤后，97.18% 的 Codified MRs 被证明是高质量的，能够适用于自动化测试生成。
RQ3 (实用性)： 合成的 MR 能否增强现有测试的充分性？
- 结果： 将基于 Codified MR 的测试用例与开发者编写的测试用例结合：
  - 行覆盖率 (Line Coverage) 提升了 13.52%。
  - 变异得分 (Mutation Score) 提升了 9.42%。
  - 与 EvoSuite 生成的测试相比，变异得分提升了 82.8%。
- 这表明合成的 MR 能有效补充现有测试，发现更多缺陷。
RQ4 (可理解性)： 合成的 MR 是否易于开发者理解？
- 结果： 在针对 52 个样本的定性研究中，55.76% 至 76.92% 的 Codified MRs 被参与者评价为“容易”或“非常容易”理解，表明其具有实际落地的潜力。

5. 意义与影响 (Significance)

降低 MT 门槛： MR-Scout 将 MR 的设计从依赖专家知识转变为自动化过程，使得蜕变测试更容易被广泛采用。
挖掘隐性知识： 成功利用了开发者在编写测试时已隐含的领域知识，将其转化为可复用的测试资产。
提升测试质量： 实验证明，基于合成 MR 的测试用例能显著补充现有的单元测试和自动生成的测试，提高代码覆盖率和缺陷检测能力。
促进测试迁移： 合成的参数化 MR 不仅适用于原始程序，还可以迁移到具有相似功能的其他程序中，辅助测试迁移和维护。
局限性说明： 目前主要处理涉及两个方法调用的 MR，且依赖静态分析（可能受别名、路径敏感性影响）。未来的工作将扩展到更复杂的多方法调用 MR 和更复杂的输入变换场景。

总结：
MR-Scout 通过自动化挖掘现有测试用例中的蜕变关系，成功解决了 MR 设计困难的问题。它不仅生成了高质量的测试预言机，还显著提升了自动化测试的充分性，为软件工程中自动化测试和蜕变测试的融合提供了强有力的工具和数据支持。