TOMAgent: Budget-Aware Test Opportunity Modeling for Reliability-Oriented Multi-Agent Unit Test Generation
本文介绍了 TOMAgent，这是一个具备预算意识的多智能体框架，它通过将目标选择建模为边际效用问题来优化单元测试生成，在 Defects4J 基准测试上实现了 40% 的缺陷检测成功率——显著优于均匀采样和覆盖率引导的基准方法——同时保持了具有竞争力的变异得分和 Token 效率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在软件的世界里，代码是驱动从银行应用到医疗设备等一切事物的隐形引擎。为了确保这些代码能够正确运行，开发人员会编写“单元测试”，这是一种小型自动化脚本，用于检查特定代码段的行为是否符合预期。几十年来，计算机一直被用于自动生成这些测试，但它们往往难以发现导致现实世界故障的深层、隐藏错误。最近，一种被称为大语言模型的新型人工智能出现了，它能够阅读代码并编写这些测试，其理解程度近乎人类。然而，这些模型运行起来非常昂贵；每当它们生成一个测试时，都会消耗计算能力和时间，即所谓的“预算”。研究人员面临的核心挑战不仅是如何生成一个测试，而是如何决定下一个值得投入这笔昂贵的生成精力的代码片段。如果预算被浪费在错误的靶点上，系统可能会产生许多通过了测试却什么也没发现的测试，同时错失了真正重要的关键缺陷。
北京航空航天大学的一位研究人员提出了一种名为 TOMAgent 的新方法来解决这个分配问题。该系统并非通过猜测或将预算平均分配给所有可能的代码，而是开发了一个像战略规划师一样的系统。该系统在编写任何测试之前都会评估每一个潜在目标，并询问一个具体的问题：“如果我们在这里投入有限的资源，软件的可靠性会提高多少？”他们将这一概念称为“测试机会建模”（test opportunity modeling）。这是一种衡量测试潜在价值的方法，不仅看是否存在漏洞的可能性，还要看发现该漏洞的难易程度以及发现它的成本。该系统考虑了许多因素，例如代码的复杂程度、过去变更的频率以及对微小变化的敏感度。然后，它利用这些信息来决定先测试哪段代码、使用哪种策略以及何时停止。
研究人员将这一想法与另外两种常见的决策方式进行了对比测试。第一种方法被称为“均匀分配”（uniform allocation），它只是将预算平等地分配给所有目标，忽略了它们的差异。第二种方法是“覆盖率引导”（coverage guidance），它只关注尚未被测试的代码部分，假设未测试的代码是最重要的。研究人员在来自标准现实世界漏洞集的五个已知软件故障上运行了实验。他们给予每种方法相同总量的计算资源。结果显示出明显的效能差异。新的 TOMAgent 系统在尝试中成功找到了 40% 的真实故障，这比均匀分配法高出一倍，比覆盖率引导法高出三倍。更重要的是，在其他方法仅发现了五个不同故障中的两个时，TOMAgent 发现了其中的四个。
尽管发现的真实错误更多，但新系统并没有浪费资源。它在单位计算成本下产生的有效测试数量与其他方法相当，这证明了这种提升源于更智能的选择，而非仅仅通过增加投入。该系统在“变异测试”（mutation testing，一种检查测试是否足够强大以捕捉微小人工修改的标准方法）中也保持了高分。这表明新方法在寻找特定漏洞时并未牺牲通用的测试质量。研究人员指出，虽然结果很有前景，但该研究受限于较小的故障集和特定的试验次数。他们将发现描述为受控的初步证据而非最终解决方案，承认在宣布该方法具有普遍优越性之前，还需要针对不同类型的软件进行更多测试。
该系统的核心是一个多智能体框架（multi-agent framework），这意味着它使用不同的专业角色来处理工作的不同部分。其中一部分分析代码以构建风险和机会的剖面；另一部分充当规划者，根据该剖面决定是寻找边界错误、异常处理还是状态变化；第三部分实际生成测试代码；最后一部分则审查结果，以确保其有效且不是之前工作的重复。整个循环由具备预算意识的机会模型引导，该模型会根据从先前测试中学习到的结果不断更新其评估。如果某种类型的代码被证明难以测试或效率低下，系统会学会停止在该处投入资源。如果一个目标显示出潜力，系统则会投入更多精力。这种动态调整使系统能够在探索新的、不确定的领域与利用已知的、高价值的目标之间进行权衡。
这项研究强调了自动化测试方法的转变。长期以来，重点一直是生成尽可能多的测试或覆盖尽可能多的代码。这项新工作表明，在生成开始之前的决策质量与生成过程本身同样重要。通过将预算视为稀缺资源，并对每个潜在测试的预期投资回报进行建模，研究人员能够显著提高发现真实故障的能力，而无需增加成本。这些发现为提高软件可靠性提供了一条切实可行的路径，表明一点点聪明的规划就能在寻找最重要的错误方面发挥巨大作用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。