TESTNAV: Pareto-Guided Search for Compositional Robustness Testing
TESTNAV 是一个基于帕累托引导的框架，它通过将问题建模为最大化性能退化并同时保持输入保真度的双目标优化问题，从而在组合鲁棒性测试中高效地识别严重且真实的模型失效，其恢复帕累托前沿的速度显著快于现有的基于搜索的基准方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代人工智能系统，特别是那些驱动图像识别、语言翻译和代码生成的系统，在执行任务时已变得异常出色。然而，它们仍然非常脆弱。光照的轻微变化、相机镜头上的污迹或句子中的一个拼写错误，都可能导致这些系统完全失效。多年来，研究人员通过一次引入一种类型的错误（例如模糊图像或更改单词）来测试这些模型。然而，现实世界很少如此简单。在自动驾驶或医学成像领域，多种问题往往会同时发生：汽车可能正在雨中行驶，同时相机镜头很脏，且阳光刺眼。这些组合在一起的错误创造了一个复杂的相互作用网络，而单错误测试往往会忽略这一点，从而留下软件中隐藏的弱点，这在实践中可能导致危险的失败。
为了理解这些系统在现实压力下是如何崩溃的，来自伦敦东北大学和肯特大学的研究团队开发了一种名为 TESTNAV 的新方法。他们意识到，测试每一种可能的错误组合是不可能的；仅凭四种类型的错误和每种错误六个等级的严重程度，就有超过一千种独特的场景需要检查。此外，仅仅堆叠更多的错误并不总能揭示最有用的信息。如果一张图像被损坏得如此严重，以至于看起来与原图完全不同，那么模型的失败是预料之中的，并不能告诉我们关于其真实极限的太多信息。最有价值的失败是那些输入看起来和听起来仍然像真实事物，但模型却出错的情况。这些特定的案例暴露了真正的漏洞，而非仅仅是对垃圾数据的明显敏感性。
研究人员将这一挑战设定为两个竞争目标之间的平衡：让模型尽可能坏掉，同时保持输入尽可能接近原始状态。他们没有将其视为要最大化的单一目标，而是将其视为对最佳权衡点的搜索。想象一下，试图在一片崎岖的山脉中寻找最高点，其中地形代表了不同的错误组合。有些点提供了性能的剧烈下降，但保持了图像的清晰；另一些点虽然保持了图像的完美，却无法击垮模型。研究人员想要绘制出这两个目标相遇的整条山脊线，在数学上称为帕累托前沿（Pareto front）。为了高效地实现这一点，他们使用了一种进化算法，即一种模仿自然选择的计算机程序。该程序并没有测试每一条路径，而是生成一组测试用例种群，保留最有希望的案例，并将它们混合在一起以创造新的、更好的候选方案，通过不断精炼搜索过程，直到找到最关键的失效点。
当团队将这种方法应用于涵盖图像识别、句子匹配和代码生成的四个不同基准测试时，结果令人瞩目。在这些不同的任务中，TESTNAV 发现最关键的失效组合的速度比其他未使用这种平衡方法的搜索方法快了高达 2.15 倍。在某些情况下，新方法仅需评估大约 36% 的可能错误组合，就能找到其他方法在检查了近 90% 之后才找到的相同的一组关键失效。研究还测试了更简单的指标（例如测量模型内部神经元的激活程度或其不确定性程度）是否可以预测这些失败。他们发现，这些单一指标并不足够；它们无法可靠地识别出导致模型失效且输入仍保持真实的特定错误组合。
研究人员还发现，最关键失效的形态很大程度上取决于如何衡量输入的质量。当使用某些指标来判断图像质量时，最危险的失效分布在许多不同的错误组合中，这使得广泛的搜索策略变得至关重要。在其他情况下，失效则紧密聚集在一个区域，此时更简单的、更集中的搜索同样有效。这表明，不存在一种测试所有人工智能系统的单一“最佳”方法；策略必须适应数据和所测试错误的特定性质。通过专注于打破模型与保持输入真实性之间的平衡，TESTNAV 提供了一种实用的方法，可以在人工智能造成现实世界的伤害之前找到其隐藏的裂痕，从而确保这些系统不仅在理论上稳健，而且在它们实际应用的复杂、混乱的现实世界中也同样稳健。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。