Where Did It Go Wrong? Capability-Oriented Failure Attribution for Vision-and-Language Navigation Agents
本文提出了一种面向能力的测试框架，该框架结合了自适应测试用例生成、面向特定能力的判据以及反馈驱动的归因分析，以有效检测并定位视觉与语言导航智能体中故障的根本原因，在故障发现能力和可解释性方面均优于现有的系统级方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你建造了一个非常聪明的机器人管家，它被设计为根据语音指令（例如“去卧室，拿起蓝色毛巾，然后把它放在床上”）在你的家中导航。
有时，这个机器人会失败。它可能会走进错误的房间，忘记自己从哪里来，或者把毛巾掉在走廊里。
问题：“黑盒”之谜
传统上，当机器人失败时，开发者只知道它失败了。他们看到机器人没有到达床边，但不知道原因。是因为机器人看不见毛巾（感知）？是因为它忘记自己正拿着毛巾（记忆）？是因为它规划了一条太长的路径（规划）？还是因为它只是决定向左转而不是向右转（决策）？
由于这些技能相互交织，一个领域的错误往往会导致其他领域出现连锁反应。这就像试图修理一辆无法启动的汽车，但你只知道引擎是静音的——你不知道是电池、燃油还是火花塞出了问题。
解决方案：CanTest（“特定技能侦探”）
这篇论文介绍了一种名为CanTest的新测试工具。CanTest 不像以往那样只是观察机器人失败，而是像一名专业侦探，将机器人的“大脑”拆解为四种不同的技能，并逐一检查。
以下是 CanTest 的工作原理，使用一个简单的类比：
1. “压力测试”生成器（自适应测试用例生成）
想象一下，你正在寻找一座新桥的薄弱点。你不会只开车过一次，而是会派遣重型卡车、颠簸的公交车和风力机器，看看什么会断裂。
- CanTest 的做法：它自动生成成千上万个导航指令。如果机器人在特定任务（例如在浴室里找到毛巾）上失败，CanTest 就会变得“聪明”。它会稍微修改指令（例如，将“找到蓝色毛巾”改为“找到红色毛巾”），以查看机器人是否仍然失败。如果机器人持续失败，CanTest 就知道它发现了一个真正的弱点，并会尝试让测试变得更难，以暴露缺陷。
2. “技能检查员”（能力预言机）
这是最重要的部分。CanTest 不仅仅观察机器人；它还有四个无形的“裁判”实时监视机器人的“大脑”。
- 感知裁判：检查机器人是否正确“看到”了物体。它真的发现了毛巾，还是把椅子误认为是毛巾？
- 记忆裁判：检查机器人的“思维笔记本”。它是否记得自己来自厨房？
- 规划裁判：检查机器人的地图。它是否绘制了一条真正通往卧室的路径？
- 决策裁判：检查机器人的“脚”。它是否实际执行了它计划的步伐？
如果机器人未能完成任务，这些裁判会告诉 CanTest 究竟是哪个“裁判”举起了红旗。
3. “根本原因”查找器（故障归因）
有时，机器人很早就犯了错，但最终失败却发生在很久之后。
- 类比：想象一个机器人被地毯绊倒（感知错误），踉跄了一下，然后打碎了花瓶（决策错误）。花瓶破碎是“失败”，但真正的问题是绊倒在地毯上。
- CanTest 的做法：它使用“如果……会怎样”的模拟。它会问：“如果机器人正确看到了地毯，它还会打碎花瓶吗？”如果答案是“不，它会成功”，那么 CanTest 就知道感知错误才是真正的罪魁祸首，而不是决策错误。它能精确定位导致断裂的链条中的第一个环节。
4. “反馈循环”
一旦 CanTest 发现了一个弱点，它就会给开发者一个评分。它会说：“嘿，这个机器人非常不擅长记住它去过哪里。”这个评分会告诉测试生成器专门创建更多关于记忆的测试，确保开发者在继续前进之前修复这一特定技能。
结果
研究人员在三个先进的机器人导航模型上测试了这种方法。
- 发现更多失败：与以前的测试方法相比，CanTest 发现了显著更多的失败案例（约多 23% 到 33%）。
- 更好的诊断：它不仅仅说“机器人失败了”。它说：“机器人失败了，因为它记不住走廊”，或者“它失败了，因为它无法决定向哪个方向转弯”。
- 高准确率：当研究人员使用 CanTest 的“裁判”来修复机器人的错误时，他们在超过 80% 到 96% 的案例中成功修复了机器人的行为。这证明了这些“裁判”是准确且可靠的。
总结
CanTest 就像一个不仅仅听引擎发出杂音的机械师；它拥有一种诊断工具，能确切地告诉你是哪个火花塞在失火。通过测试机器人的特定技能（感知、记忆、规划、决策），而不仅仅是最终结果，开发者可以修复确切的问题，使机器人在现实世界的使用中更安全、更可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。