Reinforcement Learning for Testing Interdependent Requirements in Autonomous Vehicles: An Empirical Study
本实证研究比较了用于测试自动驾驶汽车中相互依赖需求的目标单一强化学习与多目标强化学习，发现尽管两种方法的有效性相当，但多目标强化学习在场景多样性和覆盖率方面表现更优，而目标单一强化学习则倾向于产生更严重的违规行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一辆自动驾驶汽车如何安全驾驶。问题在于，汽车可能失败的方式有无数种，你无法逐一测试每一种情况。因此，你需要一位“智能测试员”，能够找出最危险的情境来进行测试。
本文探讨的是两种不同类型的“智能测试员”（算法）之间的较量，以看哪一种在发现这些危险情境方面更胜一筹。
两位参赛者
将自动驾驶汽车想象成一名参加期末考试的学生。考试包含两个主要科目：安全性（不发生事故）和功能性（准时、舒适地到达目的地）。
“单科”导师（SORL）：
想象一位导师说：“让我们把所有内容合并成一个大分数。”他们将安全评分和舒适度评分混合在一起，赋予同等权重，然后给学生一个单一数值。这位导师的唯一目标就是让这个单一数值尽可能低（或高，取决于他们的视角）。他们就像一位厨师，将所有香料混合进一口大锅里；虽然可能得到非常浓郁的风味，但可能会忽略个别食材的细微差别。“多科”导师（MORL）：
这位导师说：“不，让我们把分数分开。”他们将安全性和舒适度视为两个独立的目标。他们试图寻找一种平衡，使汽车能同时在两个领域失败，而不仅仅专注于其中一个。他们就像一位教练，训练运动员同时擅长短跑和长跑，理解提升一项能力可能会轻微损害另一项，但他们想看看运动员如何应对这种张力。
实验
研究人员将这两位导师置于一个高科技视频游戏模拟器（类似于超逼真的驾驶游戏）中，并配备了一辆自动驾驶汽车。他们要求导师们创建“关键情境”——即旨在让汽车违反规则的情境。
他们在六种不同类型的道路上进行了测试：
- 涉及变道的高速公路。
- 有对向交通的双向街道。
- 交叉路口。
- 有坑洼和路况不佳的道路。
他们要求导师尝试打破不同的规则组合，例如“让汽车撞车”且“让行驶颠簸”，或者“让汽车错过目的地”且“让车速过快”。
结果：谁赢了？
这并不是某一方压倒性的胜利。相反，它们各有长短，就像两种不同类型的运动员。
1. “数量”与“质量”的权衡
- “多科”导师（MORL） 是侦察兵。它发现了更多不同类型的危险情境。它擅长探索地图，发现汽车可能出错的各种广泛方式。如果你想看到大量稀奇古怪且罕见的故障，这位导师是最佳选择。
- “单科”导师（SORL） 是神枪手。它发现的总情境较少，但它确实发现的那些往往更严重。当它找到让汽车撞车或失败的方法时，往往会使故障以更强烈的程度发生。它更擅长深入挖掘某一特定类型的故障，并将其变得非常糟糕。
2. “组合”至关重要
获胜者完全取决于他们试图打破的是什么规则。
- 如果规则非常严格且难以打破（例如“碰撞时间”——距离撞车还有多少秒），单科导师表现更好。它擅长将所有精力集中在这一项艰难的目标上。
- 如果规则涉及平衡事物（例如“速度”与“舒适度”），多科导师表现更好。它擅长兼顾两者，并找到两者同时失效的甜蜜点。
3. 道路并未带来太大变化
有趣的是，无论是笔直的高速公路还是布满坑洼的颠簸街道，结果并未发生太大变化。无论道路如何，多科导师总是更擅长发现多样化的情境。无论道路如何，单科导师在发现严重违规方面总是略胜一筹。
结论
该论文得出结论：不存在单一的“最佳”测试员。
- 如果你想广撒网，查看汽车可能失败的每一种可能方式（以确保没有遗漏任何内容），请使用多科导师（MORL）。
- 如果你想对汽车进行压力测试，查看绝对最坏的情况（以了解情况可能有多糟糕），请使用单科导师（SORL）。
研究人员发现，由于汽车的需求往往是相互关联的（例如，撞车会影响你完成行程的能力），你不能只是逐个查看它们。你需要理解，有时你需要一个广泛的探索者，有时你需要一个专注的神枪手，这取决于你想要了解什么。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。