Certificate-Driven Learning for Safety-Critical Systems: Reward-Free Policy Synthesis via Adversarial Certificate-Margin Optimization
本文介绍了证书驱动学习（Certificate-Driven Learning, CeDL），这是一种无奖励框架，通过针对最坏情况下的对抗场景联合优化策略与统一的数学证书，来合成可审计的安全关键控制器，从而在最小化各类网络化及信息物理系统中的约束违规方面，优于传统的强化学习和控制方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代工程领域，我们已经习惯于教机器如何学习。我们赋予它们目标，例如快速到达目的地或高效传输数据，并让它们通过尝试数百万种不同的行动来寻找最佳路径。这种被称为强化学习的方法已成为从自主机器人到无线网络等各种领域的强大工具。然而，这些系统通常的学习方式存在一个根本性的缺陷：它们被训练去最大化平均性能。一台机器可能学会在晴天完美驾驶，或者在天气晴朗时以创纪录的速度发送数据包，但如果它在道路结冰或信号衰减时偶尔发生灾难性故障，那么平均成功率就不足以应对风险。在安全至上的系统中，一次失误就可能意味着碰撞、网络崩溃或错过医疗时限，在这种情况下，罕见的极端情况比典型的良好表现更为重要。科学家们面临的挑战在于，如何创造出不仅能在平均水平上表现出色，而且能保证在环境变得危险时不会失效的学习系统。
伊朗科技大学的一个研究小组提出了一种解决该问题的新方法，将重点从“它运行得有多好？”转向“它离崩溃有多近？”他们将其方法称为“证书驱动学习”（Certificate-Driven Learning）。该系统不是奖励计算机完成任务做得好，而是奖励它尽可能远离灾难的边缘。想象一位走钢丝的人，他不仅是在努力穿过绳索，还在不断测量双脚与地面之间的距离。如果他离地面太近，系统就会学习将他拉回。在这个新框架下，计算机同时学习两件事：如何执行其任务，以及如何从数学上证明其安全性。它通过寻找自身的弱点来实现这一点，即刻意寻找那些最容易导致其失败的具体情况，然后学习如何在这些精确时刻生存下来。
研究人员在三个完全不同的领域测试了这一想法：管理超可靠通信的无线数据、在电池供电传感器网络中路由能量，以及引导机器人通过障碍物课程。在每种情况下，他们都将这种新方法与标准学习技术和传统控制系统进行了对比。结果显示出明显的差异。标准学习方法通常会产生较高的平均得分，但偶尔会陷入危险领域，违反安全规则或错过关键期限。相比之下，新方法始终让系统远离失败的边缘。在无线网络测试中，新方法将错过期限的概率降低到了零，而其他方法则偶尔会出现失败。在传感器网络中，它确保了没有单个电池耗尽，从而延长了整个网络的寿命。对于机器人，即使路径复杂，它也比任何其他方法都保持了更大的避障安全距离。
这种方法的独特之处在于它如何处理“证书”的概念。在工程学中，证书是证明系统在特定条件下会安全运行的数学证明。通常，工程师先设计控制器，然后再尝试证明其安全性。在这里，证明本身就是学习过程的一部分。系统生成一个“余量”（margin），即衡量其在违反规则前还有多少空间。正余量意味着系统是安全的；负余量意味着它已经失败。学习算法旨在最大化它所能找到的最小余量。它不在乎系统在 99% 的情况下是否安全；它在乎的是那 1% 最接近失败的情况。为了找到这些危险时刻，系统使用了一个“对抗性证伪器”（adversarial falsifier），这是一个主动搜索最困难场景的组件，例如突发流量、深度信号衰减或出现在意外位置的障碍物。这些困难场景被存储在一个库中并反复用于训练系统，迫使系统对那些通常导致失败的条件具备鲁棒性。
研究人员还为现实世界构建了一个安全网。即使经过最好的训练，系统也可能遇到从未见过的状况。为了处理这种情况，他们添加了一个运行时屏蔽器（runtime shield），这是最后一道保护层，在执行动作前检查系统的行为。如果主控制器试图做出会导致系统过于接近边缘的动作，屏蔽器就会介入并进行微小的安全修正。至关重要的是，这个屏蔽器并不是安全性的主要来源；系统经过如此良好的训练，以至于很少需要屏蔽器进行干预。在测试中，屏蔽器仅在极小比例的时间内被激活，这表明学习到的策略已经内化了安全规则，而不是仅仅依赖备份。这与那些安全过滤器不断纠正训练不良的控制器的其他方法相比，是一个显著的进步。
这项研究依赖于广泛的计算机模拟而非物理硬件测试，证明了优先考虑最坏情况会导致更可靠的系统。研究人员发现，虽然他们的方法有时会牺牲一小部分平均速度或效率来换取安全性，但这种权衡是值得的。例如，在无线网络测试中，新方法实现的平均数据速度略低于标准学习模型，但它完全消除了错过关键期限的风险。在机器人测试中，机器人采取了稍长的路径以避开障碍物，但它也因此保持了更大的安全缓冲，确保即使环境发生轻微偏移也不会发生碰撞。论文指出，对于失败绝不允许发生的系统，优化平均值是一个错误。相反，目标应该是加强链条中最薄弱的一环。
这项工作的意义超越了所测试的具体案例。研究人员认为，这种方法为实现可审计的学习控制提供了一条原则性的路径。在许多当前的应用程序中，我们信任机器是因为它们在过去表现良好，但我们无法轻易解释为什么它们在未来会是安全的。这种新方法在控制器旁边生成了一个数学证书，为系统在定义的运行范围内为何安全提供了清晰、可审计的理由。它并不声称是一个适用于所有可能宇宙的神奇解决方案，但它提供了一个严谨的框架，以确保在定义的边界内实现安全。通过让系统从自身的“险些出错”中学习，研究人员为创造不仅聪明而且值得信赖的智能机器开辟了一条道路。这项工作表明，安全至上的自动化未来的核心，不在于让机器更快或更高效，而在于教会它们尊重悬崖的边缘。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。