Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop
本文介绍了一种基于交互熵和源自标准观测-动作三元组的耦合度指标的奖励无关运行时监控框架，用于检测已部署强化学习智能体中的环境解耦和交互漂移，并证明了其相比于传统的基于奖励的监控具有更优越的故障检测能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个正在复杂世界中学习奔跑的机器人。它根据所见做出决策，采取行动，然后观察接下来发生了什么。这个循环是被称为“强化学习”的现代人工智能的心跳。多年来，工程师们一直依赖一个单一的数字来告诉他们机器人表现得如何：一个被称为“奖励”的分数。如果分数上升，说明机器人正在取得成功；如果分数下降，说明出了问题。但这个分数只能回答一个问题：机器人是否实现了目标？它无法回答一个更微妙、却更关键的问题：机器人是否仍在以预期的预期方式与世界进行交互？机器人可能会踉跄，它的传感器可能会出现故障，或者它的电机可能会磨损，然而它仍可能设法到达终点并获得高分。在这种情况下，奖励信号在撒谎，掩盖了机器正处于脆弱或损坏状态的事实。
这就是研究人员 Wael Hafez 和 Chenan Wei 着手解决的问题。他们追问，是否可以构建一种不同类型的监测器，它不看最终得分，而是倾听机器人与其环境之间的对话。他们的工作是在一个数字猎豹在平面上奔跑的模拟世界中进行的，这引入了一种观察这些机器的新方法。他们并没有等待机器人完成任务失败时才介入，而是希望检测机器人内部节奏开始偏离其健康模式的时刻。他们开发了一个系统，将机器人的每一步都视为一个小故事：它看到了什么，它做了什么，以及接下来发生了什么。通过分析这些故事的流动，他们找到了一种能够发现传统分数经常忽略的问题的方法。
研究人员在二十一个不同的数字猎豹身上测试了他们的想法，每个猎豹都被训练为使用两种不同的学习方法尽可能快地奔跑。一旦这些智能体训练完成，研究人员就冻结了它们的学习过程，使其在测试期间不会发生变化。随后，他们引入了各种问题（或称“扰动”），以观察他们的新型监测器能否识别出这些问题。有些问题被添加到了机器人的“大脑”中，例如向它控制腿部的指令中加入随机噪声。另一些问题则被添加到了世界本身，例如改变重力强度或用外力推挤机器人。总计，他们进行了一百六十八次出现问题的试验，以及二十一次一切保持完美的试验。
为了理解他们正在寻找什么，研究人员专注于机器人经验的三个组成部分之间的关系。在一次健康的奔跑中，机器人的所见、所选动作以及所得结果之间存在着紧密且可预测的联系。研究人员创建了一个衡量这种联系的指标，称之为“耦合份额”（coupling share）。可以将此想象为一种检查方式，用于检查机器人的总活动中有多少实际上是与它产生的结果相联系的。当机器人处于健康状态时，这种联系是强健且一致的。当出现问题时，这种联系就会松动。机器人可能仍在移动，世界也可能仍在反应，但两者之间特定的、特征性的舞蹈已经改变了。这个新监测器仅利用机器人移动时产生的实时数据流来追踪这种变化。它不需要知道机器人的目标是什么，也不需要看到奖励分数。它只是在询问：机器人是否仍在以它健康时的那种声音与世界交谈？
结果表明，这种方法非常有效。当研究人员将他们的新型监测器与传统的奖励分数进行比较时，差异显而见而易。标准的奖励系统仅检测到了百分之四十四的问题。它经常会错过那些机器人虽然在挣扎但仍能完成奔跑的微妙变化。相比之下，新的监测器检测到了百分之六十九的问题。这意味着它比奖励系统多捕捉到了二十五个百分点的错误，同时在健康的机器人上产生了相同数量的误报。在一个特定的测试中，当重力增加了百分之十时，奖励系统仅在百分之二十四的试验中发现了问题，而新的监测器则在近一半的试验中发现了问题。
至关重要的是，研究人员仔细解释了他们的系统是什么，以及它不是什么。他们并没有创造一根能修复损坏机器人的魔杖，也没有创造一个能预知未来的水晶球。该系统并不会告诉操作员究竟是什么坏了，例如是传感器脏了还是电机变弱了。它也不会总是比奖励分数更早地发出警告；在许多情况下，新监测器和奖励分数同时发出警报。相反，该系统充当了一种补充性的检查。它为机器人的运行健康状况提供了第二种意见。如果奖励分数显示机器人正常，但这个新监测器显示交互发生了变化，那么它就在发出信号，表明机器人的运行方式已不再具有其健康状态的特征。这给了人类操作员在发生彻底失效前进行进一步调查的机会。
这项研究完全是在计算机模拟中进行的，研究人员承认现实世界的机器人面临着更加复杂且不可预测的挑战。他们发现的具体数字与数字猎豹以及他们引入的特定类型问题有关。然而，其核心思想为自主系统领域带来了显著的希望。随着我们将更多机器人部署到现实世界中，仅仅依靠它们是否实现目标可能是不够的。我们可能需要验证它们与世界进行交互的底层过程是否依然稳健。这项研究表明，通过聆听交互本身的节奏，我们可以建立一个安全网，在机器停止运动之前，捕捉到衰减的微妙迹象。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。