Explaining Reinforcement Learning Agents via Inductive Logic Programming
本文通过利用归纳逻辑程序编程来提取符号策略表示，并引入一套全新的目标度量标准，以系统地量化和分析强化学习智能体在单智能体及多智能体领域中的可解释性、学习动态和协作模式，从而推进了可解释强化学习的发展。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你制造了一个超级聪明的机器人，它通过不断尝试、犯错并为正确的动作获取积分，从而学会玩电子游戏或驾驶汽车。这被称为强化学习（Reinforcement Learning）。这就像小狗学习把戏一样：它没有说明书；它只是发现按下按钮后就会出现零食，于是它又一次按下按钮。问题在于，这些机器人通常是“黑盒”。它们能做出英明的决策，但即使是它们的创造者也无法总是解释清楚，为什么它们选择了左转而不是右转。他们只知道机器人运行得很好，却不知道背后的逻辑。如果这个机器人在驾驶真实的汽车或协助医生，这会非常危险，因为我们需要信任它的推理过程。
为了解决这个问题，科学家们正试图将机器人的秘密大脑翻译成通俗易懂的语言，比如一套简单的“如果-那么（If-Then）”规则。这就是**可解释人工智能（Explainable AI）**发挥作用的地方。把它想象成要求机器人写下它的思想日记。但问题在于，仅仅因为机器人写了日记，并不意味着这本日记是准确、完整或有用的。我们如何知道机器人的解释是否真的在说实话？直到现在，我们主要是在询问人类：“这听起来合理吗？”但这具有主观性，且因人而异。我们需要一种用“尺子”而非仅仅凭“感觉”来衡量这些解释质量的方法。
这篇论文介绍了一套新的“尺子”，用于衡量我们解释强化学习机器人大脑的能力如何。作者们是一个研究团队，他们使用了一种巧妙的技巧，叫做归纳逻辑程序设计（Inductive Logic Programming）（把它想象成一个超级有条理的侦探，能将混乱的行为转化为整齐的逻辑规则）。他们在不同的场景中训练机器人——比如繁忙路口的自动驾驶汽车，或者在仓库中协作的机器人团队——然后使用他们的侦探来写下机器人所遵循的规则。
重大的发现是，他们创建了四种特定的方式来检查这些写下的规则是否优秀。首先，我们测量激活率（Activation Rate），这就像是在检查机器人实际遵循其写下的规则的频率。如果机器人说“当车靠近时我会减速”，但它有一半的时间在加速，那么该规则的激活率就很低，不是一个好的解释。其次，我们观察特征覆盖度（Feature Coverage），这告诉我们环境中的哪些部分是机器人真正关心的。也许机器人声称在观察交通灯，但规则显示它实际上只在看与前车的距离。
他们还发明了两种比较规则的方法：句法距离（Syntactic Distance）和语义距离（Semantic Distance）。想象两个正在学习同一任务的机器人。句法距离检查它们是否使用了相同的词汇来描述规则（比如都说“减速”）。语义距离则检查它们是否实际上做了相同的事情，即使使用了不同的词汇。这对于机器人团队至关重要；它能帮助我们观察它们是真的在协作，还是仅仅在假装。
研究人员在机器人玩游戏和在交通中驾驶的测试中使用了这些尺子。他们发现，这些测量工具揭示了标准“游戏得分”所忽略的东西。例如，一个机器人可能会获得高分，但这些尺子显示其逻辑是摇摆不定的，仅在非常特定的情况下有效，而不具备通用性。在团队游戏中，这些尺子展示了机器人是如何发展出专门的角色，即有些机器人成为了某个工作的专家，而另一些则成为了另一个工作的专家，即便它们都在以同样的方式争取胜利。
简而言之，这篇论文不仅给了我们一种让机器人解释自己的方法，还给了我们一种给这些解释评分的方法。它表明，通过使用这些客观的测量手段，我们可以发现机器人何时感到困惑、何时学会了坏习惯，或者何时已经准备好承担更复杂的任务。它将“这个机器人是否具有可解释性？”这一模糊的概念转变为一个具体的、可衡量的事实，有助于我们在现实世界中构建更安全、更可靠的人工智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。