Composing Reinforcement Learning Policies, with Formal Guarantees

想象一下，你正在试图教一个机器人如何在巨大的、不断变化的迷宫中穿行。这不仅仅是一个简单的迷宫；这是一个墙壁会移动、地板会变化的世界，机器人必须做出瞬间决策以躲避飞来的障碍物。这就是**强化学习（Reinforcement Learning, RL）**的世界——它是人工智能的一个分支，智能体通过试错来学习，就像狗学习坐下以换取零食一样。其目标是找到一个“策略”（policy）——一套规则，告诉智能体在每种情况下该做什么，以获得最佳结果。

然而，这里有一个难点。虽然强化学习擅长从经验中学习，但它在提供**保证（guarantees）方面表现得很糟糕。如果你问一个标准的强化学习机器人：“你百分之百确定不会撞上那辆叉车吗？”它通常无法用数学上的“是”来回答。它可能会说：“我觉得我会没事的，”但在自动驾驶或管理电网等安全至上的工作中，“我觉得”是远远不够的。这就是形式化验证（formal verification）**发挥作用的地方。它就像一个严格的数学证明，可以说：“在这些特定条件下，这个动作被保证是安全的。”挑战在于，科学家们面临的问题是：这两个世界——从经验中学习的世界与数学证明的世界——通常互不相容。学习需要大量、杂乱的数据，而证明则需要整洁、简单的模型。这篇论文步入了这个混乱的交汇点，试图看看我们是否可以鱼与熊掌兼得：让机器人既能学习复杂的任务，又自带一份安全证书。

---

核心理念：地图与房间

作者们（来自比利时、以色列、荷兰、丹麦和英国的研究团队）提出了一种巧妙的方法，将问题一分为二。想象一个巨大的仓库。**高层（high-level）**视角是一个简单的地图：由门连接的房间网格。你完全了解这张地图。你知道房间 A 连接着房间 B，而房间 B 连接着出口。但在每个房间内部呢？那是未知且混乱的。这里的“动力学”（物体如何移动、障碍物在哪里）是未知且混沌的。

作者称之为两层结构（two-level structure）：

• 高层（地图）： 这是简单部分。它只是一个由房间和门组成的图（graph）。
• 底层（房间）： 这是困难部分。在每个房间内部，智能体必须躲避移动的叉车、工人或其他机器人。这里的规则复杂且未知。

论文的核心技巧是**“关注点分离”（separation of concerns）。他们为两个不同的层面使用了两种不同的工具。对于高层地图，他们使用了反应式综合（Reactive Synthesis）**。可以把它想象成一个超级聪明的逻辑规划器，它可以观察地图并根据一套规则（例如“到达出口且不撞到任何东西”）在数学上证明最佳路径。它就像一个永远不会迷路的 GPS，因为它拥有一张完美的地图。

但 GPS 无法告诉机器人如何在房间内躲避叉车。为此，他们使用了强化学习（RL）。机器人在每个房间内的模拟中学习，弄清楚如何从入口到达出口而不发生碰撞。问题在于，标准的 RL 是一个“黑盒”——你不知道它具体是如何运作的，也无法证明它是安全的。

魔法技巧：“潜在”捷径

这是论文真正精彩的部分。作者并没有让机器人为每个房间学习一个杂乱、庞大的神经网络（由数学构成的“大脑”），而是教机器人学习一个简洁的潜在模型（concise latent model）。

想象你在向朋友描述一个充满移动障碍物的混乱房间。你可以尝试描述每一个物体的所有每一次移动，但这会耗费很长时间且无法记忆。或者，你可以创建一个简化的草图（即“潜在模型”），捕捉房间的本质：“如果我向左走，通常会撞到墙；如果我向右走，通常会找到门。”

作者开发了一种新的训练方法，称为 WAE-DQN。这是一个听起来很高级的过程，机器人同时学习两件事：

1. 如何行动（策略）。
2. 如何绘制简化的草图（潜在模型）。

至关重要的是，他们不仅仅是猜测草图，还计算了关于草图有多好的保证（guarantee）。他们使用了被称为 PAC bounds（大概近似正确，Probably Approximately Correct）的概念。你可以把它看作是一个“置信度评分”。它不会说“这个草图是完美的”，而是说：“我们有 95% 的把握确定这个草图与真实房间行为的偏差在 1% 以内。”

整合一切：规划器

一旦机器人学习了这些简化的草图以及每个房间的“置信度评分”，高层规划器就会介入。规划器观察地图和草图。它会问：“如果我让机器人进入房间 A 并告诉它向右走，它成功到达门口的概率是多少？”它利用草图提供的置信度评分，通过数学方式来回答这个问题。

因为规划器知道每个房间草图的“安全余量”，所以即使机器人的细节是通过试错学习到的，它也能构建出一个在数学上保证有效的全局计划（global plan）。

实验：它有效吗？

团队在两个截然不同的世界中测试了这个想法：

1. 格子世界（Grid World）： 一个带有移动敌人的数字迷宫。
2. ViZDoom： 一个基于经典游戏《毁灭战士》（Doom）的视频游戏环境，机器人在其中必须使用视觉输入（类似于摄像头）进行导航，同时躲避敌人。

在格子世界中，他们创建了一个包含 9 个房间和 11 个移动敌人的迷宫。传统的 AI（使用一种称为 DQN 的方法）难以学习到良好的路径，经常陷入困境或发生碰撞。但这种新方法呢？它学会了成功导航。更令人印象深刻的是，他们在包含 49 个房间和 47 个敌人的更大规模迷宫上进行了测试。机器人利用从小房间中学到的相同“草图”，能够成功导航这个巨大的迷宫。这证明了他们方法的“可重用性”：一旦你学会了如何处理某种类型的房间，你就可以在任何类似的房间中使用这些知识，无论地图变得多么大。

在 ViZDoom 实验中，机器人必须处理视觉输入并射击敌人。结果显示，“潜在值”（由简化草图做出的预测）与实际发生的场景非常接近。例如，当机器人预测在特定情景下的成功率为 24% 时，实际成功率约为 23%。这种接近程度证明了这些“草图”足够准确，值得信赖。

这为什么重要

这里最大的胜利不仅在于机器人玩游戏变得更好，而是在于机器人变得更好了，并且自带一份安全证书。

过去，如果你想让机器人导航复杂环境，你必须在以下两者之间做出选择：

• 安全性： 使用一个简单的模型，你可以证明一切都是安全的，但机器人太笨，无法应对现实世界的混乱。
• 技能： 使用一个强大的学习型机器人，它可以处理混乱，但你完全不知道它是否会撞车。

这篇论文展示了第三条道路。通过将“地图”与“房间”分离，并通过教机器人学习经过验证的简化房间草图，他们创造了一个既聪明（可以处理移动障碍物和视觉输入）又安全（带有数学保证）的系统。

作者承认，他们的方法仍然需要一个环境的“地图”作为起点。他们不能直接把一个机器人扔进一个完全未知的世界，并期望它从零开始构建地图。但对于那些我们已知布局（如仓库、城市网格或软件系统）但不知道房间内细节的环境，这种方法提供了一个强大的新工具。它将学习的“黑盒”变成了我们可以检查、验证并信任的“玻璃盒”。