🤖 machine learning

Reinforcement Learning Using known Invariances

本文提出了一种对称感知乐观最小二乘价值迭代框架，该框架通过不变核利用已知的群对称性，从理论和实证两方面证明了其在强化学习中能显著提升样本效率。

原作者： Alexandru Cioba, Aya Kayal, Laura Toni, Sattar Vakili, Alberto Bernacchia

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexandru Cioba, Aya Kayal, Laura Toni, Sattar Vakili, Alberto Bernacchia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人走迷宫。在标准的强化学习（RL）设置中，机器人必须从头开始学习一切：“如果我在这里向左走，我会撞墙。如果向右走，我会找到一枚硬币。”它尝试数千次，不断犯错，并逐渐摸索出规则。这就像一个学生试图通过反复阅读同一本书来学习语言，却从未意识到语法规则适用于每一个句子。

本文提出了一种更聪明的方法，利用已知对称性来教导机器人。

核心思想：“镜像技巧”

许多现实世界的环境都隐藏着被称为对称性的模式。

旋转：如果你将一个正方形房间旋转 90 度，它看起来完全一样。
反射：如果你在镜子里看一条走廊，在其中行走的规则不会改变。
平移：如果你将一个拼图块向右滑动一英寸，它契合的方式是相同的。

在本文中，作者假设我们已经知道这些对称性的存在（就像知道游戏棋盘具有旋转对称性一样）。他们不是让机器人学习棋盘上每一个单独位置的规则，而是给机器人一个“魔法透镜”（一种称为核的数学工具），使其能够像将棋盘折叠起来一样看待棋盘。

类比：
想象你正在学习玩一个关卡是完美圆形的电子游戏。

标准学习：你试图学习整个圆形的布局。你记住“在 12 点钟方向有一个坑”。然后你必须记住“在 3 点钟方向有一个坑”，“在 6 点钟方向”，以此类推。你实际上是在四次学习同一件事。
感知对称性的学习（本文）：你告诉机器人：“嘿，这个关卡是个圆形。如果你学会了 12 点钟方向会发生什么，你就自动知道了 3 点、6 点和 9 点方向会发生什么。”机器人只需要学习一块派，就能瞬间理解整块派。

他们是如何做到的

作者构建了一个名为LSVI（最小二乘价值迭代）的流行学习算法的新版本。

“魔法透镜”（不变核）：他们修改了数学公式，使机器人的大脑将对称的情况视为相同的。如果机器人看到一个状态及其镜像，数学公式会将它们视为完全相同的数据点。
理论：他们从数学上证明，通过这样做，机器人学习游戏所需的尝试次数（样本）要少得多。他们精确计算了速度提升了多少：你拥有的对称性越多，为了熟练掌握任务所需要犯的错误就越少。
“覆盖数”：将其想象为机器人需要在脑海中保留的“作弊条”的大小。通过利用对称性，他们证明了这张“作弊条”变得小得多，从而使学习过程更加高效。

实验：它有效吗？

他们在三个不同的“游戏”中测试了这个想法：

人造世界（合成）：他们创建了一个简单的数学问题，其中的规则是完全对称的。感知对称性的机器人比标准机器人学习得快得多。
冰冻湖泊：这是一个经典的 AI 游戏，机器人需要在冰面上滑行以到达目标，同时避免掉入洞中。
- 他们取了一个标准的冰面关卡，并创建了洞和目标随机放置但仍遵循对称规则的关卡。
- 结果：感知对称性的机器人比标准机器人显著更快地学会了通往目标的路径，且犯的错误更少。它还击败了试图学习同一事物的流行神经网络方法（DQN）。
芯片放置（二维放置）：想象你是一位建筑师，试图将 8 件家具放入网格中而不重叠。
- 这是一个难题，因为排列这些部件的方式有数百万种。
- 感知对称性的机器人更快地找到了最佳排列。它意识到旋转整个房间并不会改变难度，因此它不会仅仅因为布局被侧向旋转而浪费时间重新学习相同的布局。

结论

本文声称，如果你知道环境具有对称性（如旋转或反射），你不应该只是向问题“投入更多数据”。相反，你应该将这种知识直接融入学习算法中。

通过这样做，机器人不必仅仅因为房间旋转了 90 度就重新学习同一课。它只需学习一次，将其应用于各处，从而更快地成为专家。作者提供了为什么这有效的数学证明，并展示了现实世界的例子，证明它能节省大量的时间和精力。

本文不声称的内容：

它没有说这适用于每一个问题（仅适用于具有已知对称性的问题）。
它没有声称机器人可以自行发现这些对称性；本文假设我们事先告诉机器人对称性是什么。
它没有讨论医疗或临床应用；例子严格限于游戏、导航和设计布局。

以下是 Cioba 等人论文《利用已知不变性的强化学习》的详细技术总结。

1. 问题陈述

强化学习（RL）通常在样本效率方面面临挑战，特别是在具有连续状态 - 动作空间和非线性函数逼近的环境中。效率低下的一个重要原因是未能利用现实问题中固有的结构对称性（例如，机器人学中的旋转不变性、棋盘游戏中的反射对称性，或多智能体系统中的置换不变性）。

尽管先前的工作已通过数据增强或等变神经网络探索了对称性，但缺乏严谨的理论框架来量化将已知群对称性直接纳入非参数核基强化学习方法所带来的样本复杂度收益。本文旨在解决以下问题：如何系统地利用已知的环境对称性，以增强非线性函数逼近下的样本效率和遗憾保证？

2. 方法论

作者提出了一种**对称感知核基乐观最小二乘价值迭代（KOVI）**算法。核心方法论包含三个主要组成部分：

A. 不变核与再生核希尔伯特空间（RKHS）

作者假设对称群 $G$ 是先验已知的，而非从数据中学习。他们从基础核 $k$ 构建了一个完全不变核 $k_G$ ：
$k_G(z, z') = \frac{1}{|G|} \sum_{g \in G} k(g(z), z')$
该核诱导了一个再生核希尔伯特空间（RKHS） $\mathcal{H}_{k_G}$ ，其中仅包含在群作用 $G$ 下不变的函数。通过将假设空间限制在这个不变 RKHS 中，算法内在地对奖励和转移动力学的对称性保持尊重。

B. 算法（KOVI）

该算法改编自标准的核基乐观价值迭代（Yang 等人，2020a）：

乐观 LSVI：在每一集的每一步 $h$ ，智能体利用观测数据通过核岭回归估计最优 Q 函数 $\hat{Q}_h$ 。
置信度奖励：添加一个上置信界（UCB）奖励以鼓励探索： $Q_h = \min(\hat{Q}_h + \beta b_h, H-h+1)$ 。
对称性整合：回归过程使用不变核 $k_G$ 进行，确保估计的价值函数和由此产生的贪婪策略尊重群对称性。

C. 理论框架

作者为该对称感知场景推导了新的理论界限：

最大信息增益（ $\Gamma(T)$ ）：他们证明，对于不变核，最大信息增益的缩放比例为 $O(T^{1/p} / |G|^{1/p})$ ，其中 $|G|$ 是群的大小， $p$ 与核的特征值衰减有关。
覆盖数：他们推导了不变 Q 函数函数类的覆盖数的新界限，显示出与 $1/|G|$ 成比例的增加。
遗憾界限：结合这些结果，他们证明了累积遗憾 $R(T)$ 与标准核基方法相比，缩放因子为 $1/|G|$ 。具体而言，对于高维情况，遗憾界限显著改善，量化了样本效率的提升。

3. 主要贡献

算法创新：引入了一种对称感知的乐观 LSVI 变体，通过完全不变核将群不变性纳入奖励和转移动力学中。
理论进展：首次进行了理论分析，量化了因引入对称性而带来的 RL 样本复杂度收益。他们为不变 RKHS 的最大信息增益和覆盖数提供了新颖的界限，明确展示了遗憾界限中 $1/|G|$ 的改进。
实证验证：广泛的实验表明，在特定的低数据场景下，对称感知 RL 显著优于标准核方法，甚至优于等变深度神经网络。

4. 实验结果

作者在三种不同的设置中验证了他们的方法：

合成 MDP：一个简化的设置，其中 $|G|=2$ （恒等变换和反转）。与标准 RBF 核 KOVI 相比，不变核 KOVI 实现了显著更低的累积遗憾。
Frozen Lake（OpenAI Gym）：
- 固定布局：环境在 $D_4$ 对称群（正方形的旋转和反射）下是不变的。使用不变核的 KOVI 比标准 RBF KOVI 收敛更快，并实现了更高的回报。
- 随机布局：一个更具挑战性的设置，其中布局在每一集都会变化，但保留 $D_4$ 对称性。不变核始终优于标准核，展示了稳健的泛化能力。
- 与深度 RL 的比较：在样本效率方面，使用不变核的 KOVI 优于标准 DQN 和 SymDQN（具有等变层的 DQN），以更少的步数收敛到最优回报。
2D 放置问题（SynPl）：一个受芯片设计启发的任务，涉及在 $8\times8$ 网格上放置 8 个单元。该问题涉及复杂的几何约束和高维状态空间。与基线相比，不变核方法产生了更低的遗憾和更好的放置配置，突显了对称性在结构化设计问题中的效用。

5. 意义与结论

样本效率：本文表明，通过不变核将已知的结构先验（对称性）显式编码到函数逼近类中，可显著降低样本复杂度。这对于数据收集昂贵或耗时的现实世界应用至关重要。
理论严谨性：与启发式的数据增强或参数化等变网络不同，这项工作提供了正式的遗憾保证，并以群大小 $|G|$ 量化了对称性的确切收益。
非参数优势：结果表明，在低数据场景下，带有对称约束的非参数核方法可以超越深度学习方法（即使是那些设计为具有对称性的方法），因为它们需要更少的数据即可收敛到最优策略。
局限性：作者承认，核方法的计算复杂度（ $O(HT^4)$ ）对于非常大的数据集可能是 prohibitive（难以承受的），但他们建议通过稀疏高斯过程或 Cholesky 更新等优化手段来缓解这一问题。

总之，这项工作架起了理论群论与实践 RL 之间的桥梁，提供了一个稳健的框架，利用已知对称性构建更高效、更具泛化能力的学习智能体。