🤖 machine learning

Operator-Guided Invariance Learning for Continuous Reinforcement Learning

本文提出了 VPSD-RL，这是一个连续强化学习框架，它利用李群算子和拉回映射来发现精确和近似的值保持结构，从而提高数据效率并增强对无关变异的鲁棒性。

原作者： Zuyuan Zhang, Fei Xu Yu, Tian Lan

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Zuyuan Zhang, Fei Xu Yu, Tian Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿过一个复杂且多风的迷宫。在强化学习（RL）的世界中，机器人通过试错来学习：它尝试一步，获得奖励或惩罚，然后进行调整。问题在于，这个过程通常数据饥渴且脆弱。如果风向稍有变化，或者机器人从一个略有不同的位置开始，它可能会感到困惑，不得不从头开始重新学习一切。

本文介绍了一种名为VPSD-RL（强化学习的价值保持结构发现）的新方法。这相当于赋予机器人一种“超能力”，使其能够识别迷宫中它原本不知道存在的隐藏模式。

以下是其工作原理的分解，使用了简单的类比：

1. 问题：机器人是“近视”的

大多数机器人一次只观察一种特定情况。如果机器人学会了“在红墙处左转有效”，它仅知道这对那面完全相同的红墙有效。如果墙是蓝色的，或者机器人向左移动了 2 英寸，机器人就会将其视为一个全新的问题。它忽略了迷宫的物理特性实际上是一样的这一事实；改变的仅仅是视角。

2. 解决方案：寻找“隐藏镜像”

作者提出，许多环境具有隐藏对称性或模式。

类比：想象一个万花筒。如果你旋转管筒，图案会发生变化，但碎片组合在一起的规则保持不变。即使图案旋转，“价值”（某个动作有多好）也保持不变。
目标：VPSD-RL 试图自动发现这些“旋转”或“镜像”（数学上称为李群和算子），而无需被告知它们是什么。它会问：“是否存在一种方式可以转换这种情况，使得最佳动作保持不变？”

3. 工作原理：三步舞

本文描述了一个用于发现这些模式并利用它们的流程：

步骤 A：侦探工作（寻找规则）
机器人收集数据（步骤、奖励、结果）。算法寻找“无穷小生成元”。
- 类比：想象观察一名舞者。你无法一次性看到整个舞蹈，但如果你观察最细微、几乎不可见的肌肉抽动，你就能推测出整个动作的方向。算法寻找这些微小的“抽动”（数学向量），它们描述了环境如何变化，同时保持“得分”（价值）不变。这是通过求解一组称为确定方程的数学谜题来实现的。
步骤 B：扩展（从微小到宏大）
一旦算法找到了微小的“抽动”，它就需要看到整个舞蹈。
- 类比：如果你知道某处河流的流向，你就可以预测一英里下游的水流方向。算法利用这些微小的数学“抽动”，并通过“指数化”（使用常微分方程流）来生成完整的、大规模变换。它将微小的推动转化为整个迷宫的完整旋转或位移。
步骤 C：作弊表（利用知识）
既然机器人知道了隐藏模式，它就利用它们来更快地学习。
- 转换增强：如果机器人在 A 点学到了一个教训，而算法知道 B 点只是 A 点的“旋转”版本，那么机器人会立即将该教训应用到 B 点。这就像用英语读一本书，因为你知道语法规则，所以能瞬间理解翻译成西班牙语的同一个故事。
- 一致性正则化：如果机器人对“等价”情况给出不同的答案，它将受到惩罚。这迫使机器人保持一致：“如果在这里左转是好的，那么在那里也必须是好的。”

4. 如果模式不完美怎么办？

在现实世界中，事情很少是完美的。风可能会吹得略有不同，或者墙壁可能略微不平。

论文主张：作者证明，即使模式只是近似的（不是完美的镜像），机器人的性能仍然会保持稳定。
类比：想象走在一条略微颠簸的路上。你不需要道路完全平坦才能行走；你只需要知道颠簸是可预测的。论文表明，只要“颠簸”（误差）很小，机器人的“最优路径”就不会崩溃；它只会稍微晃动，而数学保证了它晃动的具体程度。

5. 结果：更快、更坚韧

作者在模拟机器人任务（如机器人跳跃、行走或在迷宫中导航）上测试了这种方法。

结果：与标准机器人相比，VPSD-RL 机器人学习得更快（它们需要更少的尝试就能变好），并且更稳健（它们更好地应对环境变化）。
为什么？ 因为它们不是从头开始学习每一个步骤，而是学习了世界的结构。它们意识到：“哦，迷宫的整个部分只是我已经掌握的那部分的旋转版本！”

总结

VPSD-RL 是一种工具，它帮助 AI 智能体停止死记硬背游戏的每一个细节，转而理解世界的底层几何结构。它自动发现数据中隐藏的“对称规则”，利用它们来倍增机器人的经验，并保证即使世界不是完全对称的，机器人仍然能可靠地执行任务。

技术摘要：连续强化学习中的算子引导不变性学习

问题陈述

具有连续状态和动作空间的连续时间强化学习（RL）通常数据需求量大，且在面对干扰性变异和分布偏移时表现脆弱。尽管现有方法利用了特定的对称性（例如旋转或平移中的精确等变性）或不变特征，但它们难以发现更通用的、数据驱动的、能够保持价值函数的结构。具体而言，目前缺乏能够识别通用价值保持变换（包括精确和近似变换）的框架，这些变换需要非线性算子来映射具有同构价值函数的连续系统。核心挑战在于超越预设的对称性，去发现能够稳定学习并提高数据效率的内在结构，而无需预先假设变换群的知识。

方法论：VPSD-RL

作者提出了VPSD-RL（强化学习的价值保持结构发现），这是一个将连续 RL 建模为受控扩散过程的框架。该方法论基于算子理论和李群作用，分为三个主要阶段：

1. 理论公式化

该框架在受控生成元（马尔可夫半群的无穷小生成元）和奖励泛函的层面上定义价值保持。

精确价值保持结构：如果拉回价值函数并推前动作与受控生成元 $L_a$ 和奖励 $r$ 交换，则变换对 $(g_\vartheta, h_\vartheta)$ （分别作用于状态和动作）是价值保持的。形式上，这要求：
$L_a(f \circ g_\vartheta) = (L_{h_\vartheta(a)}f) \circ g_\vartheta \quad \text{且} \quad r(g_\vartheta(s), h_\vartheta(a)) = r(s, a)$
确定方程：通过对这些算子恒等式沿单参数子群求导，作者推导出了关于漂移 $b$ 、扩散矩阵 $Q$ 和奖励 $r$ 的局部偏微分方程（PDE）约束（即“确定方程”）。这些方程刻画了价值保持李群作用的无穷小生成元 $(X, Y)$ 。
近似结构：认识到精确对称性在现实世界数据中较为罕见，该框架扩展到了近似价值保持结构。在此情况下，算子的交换性由失配误差 $(\epsilon_L, \epsilon_r)$ 界定。作者证明了有界的生成元/奖励失配意味着最优价值函数 $V^\star$ 具有定量的稳定性界，其中误差与失配呈线性缩放，并受有效视界（ $1/\beta$ ）放大。

2. 算法流程

VPSD-RL 通过以下学习流程将这些原则具体化：

学习无穷小生成元：算法通过最小化从可微环境模型（漂移、扩散和奖励）导出的确定方程（公式 12–14）的经验残差，来学习向量场 $X_\theta$ （状态生成元）和 $Y_\phi$ （动作生成元）。
通过流积分进行指数化：使用常微分方程（ODE）流对学到的无穷小生成元进行指数化，以获得有限变换 $(g_\alpha, h_\alpha)$ 。这一步从无穷小层面恢复了有限群作用。
RL 集成：将发现的有限变换通过以下方式集成到 RL 循环中：
- 转换增强：将收集的经验元组 $(s, a, s', r)$ 转换为 $(g_\alpha(s), h_\alpha(a), g_\alpha(s'), r)$ 以填充回放缓冲区，从而有效地沿价值保持轨道共享经验。
- 变换一致性正则化：在损失函数中添加惩罚项，以鼓励价值和策略网络对变换后的状态 - 动作对产生一致的预测。

3. 理论保证

本文建立了端到端的保证：

优化：结构发现目标的随机优化以标准 SGD 速率（ $O(1/\sqrt{T})$ ）收敛到近似驻点。
统计一致性：在可实现性假设下，学到的生成元在 $\rho$ -均值意义下收敛到确定方程的解，从而将算子失配驱动至数据支撑集上的零。
稳定性：对于近似结构，受扰动的贝尔曼算子仍然是压缩映射，且不动点误差由失配幅度界定。

关键结果

作者在可解释的合成受控扩散和标准连续控制基准（MuJoCo：Hopper、Walker2d、Ant；以及 SymNav 变体）上评估了 VPSD-RL。

结构发现：在具有已知真实对称性（例如平面旋转、反射）的合成环境中，最小化确定方程残差成功恢复了与真实对称性对齐的无穷小生成元。这导致沿学习流的经验价值非不变性降低。
性能提升：
- SymNav：VPSD-RL 在具有障碍物和风力干扰的 15 种导航任务变体中表现出更高的样本效率和鲁棒性，优于 SAC、TD3 和 PPO 等基线。
- MuJoCo：该方法显示出任务相关的改进。在 Hopper（单一跳跃模板）上的提升较为温和，但在 Walker2d（左右相位对应）上更为显著，在 Ant-v4 上最强，因为多肢协调产生了更丰富的近似价值保持模式。
- 定量指标：在 Ant-v4 上，VPSD-RL 实现了更高的最终回报（5822 对比 SAC 的 4477）和更大的曲线下面积（AUC），且计算开销适中。

意义与主张

本文主张VPSD-RL提供了一个新颖的、算子层面的框架，用于在连续 RL 中发现和利用价值保持结构，而无需依赖预设的对称性。

对称性的推广：该框架将经典李对称性作为特例而非设计前提进行概括，允许发现通用的、数据驱动的结构。
严格的稳定性：它提供了严格的理论保证，将生成元/奖励的失配与最优价值函数的稳定性联系起来，提供了对近似不变性如何影响策略性能的定量理解。
数据效率：通过利用发现的结构进行转换增强和一致性正则化，该方法提高了连续控制设置中的数据效率和鲁棒性，特别是在存在有用变换但先验未知的情况下。

作者强调，学到的流是局部的，其可靠性通过残差和不变性诊断进行评估，并承认该方法依赖于可微的代理模型，如果价值保持关系仅在狭窄的数据支撑集上成立，或者动力学具有强不连续性，该方法可能会退化。