🤖 machine learning

Generalization in offline RL: The structure is more important than the amount of pessimism

本文认为，在离线强化学习中，成功的泛化取决于悲观价值函数相对于最优解对称性的结构对称性，而非悲观程度本身，并证明了通过在策略提取过程中利用一致性损失来强制执行对称性，比标准的数据增强能产生更好的性能。

原作者： Max Weltevrede, Matthijs T. J. Spaan, Wendelin Böhmer

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Weltevrede, Matthijs T. J. Spaan, Wendelin Böhmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：不在于你推得有多用力，而在于你如何站立

想象你正在教一个机器人玩“到达中心”的游戏。这个机器人有一个肩膀和一个肘部，它需要移动它的手去触碰一个绿色的目标。

在**离线强化学习（Offline Reinforcement Learning）**中，机器人无法实时参与游戏。相反，它只能通过研究一本由别人制作的巨大相册（数据集）来学习。问题在于，这本相册可能缺少某些动作的照片，或者照片可能是模糊的。如果机器人在面对从未见过的全新情况时试图猜测该怎么做，它可能会变得过度自信，从而犯下严重的错误。

为了防止这种情况，大多数研究人员教机器人变得悲观（Pessimistic）。在这里，把“悲观”理解为一种“安全制动”。机器人被告知：“如果你不能百分之百确定这个动作以前是否成功过，那就假设它会失败，并给它一个非常低的分数。” 这能防止机器人变得过度自信。

普遍的观点：
一段时间以来，人们一直认为：“机器人越是悲观（谨慎），它的泛化能力就越差。” 这种想法是：如果你把安全制动踩得太死，机器人就会变得过于胆小，不敢学习任何新事物，从而无法适应新环境。

论文的发现：
这篇论文指出，踩刹车的力度并没有那么重要，重要的是刹车是如何构建的。

作者说：结构比悲观的程度更重要。

结构比悲观的程度更重要。

类比：旋转桌子

为了证明这一点，研究人员使用了一个特定的环境，称为**“旋转机械臂（Rotational Reacher）”**。

想象一张圆桌，中心有一个目标。

对称性： 无论这张桌子旋转 90 度、180 度还是 360 度，情况都是一样的。物理规则保持不变。如果机器人知道当桌子面向北时如何到达中心，那么逻辑上它也应该知道当桌子面向东时如何到达中心。这被称为对称性（Symmetry）。
训练： 机器人只能看到桌子处于四个特定位置的照片：北、东、南、西（每 90 度一个步长）。
测试： 然后，机器人将在任何角度（比如 45 度或 13 度）旋转的桌子上接受测试。

两种类型的“悲观”

研究人员测试了将“安全制动”（悲观主义）应用于机器人学习的两种不同方式。

1. “对称型”制动（好的类型）

想象机器人有一本尊重圆桌规则的规则手册。如果机器人学到“动作 A 在桌子向北时是有风险的”，它的规则手册会自动说：“好吧，那么动作 A 在向东、向南和向西时也是有风险的。”

结果： 即使机器人极其悲观（它认为几乎所有动作都是危险的），它仍然能学会正确的模式。因为它的“恐惧”与世界的形状是一致的，所以它能完美地泛化。它可以处理 45 度的桌子，因为它的逻辑在旋转下依然成立。

2. “非对称型”制动（坏的类型）

现在，想象机器人有一本错误的规则手册。它学到“动作 A 在桌子向北时是有风险的”，但它却没意识到这种风险也应该适用于向东的位置。也许它认为向东的位置是安全的，尽管两者的物理特性完全相同。

结果： 即使机器人仅仅是轻微悲观（它几乎没有表现出谨慎），它也会失败得很惨。因为它的“恐惧”是破碎的，且不符合桌子的对称性，所以当桌子旋转到新角度时，它会感到混乱。它之所以犯错，是因为它的内部逻辑是不一致的。

主要结论

这篇论文证明了一个反直觉的事实：

一个极其悲观但对称（一致）的机器人将会成功。
一个轻微悲观但非对称（不一致）的机器人将会失败。

教训是： 机器人的恐惧程度并不重要；重要的是它的恐惧是否符合世界的规则。

解决方案：“一致性”训练

由于机器人的“恐惧”（价值函数）是从数据中学习到的，而数据可能是混乱或不完整的，机器人可能会在无意中学会一本破碎的、非对称的规则手册。

论文提出了一种名为**数据增强一致性（Data Augmentation Consistency, DAC）**的修复方法。

旧方法： 你把照片旋转一下，然后把它们加入相册，接着让机器人正常地学习这个更大的相册。
新方法（论文的建议）： 你训练机器人，但在最后添加一个特殊的“一致性检查”。你给机器人看一张桌子向北的照片，然后给它看同一张照片旋转到向东后的样子。你告诉机器人：“你对向北照片的回答和对向东照片的回答必须完全一样。”

如果机器人试图给出不同的答案，你会惩罚它。这迫使机器人去学习世界的对称性，无论它有多么悲观。

实验结果

研究人员在两个流行的机器人学习算法（IQL 和 CQL）上测试了这一点。

他们发现，仅仅增加更多数据（旧方法）只有微小的帮助。
但强制机器人保持一致性（新方法）帮助最大。机器人变得能够更好地处理它从未见过的角度。

一句话总结

在离线机器人学习中，不在于你有多谨慎，而在于确保你的谨慎遵循着你试图掌握的世界的规则。如果你的“恐惧”与世界的形状保持一致，你可以尽情地保持谨慎，并且依然能取得成功。

标题：离线强化学习中的泛化性：结构比悲观程度更重要

问题陈述
离线强化学习（Offline RL）旨在从固定的、静态的数据集中学习最优策略，而无需进一步与环境交互。为了缓解对分布外（OOD）动作的过估计偏差，大多数最先进的方法都采用了悲观价值学习或保守性策略。然而，最近的文献表明，过度保守可能会阻碍向新场景的泛化，或阻碍轨迹拼接（trajectory stitching）。虽然一些方法主张采用“温和”的保守性以提高泛化能力，但目前尚不清楚悲观程度的度量还是悲观价值函数的结构属性才是零样本策略迁移（ZSPT）性能的主要决定因素。具体而言，在具有底层对称性（例如旋转不变性）的环境中，尚不清楚一个高度悲观但对称的价值函数是否比一个轻微悲观但非对称的价值函数具有更好的泛化性能。

方法论
作者通过在上下文马尔可夫决策过程（CMDPs）下的通用性通过不变性零样本策略迁移（GTI-ZSPT）框架内，结合理论分析和实证验证来研究这个问题。

理论框架：
- 作者将泛化形式化为：尽管在训练数据中仅观察到子群 $B \leq G$ ，但智能体能够学习到最优解的正确对称群 $G$ 的能力。
- 他们利用 Q值蒸馏（Q-value distillation） 作为离线强化学习机制的代理。这隔离了从特定悲观价值函数学习的过程与强化学习算法本身复杂性之间的影响。
- 分析假设处于无限宽神经网络极限下，利用神经切线核（NTK）以及 Gerken & Kessel (2024) 关于深度集成等变性的结果。
- 他们证明了两个关键定理：
  - 定理 1： 如果悲观价值函数遵循训练数据的底层对称群 $B$ ，则无论悲观程度（ $\eta_{max}$ ）有多大，智能体都能实现最优的泛化性能。
  - 定理 2： 相反，存在某些实例，其中违反对称结构（ $\hat{Q}_{asym}$ ）的轻微悲观价值函数，其泛化性能注定会比高度悲观但对称的价值函数（ $\hat{Q}_{sym}$ ）差得多。
实证验证：
- 环境： 一个具有旋转对称性的“旋转机械臂”（Rotational Reacher）连续控制环境。训练上下文覆盖了一个 $C_4$ 子群（90° 旋转），而测试覆盖了完整的 $SO(2)$ 群。
- 算法： 研究评估了 隐式 Q 学习（IQL） 和 保守 Q 学习（CQL）。
- 数据增强（DA）策略： 本文比较了标准数据增强（在增强数据集上训练）与 数据增强一致性（DAC） 正则化。DAC 通过添加一个损失项来强制执行对称性，该损失项最小化原始输入与增强输入之间的网络输出（或潜在表示）之差。
- 假设： 作者认为 DAC 对于离线强化学习更优，因为它显式地强制执行了价值函数/策略的结构（对称性），将对称性置于价值估计的准确性之上，这与他们的理论发现相一致。

核心贡献

理论洞察： 本文确立了价值函数的结构比其量级对泛化更为关键。它证明了只要价值函数尊重环境的对称性，即使具有任意高的悲观程度，也能实现最优的泛化。
反直觉发现： 它证明了轻微的悲观并不保证更好的泛化；如果轻微的悲观破坏了所需的对称结构，其表现可能比高度悲观的对称替代方案差得非常多。
方法论提议： 作者建议通过在策略提取过程中应用数据增强一致性（特别是针对 IQL 中的 Actor）来应用数据增强，而不是标准的在增强数据集上训练的做法。这种方法直接强制执行了策略/价值函数的对称结构。
实证证据： 在 Rotational Reacher 任务上的实验显示，DAC-Output（在网络输出上强制执行一致性）取得了最好的泛化性能，优于无增强基准和标准增强训练（Aug-D）。

结果

Q值蒸馏： 在使用 Rotational Reacher 的理论验证中，对称悲观目标（ $\hat{Q}^*_{sym}$ ）即使在悲观程度增加一个数量级时，仍保持接近最优的测试性能。相比之下，非对称目标（ $\hat{Q}^*_{asym}$ ）随着悲观程度的增加，测试性能显著下降。
离线强化学习实验：
- 对于 IQL 和 CQL，应用 DAC-Output 在专家、混合和次优数据集上均一致实现了最高的测试回报。
- 标准数据增强（Aug-D）虽优于无增强基准，但通常表现不如或仅等同于一致性损失方法。
- 在 IQL 中仅对 Critic 应用数据增强（而不对 Actor 应用）并未比基准表现出改进，这证实了在策略提取组件上强制执行对称性至关重要。

意义与主张
本文声称，主流直觉——即减少保守性是实现泛化的必要条件——是不完整的。相反，作者认为强制执行正确的结构对称性才是成功实现离线强化学习零样本迁移的主要驱动力。

这项工作的意义在于将关注点从“我们应该有多保守？”转向“我们的保守性是否尊重环境的对称性？”。作者认为，在离线强化学习中，由于数据集覆盖范围可能导致非对称偏差，因此像 数据增强一致性（DAC） 这样的技术是必不可少的。通过在策略提取过程中优先考虑对称性而非价值准确性，DAC 使智能体即使在价值函数高度悲观的情况下也能实现最优泛化。这挑战了仅将数据增强作为增加训练数据集大小的常规做法，表明它应该被用作强制执行结构不变性的正则化项。

局限性
作者承认存在以下局限性：

理论证明依赖于神经网络的无限宽极限，尽管在有限宽网络上的实证结果支持了该理论。
分析侧重于与数据分布一致的内在群对称性。目前尚未证明这些结论是否适用于仅用于正则化的外在或不一致的变换（例如随机噪声）。
研究结果目前是在 Rotational Reacher 任务和两种特定算法（IQL, CQL）上进行验证的，需要在更复杂的环境和算法中进行更广泛的验证。