🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

该论文提出了一种名为正则化潜在动力学预测（RLDP）的简单方法，通过引入正交正则化来维持特征多样性，从而在零样本强化学习场景中超越现有复杂表征学习方法，特别是在数据覆盖不足的情况下表现更为优异。

原作者： Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让机器人变得更“聪明”、更通用的新方法。为了让你轻松理解，我们可以把这篇论文的核心思想想象成教一个机器人如何“举一反三”。

1. 背景：什么是“行为基础模型”（BFM）？

想象一下，你有一个超级机器人，你希望它不仅能做你教它的具体动作（比如“倒水”），还能在你没教过的情况下，自己学会做其他事（比如“擦窗户”或“整理书架”）。

传统方法：就像教一个死记硬背的学生。你教它“倒水”，它就只会倒水。如果你想让它擦窗户，你得重新教一遍。
行为基础模型（BFM）：就像教一个天才学生。你给它看大量的视频（比如它自己在房间里乱跑、跳跃、摔倒的数据），但不告诉它具体要做什么任务。它通过观察，自己总结出了一套通用的“动作语言”。
- 当你需要它“倒水”时，你给它一个指令（比如“把水倒进杯子里”），它就能从自己学到的“动作语言”里，瞬间组合出倒水的动作。
- 当你需要它“擦窗户”时，你换个指令，它又能瞬间组合出擦窗户的动作。

核心挑战：为了让这个“天才学生”真正学会通用的动作语言，我们需要教它如何理解世界。以前的方法（论文中提到的 FB、PSM 等）就像是用极其复杂的数学公式去强行推导未来的状态，这就像让小学生去解微积分，既难学又容易出错（尤其是在数据不够多的时候）。

2. 论文发现了什么问题？

作者发现，以前那种“预测未来”的简单方法（叫潜变量动力学预测）其实有一个大毛病：

比喻：想象你在教学生认字。如果只让他预测“下一个字是什么”，他为了偷懒，可能会把所有字都认成同一个字（比如把所有字都看成“的”），这样预测就永远是对的（因为下一个字确实可能是“的”），但他其实没学会任何真正的区别。
学术术语：这叫特征坍塌（Feature Collapse）。机器人学到的“动作语言”变得千篇一律，失去了区分不同状态的能力。结果就是，当你给它新任务时，它因为分不清“倒水”和“擦窗户”的区别，所以学不会。

3. 他们的解决方案：RLDP（正则化潜变量动力学预测）

作者提出了一个简单但极其有效的方法：RLDP。

核心思想：继续让机器人预测未来（这是好的），但加一条**“强制多样化”的规则**。
比喻：
- 以前的老师只说：“猜出下一个动作是什么。”
- 现在的老师（RLDP）说：“猜出下一个动作是什么，而且，我要求你猜出的每一个动作，都必须和之前的动作完全不同，不能重复，不能偷懒！”
- 这就好比给机器人戴上了一副**“防混淆眼镜”**。它被迫把“走路”、“跑步”、“跳跃”在脑子里区分得清清楚楚，不能把它们混为一谈。

这个“防混淆眼镜”在技术上叫正交正则化（Orthogonal Regularization）。简单来说，就是强制让机器人学到的不同状态，在数学空间里像“互相垂直的坐标轴”一样，彼此独立，互不干扰。

4. 为什么这个方法很厉害？

论文通过大量实验证明了 RLDP 的三大优势：

简单就是强：
- 以前的方法像是一台复杂的瑞士军刀，零件多、容易坏、难调试。
- RLDP 就像一把锋利的手术刀，结构简单（预测未来 + 强制区分），但效果惊人。在大多数测试中，它的表现都能和那些复杂的“瑞士军刀”方法打平，甚至更好。
在“数据少”的时候也能用：
- 比喻：以前的方法就像是一个需要大量样本才能学会的“优等生”。如果只给它看很少的练习册（低覆盖率数据），它就会崩溃，学不到东西。
- RLDP 则像是一个**“天赋型选手”**。即使只给它看很少的练习册，因为它学会了如何“区分”不同的状态，它依然能很好地掌握规律，并在新的任务上表现出色。
适应性强：
- 无论是在简单的二维导航（像玩贪吃蛇），还是复杂的三维人形机器人控制（像教机器人跳舞），RLDP 都能稳定发挥。

5. 总结

这篇论文告诉我们：在教机器人学习通用技能时，我们不需要那些极其复杂、充满数学陷阱的“高级技巧”。

只要让机器人学会预测未来，并加上一个简单的**“强制区分不同状态”**的规则，它就能学会一套强大的通用“动作语言”。这不仅让训练更简单、更稳定，还能让机器人在数据很少的情况下也能快速上手新任务。

一句话总结：
与其给机器人灌输复杂的公式，不如教它**“看清区别，预测未来”**，这样它就能成为真正的“全能选手”。

这篇论文提出了一种名为正则化潜在动力学预测（Regularized Latent Dynamics Prediction, RLDP）的新方法，旨在为行为基础模型（Behavioral Foundation Models, BFMs）提供一种简单且强大的状态特征学习基线，以支持零样本强化学习（Zero-Shot RL）。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

零样本强化学习 (Zero-Shot RL)： 目标是在预训练阶段（无特定奖励信号）学习一个智能体，使其能够在测试阶段面对任意未知的奖励函数或任务时，无需额外训练或规划即可直接生成近最优策略。
行为基础模型 (BFMs)： 这类模型通过学习状态表示 $\phi(s)$ 和基于潜在向量 $z$ 的策略 $\pi_z$ 来实现零样本适应。其中，奖励函数被假设为状态特征的线性组合 $r(s) = \phi(s)^\top z$ 。
核心挑战：
- BFMs 的性能高度依赖于状态表示 $\phi$ 的表达能力（即特征空间的“跨度”能否覆盖各种任务）。
- 现有的最先进方法（如 Forward-Backward, PSM, HILP）通常通过预测**后继度量（Successor Measures）**来学习表示。这涉及复杂的贝尔曼备份（Bellman backups），在离线数据覆盖不足（Low-coverage）或存在分布外（OOD）动作时，容易导致训练不稳定、偏差甚至特征崩溃。
- 关键问题： 为了进行零样本 RL，是否必须使用这些复杂的表示学习目标？简单的潜在动力学预测是否足够？

2. 方法论：RLDP

作者提出了一种基于潜在动力学预测的简单替代方案，并引入了正交正则化来解决特征崩溃问题。

2.1 潜在动力学预测 (Latent Dynamics Prediction)

基本思想： 学习一个状态编码器 $\phi: S \to \mathbb{R}^d$ 和一个潜在动力学模型 $g$ ，使得给定当前状态 $s$ 和动作 $a$ ，可以预测未来的潜在状态 $\phi(s')$ 。
损失函数 ( $L_d$ )： 最小化预测的潜在状态序列与真实编码状态之间的均方误差。
$L_d(\phi, g, w) = \mathbb{E} \left[ \sum_{t=1}^H \| h_t - \bar{\phi}(s_t) \|^2 \right]$
其中 $h_t$ 是通过动力学模型 $g$ 展开得到的潜在状态， $\bar{\phi}$ 是缓慢更新的靶编码器。
优势： 这种方法独立于策略，不需要贝尔曼备份，因此避免了 OOD 动作带来的分布偏移问题，且计算更简单。

2.2 特征崩溃问题与正交正则化

问题发现： 作者观察到，仅使用潜在动力学预测会导致特征崩溃（Feature Collapse）。随着训练进行，不同状态在潜在空间中的表示变得越来越相似（余弦相似度增加），导致特征空间的跨度（Span）减小，无法覆盖多样化的奖励函数。
解决方案： 引入正交正则化（Orthogonal Regularization）。
- 将所有状态表示 $\phi(s)$ 和预测的潜在状态投影到超球面 $S^{d-1}$ 上。
- 添加正则化项 $L_r$ ，最小化任意两个状态表示之间的余弦相似度（即鼓励正交/多样性）：
  $L_r(\phi) = \mathbb{E}_{s,s' \sim \rho} [\phi(s)^\top \phi(s')]$
最终目标函数：
$L_{RLDP} = L_d + \lambda L_r$
其中 $\lambda$ 是正则化系数。

2.3 零样本推理流程

预训练： 在无奖励的离线数据上训练 RLDP 编码器 $\phi$ 。
后继特征学习： 冻结 $\phi$ ，训练后继特征 $\psi$ 和策略 $\pi_z$ ，以预测给定任务嵌入 $z$ 下的后继度量。
测试： 对于新任务 $r_{test}$ ，通过线性回归求解 $z_{test}$ ，然后直接查询策略 $\pi_{z_{test}}$ 获得零样本策略。

3. 主要贡献

提出 RLDP： 一种简单、无需复杂贝尔曼备份的状态特征学习方法，通过正交正则化有效防止了潜在动力学预测中的特征崩溃。
理论保证： 证明了最小化 RLDP 损失可以上界后继度量的预测误差，从而保证学习到的表示足以支持广泛的策略优化。
广泛的实证评估：
- 在连续控制任务（DeepMind Control Suite）中，RLDP 的表现与最复杂的基线方法（FB, PSM）相当甚至更优。
- 在大规模 3D 人形机器人（SMPL Humanoid）任务中，RLDP 展现了强大的竞争力。
- 低覆盖场景（Low-coverage）： 在 D4RL 数据集（数据覆盖度低，包含大量 OOD 动作）上，依赖贝尔曼备份的现有方法性能大幅下降，而 RLDP 依然表现稳健，显著优于基线。
消融研究： 验证了正交正则化对防止特征崩溃的关键作用，以及球面归一化（Spherical Normalization）对稳定训练的重要性。

4. 实验结果

离线零样本 RL (DeepMind Control Suite)：
- 在 Walker, Cheetah, Quadruped, Pointmass 等环境中，RLDP 的平均得分与 PSM 和 FB 相当，且在部分任务（如 Quadruped Jump）中显著超越。
- 随机初始化的特征（Random Features）表现最差，证明了表示学习的重要性。
在线零样本 RL (SMPL Humanoid)：
- 在 45 个复杂的人形控制任务中，RLDP 的表现与基于专家数据正则化的 Oracle 方法（FB-CPR）具有竞争力，且在部分任务（如 raisearms）上甚至超越了 Oracle。
低覆盖数据集 (D4RL)：
- 在 HalfCheetah, Hopper, Walker2D 的 medium 和 medium-expert 数据集上，RLDP 在 6 个任务中的 5 个任务上取得了最佳平均回报。
- 统计检验表明，RLDP 显著优于依赖贝尔曼备份的 FB 和 PSM 方法。这证明了在数据覆盖不足时，避免 OOD 动作查询的 RLDP 具有鲁棒性。
消融实验：
- 移除正交正则化（ $\lambda=0$ ）导致余弦相似度上升，性能下降。
- 移除球面归一化导致方差增大，性能不稳定。

5. 意义与结论

简化了 BFMs 的训练： 论文表明，构建强大的行为基础模型并不需要复杂的后继度量估计或贝尔曼备份。简单的“潜在动力学预测 + 正交正则化”即可达到甚至超越 SOTA 性能。
解决了低覆盖数据的痛点： 现有的 BFMs 方法在离线数据覆盖不足时容易失效，而 RLDP 因其策略无关性和对 OOD 动作的鲁棒性，成为低覆盖场景下的理想选择。
通用性与可扩展性： 该方法不仅适用于简单的连续控制，也能扩展到高维度的 3D 人形机器人控制，为未来在真实世界机器人（Real-world Embodiments）中应用行为基础模型提供了更稳定、更简单的技术路径。

总结： 这篇论文通过引入正交正则化，成功解决了潜在动力学预测中的特征退化问题，提出了一种简单、高效且鲁棒的零样本 RL 基线方法，挑战了当前领域对复杂表示学习目标的依赖。