🤖 machine learning

Debiased Model-based Representations for Sample-efficient Continuous Control

本文提出了 DR.Q，这是一种去偏的基于模型的表示算法，通过在最大化状态 - 动作对与下一状态之间互信息的同时采用衰减优先经验回放来减轻过拟合和表示偏差，从而提升连续控制中的样本效率。

原作者： Jiafei Lyu, Zichuan Lin, Scott Fujimoto, Kai Yang, Yangkun Chen, Saiyong Yang, Zongqing Lu, Deheng Ye

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiafei Lyu, Zichuan Lin, Scott Fujimoto, Kai Yang, Yangkun Chen, Saiyong Yang, Zongqing Lu, Deheng Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路、跑步或打篮球。在人工智能领域，这被称为强化学习。机器人通过尝试、失败、获得“分数”（奖励），然后再次尝试来学习。

问题在于，机器人通常很难高效地学习。它们可能需要练习数年（数百万步），仅仅为了学会如何走路而不摔倒。这既昂贵又缓慢。

为了解决这个问题，研究人员使用了一种称为基于模型的表示的技巧。这相当于给机器人一张“心理地图”或一个“梦境世界”。机器人不再仅仅对摄像头的原始像素或传感器的原始数值做出反应，而是试图理解世界变化的规则。如果它移动了腿，接下来会发生什么？通过学习这些规则，它可以学得更快。

然而，这篇论文指出，目前机器人构建这些“心理地图”的方式存在两个主要缺陷。作者 Jiafei Lyu 及其同事提出了一种名为DR.Q（用于 Q 学习的去偏基于模型表示）的新方法，以修复这些缺陷。

以下是 DR.Q 的工作原理，通过简单的类比进行解释：

当前方法的两个问题

1. “虚假对齐”问题（错误的地图）
当前的方法试图通过确保机器人的“预测”在数值上与“现实”完全一致，来教导机器人预测未来。

类比：想象你正在学习一门新语言。一位糟糕的老师告诉你：“只要确保你的口音听起来和我的一模一样。”你可能会完美地模仿声音，但你并没有真正学习单词的含义。当你想说“汽车”时，你可能在说“苹果”，但只要声音足够接近，老师就会满意。
论文主张：当前的人工智能就是这样做的。它最小化了“预测”与“实际发生”之间的“距离”，但这并不能保证机器人真正理解了这种联系。它可能是在记忆噪声或无关细节（比如天空的颜色），而不是重要的机制（比如腿部如何移动）。

2. “陈年旧闻”问题（糟糕的记忆）
机器人从“经验回放缓冲区”中学习，这就像一本记录了它们所做一切事的日记。

类比：想象一个学生在为考试学习。他们有一本记录了所有过去错误的日记。
- 旧方法 A（均匀）：他们平等地阅读日记的每一页，甚至是去年那些无聊的内容。
- 旧方法 B（优先）：他们只阅读那些得了糟糕成绩（大错误）的页面。这很好，但是，他们会一遍又一遍地反复阅读日记开头的那些相同的糟糕错误。他们被困在过去，无法从最近的进步中学习。
论文主张：机器人会“卡”在旧的、糟糕的经历上。它们过度拟合早期的失败，而忽略了新的、有用的教训。

DR.Q 的解决方案

DR.Q 通过两个巧妙的技巧解决了这两个问题：

1. “深度连接”技巧（互信息）
DR.Q 不再只是告诉机器人“让你的预测看起来像现实”，而是说“确保你的预测与现实深度关联"。

类比：机器人不再只是模仿老师的口音，而是被强制去理解单词之间的关系。如果你说“苹果”，机器人必须理解下一个词很可能是“派”或“树”，而不仅仅是声音相似。
工作原理：该算法添加了一个特殊的数学规则（称为互信息），迫使机器人的内部“心理地图”捕捉关于世界运作方式的最重要信息，忽略无用的噪声。它确保地图是对规则的真实反映，而不仅仅是一个廉价的复制品。

2. “新鲜且重要”技巧（衰减的优先回放）
DR.Q 改变了机器人阅读其日记的方式。

类比：想象一本日记，其页面的权重由两件事决定：
1. 你从中学习了多少（你是否犯了一个大错误？很好，学习这个！）。
2. 它有多新（这是昨天的还是去年的？）。
工作原理：DR.Q 使用一种“衰减”系统。如果一个错误巨大，它会受到关注。但如果这个错误发生在很久以前，其重要性就会“衰减”。这确保机器人专注于近期、有价值的教训，而不再执着于旧的、无关的失败。它在从大错误中学习与保持与时俱进之间取得了平衡。

结果

作者在 73 个不同的机器人任务上测试了 DR.Q，从简单的走路到复杂的任务，如人形机器人后空翻或狗奔跑。

结果：DR.Q 的学习速度更快，表现优于几乎所有其他顶级方法。
类比：当其他机器人还在跌跌撞撞地试图弄清楚如何站立时，DR.Q 已经在跑马拉松了。在某些情况下，它的表现显著更好，有时甚至优势巨大。
一套规则：最棒的部分是什么？他们对每一个任务都使用了完全相同的设置（超参数）。他们不需要为每一个新游戏调整机器人的大脑；它直接就能工作。

总结

这篇论文介绍了DR.Q，一种让机器人更聪明的学习方式。它阻止机器人记忆无用的细节，并阻止它们执着于旧的错误。通过迫使机器人更深入地理解世界运作的方式，并专注于新鲜、重要的教训，DR.Q 使机器人能够比以前更快、更可靠地学习复杂的技能。

技术摘要：用于样本高效连续控制的去偏基于模型的表征

问题陈述

强化学习（RL）智能体常受困于样本效率低下，需要大量的在线交互才能学习出有效的策略。尽管无模型方法已通过多种技术提高了效率，但基于模型的方法通过学习环境动力学提供了更高的样本效率，却伴随着高昂的训练成本。近期的混合方法尝试学习基于模型的表征（将潜在动力学嵌入到状态 - 动作表征中）以馈送给下游的演员 - 评论家网络，从而结合两种范式的优势。

然而，作者指出了现有基于模型的表征方法中存在两个导致次优性能的关键偏差来源：

表征偏差：现有方法通常最小化当前状态 - 动作表征（ $z_{sa}$ ）与下一状态表征（ $z_{s'}$ ）之间的数值偏差（例如，均方误差）。作者认为，最小化欧几里得距离并不内在地最大化这些表征之间的互信息。因此，学习到的表征可能无法捕捉足够的相关信息，或者在高维空间中过拟合于冗余元素。
采样偏差：标准的经验回放策略，如均匀采样或优先经验回放（PER），容易受到优先偏差（primacy bias）的影响。PER 倾向于选择具有较大时序差分（TD）误差的转换，而这些转换通常对应于早期的、可能次优的经验。这导致智能体过拟合于早期数据，这些数据可能与当前的策略分布显著偏离，从而引起训练不稳定和性能低下。

方法论：DR.Q 算法

为了解决这些问题，作者提出了DR.Q（用于 Q 学习的去偏基于模型表征），这是一种旨在学习信息丰富的基于模型表征的离线 RL 算法。该框架将学习过程分为两个阶段：(i) 使用基于模型的目标学习状态和状态 - 动作表征，以及 (ii) 优化下游价值函数和策略。

1. 表征学习中的互信息最大化

DR.Q 修改了编码器训练目标，除了最小化表征间的偏差外，还显式地最大化状态 - 动作表征（ $z_{sa}$ ）与下一状态表征（ $z_{s'}$ ）之间的互信息。

潜在一致性损失：最小化预测的下一状态表征与目标下一状态表征之间的均方误差（MSE）。
互信息损失：为了避免直接计算互信息的不可行性，DR.Q 采用InfoNCE 损失（互信息的下界）。该损失不仅鼓励表征在数值上接近，还鼓励它们编码关于潜在动力学的共享且信息丰富的知识。
理论依据：作者证明（定理 4.1），最小化 MSE 并不能保证互信息的增加。此外，他们表明（引理 4.2），最大化互信息严格降低了给定当前状态 - 动作的下一状态的条件熵，从而产生更确定性和更具判别性的潜在动力学模型，这收紧了价值估计误差的上界。

2. 衰减优先经验回放（Faded PER）

DR.Q 引入了一种新颖的采样策略，通过将优先经验回放（PER）与遗忘机制相结合来缓解优先偏差。

机制：转换 $e_i$ 的采样概率 $P(i)$ 与其 TD 误差幅值及其在回放缓冲区中存留时间的衰减因子的乘积成正比：
$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$
其中 $\delta(i)$ 是 TD 误差， $\alpha$ 是平滑系数， $\epsilon$ 是衰减率。
效果：该策略赋予那些既新（最近添加）又信息丰富（TD 误差大）的转换高优先级。它确保即使早期具有较大误差的旧经验，也会随着策略的演变而逐渐被降低优先级，从而防止智能体过拟合于过时的数据。
理论分析：作者提供了理论界限（定理 4.3），表明在 Faded PER 下，具有相同 TD 误差的旧经验的采样概率严格低于新经验，且旧经验的预期采样次数是有界的。

主要贡献

DR.Q 算法：一种通用的离线 RL 算法，使用单一组超参数即可在多种连续控制基准上学习基于模型的表征。
去偏表征学习：引入基于 InfoNCE 的互信息损失以补充标准的潜在一致性损失，确保表征具有足够的信息量和表达能力。
衰减优先经验回放：一种采样策略，有效地平衡了优先处理高误差转换的优势与遗忘过时经验的需求，从而缓解优先偏差。
全面评估：在来自三个标准基准（MuJoCo、DMC Suite 和 HumanoidBench）的 73 个任务上进行了广泛的实证验证，展示了其鲁棒性和泛化能力。

实验结果

作者将 DR.Q 与强大的基线进行了评估，包括无模型方法（如 SimBaV2、FoG、TD7）和基于模型的方法（如 MR.Q、TDMPC2、DreamerV3）。

性能：DR.Q 始终与最先进基线持平或超越。显著改进包括：
- 在 DMC-Hard 任务上比 SimBaV2 提高了15.5%。
- 在 HumanoidBench（具有灵巧手）任务上比 FoG 提高了58.9%。
- 在 DMC-Visual 任务上比 MR.Q 领先26.8%。
样本效率：DR.Q 实现了卓越的样本效率，通常大幅超越基线。例如，它是首个在 100 万环境步内于具有挑战性的 dog-run 任务上实现平均回报超过 700 的方法。
消融研究：实验证实，移除 InfoNCE 损失或 Faded PER 机制会导致性能显著下降，特别是在具有冗余状态信息的高维任务上（例如，带手的 HumanoidBench）。
表征质量：t-SNE 可视化表明，与 MR.Q 相比，DR.Q 学习到了更连续且更集中的簇，表明其潜在空间的结构学习更好。

意义与主张

该论文声称，DR.Q 代表了构建高性能且通用的无模型 RL 算法的具体一步。通过显式解决表征学习（通过互信息最大化）和经验回放（通过 Faded PER）中的偏差，DR.Q 在无需针对特定任务调整超参数或进行复杂架构更改的情况下实现了强大的性能。

作者指出了局限性，例如在特定任务如 Hopper-v4 上性能较差（归因于使用统一超参数），以及在有限训练预算下在极难视觉任务如 humanoid-run 上面临的挑战。他们还承认，该算法并非专为硬探索或非马尔可夫任务设计。尽管存在这些局限性，该工作证明了去偏基于模型的表征是增强连续控制中样本效率的一条可行路径。