🤖 machine learning

Confounding Robust Continuous Control via Automatic Reward Shaping

本文提出了一种基于因果贝尔曼方程的方法，通过从可能存在未观测混杂变量的离线数据中自动学习势函数，从而在连续控制任务中实现具有因果鲁棒性的奖励塑造（Reward Shaping）。

原作者： Mateo Juliani, Mingxuan Li, Elias Bareinboim

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Mateo Juliani, Mingxuan Li, Elias Bareinboim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 背景：那个“带偏见”的教练 (The Problem)

想象一下，你想学开车。你没有机会直接上路练习，只能通过看一段**“录像带”**来学习。

正常的学习（MDP）： 录像带里清晰地记录了：方向盘转了多少度 $\rightarrow$ 车轮转了多少度 $\rightarrow$ 车子往哪开。你看了录像，就能学会开车。
现实的难题（Confounding/混淆变量）： 录像带里的司机是一个“老司机”，他不仅看路，还看天气、看路面是否有积水、甚至看路边的行人。但是，录像带里并没有记录这些信息（这就是“未观测到的混淆变量”）。

麻烦来了：
你在看录像时，看到老司机在转弯时猛打方向盘，车子却很稳。你以为“猛打方向盘”是稳稳过弯的秘诀，但实际上是因为录像里没告诉你，当时路面是干的。如果你直接模仿，遇到下雨天（你不知道的信息），你就会直接撞墙。

这就是论文要解决的问题： 当我们学习的“历史数据”是由一个拥有“上帝视角”的专家录制的，而我们自己只有“普通视角”时，我们该如何避免被这些隐藏的信息给“带偏”？

2. 核心武器：自动化的“奖励修正术” (The Solution)

为了不被带偏，作者提出了一个绝招：自动奖励塑造 (Automatic Reward Shaping)。

我们可以把这个过程想象成给学习者配了一个**“智能纠偏教练”**。

第一步：寻找“乐观的上限” (Causal Bellman Equation)

这个教练非常聪明，他不仅看录像里发生了什么，还会进行**“脑补”。
当他看到老司机做了一个动作时，他会想：“如果老司机当时没做这个动作，或者换个动作，情况会变好还是变坏？”
他通过一种数学公式（因果贝尔曼方程），计算出一个“最乐观的可能值”。他不是在模仿录像里的动作，而是在试图理解：“在目前我能看到的信息下，这个状态到底有多大潜力？”**

第二步：给“小甜点” (Potential-Based Reward Shaping)

有了这个“潜力值”后，教练开始给学习者发“小甜点”（额外的奖励信号）。
比如，你正在学开车，虽然你还没开到终点，但教练发现你现在的姿态非常接近“稳健过弯”的潜力状态，他就会立刻给你一个**“虚拟奖励”**。

这种奖励有个神奇的特性：它只负责引导你走正确的路，而不会改变最终的目标。 就像你在迷宫里走，教练不是直接把你拉到出口，而是在你走对方向时拍拍你的肩膀说“走这儿没错”，让你自己走过去。

3. 实验结果：它真的有用吗？ (The Results)

作者在一些复杂的机器人模拟环境（比如让机器人走路、像猩猩一样跳跃）中做了测试。

对比组 A（笨学生）： 直接模仿录像，结果遇到信息缺失（比如看不见腿的角度）就直接摔跤。
对比组 B（死记硬背的学生）： 试图记住所有动作，结果被隐藏的信息误导，学到了错误的逻辑。
我们的主角（带了智能教练的学生）： 即使看不见某些关键信息，也能通过教练提供的“潜力引导”，快速摸索出正确的动作逻辑，表现远超其他对手。

总结一下

这篇论文其实是在教AI如何**“透过现象看本质”**。

它告诉AI：“不要只看录像里的人做了什么，要通过逻辑推导，去理解那些看不见的因素可能带来的影响。即使信息不全，也要通过建立一个‘乐观的潜力地图’，来指引自己走向成功。”

一句话总结： 这是一套让AI在“信息不对称”的劣质数据中，通过“脑补潜力”和“自我奖励”来变聪明的算法。

这是一篇关于在存在**未观测混杂变量（Unobserved Confounders）的情况下，如何通过自动奖励塑造（Automatic Reward Shaping）**实现鲁棒连续控制的研究论文。

以下是该论文的详细技术总结：

1. 问题定义 (Problem Statement)

在强化学习（RL）的离线预训练（Offline Pre-training）场景中，通常假设离线数据集是由与在线智能体具有相同感知能力的策略生成的。然而，在现实世界中，离线数据往往由具有“特权信息”（Privileged Information）或更强传感器能力的系统收集。

这种感知差异会导致**未观测混杂变量（Unobserved Confounders）**的出现：即某些影响动作、奖励或状态转移的变量在离线数据中存在，但在线智能体无法观测到。这会导致：

因果识别失效：标准的离线强化学习算法（如 CQL）会因为无法区分“动作与奖励的因果关系”和“混杂变量导致的虚假相关性”而产生严重的偏差。
性能下降：在线智能体无法从受污染的离线数据中学习到正确的价值函数，导致策略失效。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了一种基于因果推断的自动奖励塑造框架。

A. 因果贝尔曼方程 (Causal Bellman Equation)

作者首先为平稳无限时界的**混杂马尔可夫决策过程（CMDP）**推导出了一个因果贝尔曼最优方程。

核心思想：传统的贝尔曼方程只考虑观测到的动作。作者引入了一个“补偿项”，用于衡量那些由于混杂变量导致“未被选择的动作”可能带来的最优回报。
数学表达：该方程通过结合观测到的奖励分布、转移分布以及对“未选动作”可能产生的最优回报的估计，为最优状态价值 $V^*(s)$ 提供了一个紧致的上界（Tight Upper Bound）。

B. 神经因果上界状态势能学习 (Neural Learning of State Potentials)

由于连续控制空间是高维且连续的，作者设计了一种神经网络算法来近似求解上述方程：

参数化：使用神经网络来近似状态价值函数 $V_{\theta_1}(s)$ 。
近似处理：
- 使用高斯策略 $P_{\theta_2}(x|s)$ 来近似观测到的动作分布。
- 使用高斯分布 $P_{\theta_3}(\Delta s | s, x)$ 来建模状态转移的差异，从而解决连续空间中无法枚举所有可能状态的问题。
训练目标：通过最小化因果贝尔曼残差（Squared Residual Error）来训练状态势能函数。

C. 基于势能的奖励塑造 (PBRS)

将学习到的因果上界状态价值作为势能函数 $\phi(s)$ ，代入**基于势能的奖励塑造（Potential-Based Reward Shaping, PBRS）**框架中。

奖励函数修改： $r'(s, a, s') = r(s, a, s') + \gamma \phi(s') - \phi(s)$ 。
优势：PBRS 理论保证了这种修改不会改变原任务的最优策略，但能为智能体提供更丰富的探索信号，引导其向高价值状态移动。

3. 主要贡献 (Key Contributions)

理论突破：推导了适用于连续 CMDP 的因果贝尔曼方程，并证明了其收敛性及作为最优价值上界的有效性。
算法创新：设计了一种能够处理高维连续状态-动作空间的神经学习算法，解决了连续空间下概率密度和状态枚举的计算难题。
实用框架：提出了一种将因果推断与 PBRS 结合的自动奖励塑造方法，能够直接应用于现有的主流算法（如 Soft-Actor-Critic, SAC）。

4. 实验结果 (Results)

作者在 MuJoCo（Hopper, HalfCheetah, Walker2D, Ant）和 Adroit（Door, Relocate）等多个连续控制基准测试中进行了实验，通过“遮蔽部分状态维度”来模拟未观测混杂变量。

性能优越性：在大多数具有显著混杂偏差的环境中，Causal PBRS 的表现显著优于：
- 无奖励塑造的基线 SAC。
- 传统的离线算法（如 CQL-Shaping）。
- 基于逆强化学习的方法（如 T-REX-Shaping）。
- 使用循环神经网络（Recurrent SAC）的方法。
典型案例：在 Hopper 环境中，当遮蔽了关键的关节角度（State Dim 2）时，基线性能下降了 50%，而 Causal PBRS 实现了近 100% 的性能提升。
鲁棒性：实验证明该方法对离线数据的质量（专家数据 vs. 普通数据）具有较好的鲁棒性。

5. 研究意义 (Significance)

该研究为因果鲁棒的连续控制迈出了坚实的一步。它不仅解决了离线数据与在线感知能力不匹配的实际问题，还提供了一种无需人工设计奖励函数、能够自动从“受污染”数据中提取有用知识的系统化方法。这对于机器人从人类演示数据或旧系统数据中学习，并部署到感知受限的新环境具有重要的应用价值。