📊 statistics

Offline Constrained Reinforcement Learning under Partial Data Coverage

本文提出了 PDOCRL，这是一种针对具有通用函数逼近的离线约束强化学习的原对偶算法，该算法在部分数据覆盖下无需知晓数据生成分布即可实现近最优和近可行性能，并通过更强的可实现性条件解决了虚假鞍点问题。

原作者： Seokmin Ko, Ambuj Tewari, Kihyuk Hong

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Seokmin Ko, Ambuj Tewari, Kihyuk Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教机器人驾驶汽车，但不能让机器人在真实道路上学习，因为那太危险且昂贵。相反，你只拥有一个包含人类驾驶员过往行程的巨型视频库。你的目标是让机器人尽可能快地驾驶（最大化奖励），同时绝不超速或撞上路缘（满足安全约束）。

这就是离线约束强化学习（Offline Constrained Reinforcement Learning）的问题。你提供的这篇题为《部分数据覆盖下的离线约束强化学习》的论文，介绍了一种名为PDOCRL的新方法来解决这一问题。

以下是该问题及其解决方案的分解，使用了简单的类比。

问题：“盲点”与“幽灵策略”

1. 部分覆盖问题（盲点）
想象你的视频库只包含人类驾驶员在高速公路上行驶的画面，完全没有他们穿过狭窄城市小巷的 footage。

如果你试图教机器人穿过那条小巷，机器人就是在猜测。因为它从未见过，所以它不知道在那里左转会发生什么。
以前的方法试图对这些盲点保持“悲观”（假设最坏情况）。然而，在安全至上的约束设定中，这些方法往往会陷入困境。它们试图评估机器人正在测试的中间策略的“如果”情景。如果这些策略导致进入盲点，评估就会失败，机器人也就无法安全地学习。

2. “幽灵策略”问题（缺失的食谱）
许多现有方法的工作方式如下：

计算“密度比”（一种 fancy 的说法，即：机器人访问某个地点的频率比人类高多少？）。
然后试图将该比率转换回驾驶策略。
关键难点：为了执行第 2 步，它们需要知道人类驾驶员在视频库中每一个单一地点的确切概率。但在现实世界中，你并没有人类习惯的“主列表”。这就像试图用一份需要一种你连标签都没有的食材的食谱来烤蛋糕。

解决方案：PDOCRL

作者提出了PDOCRL（原始 - 对偶离线约束强化学习）。他们通过两个巧妙的技巧解决了上述问题。

技巧一：“分解式”厨房（避免幽灵）

PDOCRL 不再试图在算出成分比率（密度）之后再烤蛋糕（策略），而是彻底改变了食谱。

旧方法：计算比率 $\rightarrow$ 尝试猜测缺失的食材列表 $\rightarrow$ 烤蛋糕。（如果你不知道食材列表，就会失败）。
PDOCRL 方法：他们将问题拆分为两个相互沟通的独立任务。
- 任务 A：算出比率（在多大程度上信任数据）。
- 任务 B：直接调整机器人的驾驶策略（策略）。
- 神奇之处：他们重写了数学公式，使机器人的驾驶策略成为方程中的直接变量。这意味着机器人直接学习驾驶风格，完全不需要知道人类驾驶员习惯的“主列表”。它完全绕过了对缺失食材标签的需求。

技巧二：“虚假陷阱”（避免虚假解）

当你面对一个包含许多变量的复杂数学问题时，有时会找到一个在纸面上看起来完美但实际上是陷阱的“解”。在数学术语中，这些被称为虚假鞍点。

类比：想象你在寻找山脉中的最高峰。你从某个角度发现了一个看起来像山峰的地方，但如果你绕着它走一圈，你会发现它实际上是被深谷包围的小山丘。你以为你找到了顶峰，但其实没有。
修正：论文证明，如果你只假设“最佳”解存在于你的数据中，你可能会落入这些陷阱。为了解决这个问题，他们增加了一条更强的规则：机器人的“大脑”（函数近似器）必须足够聪明，能够理解任何可能的驾驶风格，而不仅仅是最好的那一种。
通过迫使机器人的大脑具备评估任何策略的能力，他们保证了所找到的“山峰”是真正的最高峰，而不是虚假的。

结果：安全且高效的学习者

论文声称，PDOCRL 实现了以前方法无法同时做到的三件事：

部分覆盖：即使数据库存在巨大的盲点（只要最佳路径被覆盖），它也能工作。
Oracle 效率：计算速度快。它不需要解决不可能的数学谜题；它只需使用标准的优化工具（就像厨师使用标准刀具而不是发明新刀具）。
无需“主列表”：它不需要知道数据的底层分布（人类的习惯）。它直接从视频中学习。

“味觉测试”（实验）

作者在标准的驾驶模拟（BulletGym）上测试了他们的方法。

基线：他们将其与其他顶级的“安全”驾驶算法进行了比较。
结果：PDOCRL 是唯一在所有任务中都能始终保持在限速以下（满足安全约束），同时驾驶速度足以保持竞争力的算法。
消融实验：他们还测试了如果使用旧的“幽灵策略”方法（从比率中提取策略）会发生什么。结果呢？机器人要么撞车，要么驾驶得极差。这证明了他们新的“直接策略”技巧是至关重要的。

总结

PDOCRL 是一种新算法，它仅利用过去的数据教机器人既安全又高效，即使数据不完整。它通过以下方式实现：

跳过试图猜测数据隐藏模式的步骤。
直接优化机器人的行为。
使用更严格的数学规则，确保机器人不会被虚假的“解”所欺骗。

这就像通过展示视频来教学生开车，但不是要求他们死记硬背老师的每一个动作，而是直接教他们交通规则，确保他们即使在老师从未访问过的城市区域也能安全驾驶。

技术摘要：部分数据覆盖下的离线约束强化学习

问题陈述

本文在折扣约束马尔可夫决策过程（CMDP）框架下，探讨了**离线约束强化学习（Offline Constrained RL）**问题。其目标是从固定的离线数据集中学习一个策略，在满足多个辅助安全或资源约束的同时，最大化主要奖励信号。

该设定中的一个核心挑战是部分数据覆盖。可靠的优化通常要求数据集覆盖被评估策略的状态 - 动作占用分布。在无约束的离线强化学习中，悲观演员 - 评论家（pessimistic actor-critic）方法在覆盖不足的情况下已显示出成功。然而，在约束设定下，原始 - 对偶（primal-dual）方法面临特定的障碍：更新对偶乘子需要估计中间策略的约束违反情况。在部分覆盖下，这些中间策略可能无法得到数据集的支持，导致对偶更新不可靠，并实际上重新引入了强覆盖要求。

此外，现有方法通常依赖于需要未知数据生成分布（ $\mu_D$ ）或参考策略知识的策略提取步骤，这在实际场景中是不切实际的。

方法论：PDOCRL

作者提出了PDOCRL（原始 - 对偶 Oracle 高效约束强化学习），这是一种旨在实现 Oracle 高效性、在部分覆盖下具有样本效率且独立于数据生成分布的算法。

1. 分解线性规划公式

CMDP 的标准线性规划（LP）公式是在占用分布（ $\mu$ ）上进行优化。从 $\mu$ 恢复策略通常需要通过未知的数据分布 $\mu_D$ 进行归一化。为了规避这一问题，作者采用了拉格朗日分解：

他们为占用分布 $\mu$ 引入了一个副本变量 $\nu$ 。
他们分离了角色： $\mu$ 用于拉格朗日估计（通过测度变换到数据分布），而 $\nu$ 用于策略提取。
关键在于，他们直接用占用分布 $\mu$ 和策略 $\pi$ 对 $\nu$ 进行重参数化： $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$ 。
这使得策略 $\pi$ 成为显式的优化变量，消除了依赖于 $\mu_D$ 的独立策略提取步骤的需要。

2. 处理虚假鞍点

作者指出，使用通用函数逼近的受限鞍点公式可能会产生虚假鞍点。即使函数类包含最优策略、其占用分布以及最优动作价值函数，受限拉格朗日量的鞍点也可能不对应最优策略。

为了解决这一问题，他们施加了两个关键条件：

Slater 条件（假设 B）：确保存在一个可行策略，以正裕度 $\phi$ 满足约束。这限制了对偶变量的最优值。
所有策略价值函数可实现性（假设 C）：这是一个强可实现性条件，要求对于类中的每个策略 $\pi$ ，价值函数 $Q^\pi_0$ 和 $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ 都包含在函数类 $\mathcal{Q}$ 中。这比单策略可实现性更强，但对于在分解公式中排除虚假鞍点是必要的。

3. Oracle 高效的原始 - 对偶算法

PDOCRL 使用标准 Oracle 求解经验鞍点问题，避免了不可处理的极小 - 极大优化：

原始玩家：
- 密度比（ $w$ ）：在函数类 $\mathcal{W}$ 上使用无遗憾在线线性优化 Oracle（ $\mathcal{O}_{LOW}$ ）。
- 策略（ $\pi$ ）：在策略类 $\Pi$ 上使用无遗憾策略优化 Oracle（ $\mathcal{P}_{O\Pi,\mathcal{Q}}$ ）。
对偶玩家：
- Q 函数（ $Q$ ）：在 $\mathcal{Q}$ 上使用线性最小化 Oracle（ $\mathcal{LMO}_{\mathcal{Q}}$ ）。
- 拉格朗日乘子（ $\lambda$ ）：在对偶界上使用线性最小化 Oracle（ $\mathcal{LMO}_{B\Delta_I}$ ）。

该算法迭代 $T$ 次，更新这些变量，并从序列 $\pi_1, \dots, \pi_T$ 中均匀采样返回一个策略。

主要贡献

算法设计：PDOCRL 是第一种在具有通用函数逼近的离线约束强化学习中，同时实现部分覆盖保证、Oracle 效率以及独立于数据生成分布（ $\mu_D$ ）的方法。
关于鞍点的理论洞察：本文证明了朴素的受限鞍点公式可能因虚假鞍点而失效，并确定了一个更强的所有策略可实现性条件，在此条件下每个受限鞍点都是最优的。
分解技术：通过重参数化占用分布以使策略成为显式变量，该方法避免了在 $\mu_D$ 未知时从密度比中提取策略所面临的统计脆弱性。
样本复杂度：在所述假设下，PDOCRL 返回一个近最优且近可行的策略，其样本复杂度为 $\tilde{O}(\epsilon^{-2})$ 。

实验结果

作者使用 DSRL 包的数据集在BulletGym基准上评估了 PDOCRL。

基线：与 BC-All、BC-Safe、CDT、BCQ-Lag、BEAR-Lag、CPQ 和 COptiDICE 进行了比较。
性能：PDOCRL 是唯一在所有任务中始终满足安全约束（归一化成本 $\le 1$ ）同时保持具有竞争力的奖励性能的算法。
消融研究：一个退回到标准策略提取步骤（需要 $\mu_D$ 知识）的 PDOCRL 变体表现显著较差，证实了所提出的重参数化对于离线设定下的性能至关重要。

意义与主张

本文声称，PDOCRL 解决了离线约束强化学习中的一个根本性差距：覆盖要求、计算效率与数据分布知识需求之间的权衡。

与需要完全覆盖或不可处理优化的先前演员 - 评论家方法（如 PDCA、WSAC）不同，PDOCRL 在部分覆盖下以 Oracle 效率运行。
与依赖 $\mu_D$ 进行策略提取的密度比方法（如 COptiDICE、POCC）不同，PDOCRL 直接优化策略。
该工作强调，虽然为了在存在虚假鞍点的情况下保证最优性需要强可实现性假设（所有策略），但这是在通用函数逼近设定下实现 Oracle 效率并避免分布假设所必需的理论代价。

作者得出结论，PDOCRL 提供了一个可证明高效的框架用于安全离线学习，尽管他们指出，将“所有策略可实现性”条件放宽为“单策略可实现性”仍是未来的工作方向。