🤖 machine learning

ISEP: Implicit Support Expansion for Offline Reinforcement Learning via Stochastic Policy Optimization

本文提出了 ISEP，一种用于离线强化学习的随机策略优化框架，该框架通过价值函数插值隐式地扩展可行动作支持，并利用条件流匹配来导航由此产生的多模态景观，从而在避免模式崩溃的同时克服了严格约束的僵化性。

原作者： Yifei Chen, Shaoqin Zhu, Xiaoqiang Ji

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifei Chen, Shaoqin Zhu, Xiaoqiang Ji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《ISEP：离线强化学习的隐式支持扩展》的解释，将其拆解为简单的概念、类比和隐喻。

核心问题：“安全但停滞”的机器人

想象一下，你试图仅通过一段人类行走的视频录像来教机器人走路。你不能让机器人在现实世界中练习，因为它可能会摔倒并损坏某些东西（这就是离线强化学习）。

问题在于，这段视频录像（数据集）可能只显示人类缓慢行走或采取特定的安全路径。它可能没有显示人类奔跑或走捷径，而这些捷径实际上更快且更安全，只是视频中未包含而已。

保守方法：大多数现有方法会说：“机器人只能做它在视频中看到的一模一样的动作。”这很安全，但机器人永远学不会奔跑或走捷径。它被困在“安全区”里。
冒险方法：如果你告诉机器人“去寻找最佳路径！”而不加限制，它可能会胡乱猜测，试图在天花板上行走，然后撞向墙壁（这被称为外推误差）。

解决方案：ISEP（“安全桥梁”建造者）

作者提出了ISEP（通过随机策略优化进行的隐式支持扩展）。将 ISEP 想象为一位聪明的老师，它从已知的视频数据到未知的、更好的路径之间建造了一座安全桥梁。

以下是其工作原理，分步说明：

1. “混合地图”（隐式支持扩展）

通常，机器人对世界的“地图”严格局限于视频数据存在的位置。

ISEP 的做法：它创建了一张“混合地图”。它查看真实的视频数据（安全区域），同时也询问机器人：“如果你尝试这个新动作会怎样？”
类比：想象你在森林中徒步，手中的地图只显示主路。ISEP 就像一位向导，他说：“地图显示了主路，但我还检查了几条看起来很有希望的侧路。让我们把地图和这些侧路融合起来，创建一张新的、稍大一点的地图。”
安全检查：向导不会让你 wander 到危险的沼泽中。他们只将地图扩展到那些看起来安全且回报高的区域，确保机器人不会意外掉下悬崖。

2. “双模式”问题（为什么平均化会失败）

这是论文中最关键的部分。

场景：假设机器人有两个不错的选择：
1. 选项 A：缓慢行走（来自视频）。
2. 选项 B：快速奔跑（机器人发现的新且更好的想法）。
错误（确定性平均）：如果你告诉机器人要“平均”这两个选项，它可能会尝试做中间的动作，比如“笨拙地慢跑”。在现实世界中，这种“中间”动作可能是灾难性的（比如被自己的脚绊倒）。这被称为模式崩溃。
ISEP 的修复（随机选择）：ISEP 不强迫机器人选择一个“中间”动作，而是在每一步都抛硬币。
- 正面：“完全按照视频显示的动作做（选项 A）。”
- 反面：“尝试那个新的、快速的想法（选项 B）。”
结果：机器人学会了既擅长缓慢行走又擅长快速奔跑，而不是变成一个两者都不擅长的笨拙“慢跑者”。它保持了行为的不同“模式”分离且安全。

3. “变形者”（流匹配）

为了让这种抛硬币策略生效，机器人需要一个能处理复杂形状的“大脑”。

旧方法：大多数机器人使用“高斯”大脑，这就像单个钟形曲线。它只能表示一个行为的“中心”。如果你有两个好路径（慢走和快跑），钟形曲线会试图将它们挤压成中间一个混乱的团块。
ISEP 的方法：他们使用流匹配（具体为条件流匹配）。
类比：将高斯策略想象成一滴扩散开的墨水。ISEP 的流匹配则像可变形的粘土。它可以塑造成两个分离的岛屿（一个用于慢走，一个用于奔跑），而不会将它们融合成中间的沼泽。这使得机器人能够同时保留这两种策略。

“旋钮”（参数 p）

论文引入了一个名为 $p$ 的控制旋钮。

$p = 0$ ：机器人是个胆小鬼。它只做视频中看到的事。这很安全但非最优。
$p = 1$ ：机器人鲁莽。它无视视频并胡乱猜测。它可能会找到最佳路径，但也可能会撞毁。
$p = 0.3$ 或 $0.5$：这是“金发姑娘”区域。机器人主要坚持视频内容，但偶尔尝试新的、更好的动作。论文从数学上证明，如果正确设置这个旋钮，机器人即使在探索时也保证不会撞毁。

结果总结

作者在标准机器人任务（如行走、跳跃和操纵物体）上测试了该方法。

结果：ISEP（及其高级版本 ISEP-FM）始终优于其他方法。
原因：它成功摆脱了次优数据（慢走）的“陷阱”，找到了更好性能的“岛屿”（奔跑），同时没有落入错误猜测的“危险区”。

核心启示

ISEP 是一种让 AI 从静态数据集中学习而不会陷入停滞的方法。它通过以下方式实现：

温和地扩展“安全区”，以包含有希望的新想法。
使用“抛硬币”策略，避免将好想法混合成坏想法。
使用灵活的“变形”大脑，保持这些好想法的独立性。

这就像教导学生不仅要死记硬背教科书，还要安全地探索图书馆以找到最好的答案，同时绝不让它们走出大楼。

技术摘要：ISEP——离线强化学习的隐式支持扩展

1. 问题陈述

离线强化学习（RL）旨在从静态数据集中学习有效的策略，而无需在线交互，这一能力对于机器人和医疗保健等高利害领域至关重要。在此设定下，一个根本性的挑战在于保守性（保持在数据集的支持范围内以确保有效的价值估计）与乐观性（超越次优数据进行泛化以发现更优行为）之间的张力。

现有方法通常通过实施严格的支持约束来解决这一问题：将更新限制在样本内转换中，将动作限制在行为策略的支持范围内，或对高估的评论家值进行惩罚。虽然这些约束确保了安全性，但它们往往抑制了数据集中稀疏表示的高回报行为。这种“密度偏差”阻碍了最优策略的发现，特别是在最优轨迹缺乏足够数据密度的情况下。此外，在保守数据与乐观提议之间进行标准的确定性插值往往会导致模式崩溃，即策略将不同的有效动作平均化为一个位于数据流形之外的低价值无效动作。

2. 方法论

作者提出了ISEP（通过随机策略优化实现的隐式支持扩展），这是一个旨在安全地外推至静态数据集之外的框架。ISEP 通过三个相互耦合的创新运作：

2.1 插值价值估计（隐式支持扩展）

ISEP 不将数据集分布视为刚性边界，而是隐式地扩展价值函数的有效支持范围，以涵盖那些有效但在数据中稀疏表示的高价值动作。这是通过价值网络 $V_\psi$ 的混合目标函数实现的：

$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$

第一项：使用非对称期望损失（标准 IQL 方法）将价值估计锚定在真实转换上。
第二项：通过从当前策略 $\hat{a} \sim \pi_\phi$ 采样动作并查询 Q 函数来驱动扩展。
参数 $p$ ：一个可控标量，用于管理安全性（分布内）与探索性（策略生成）之间的平衡。该机制“致密化”了高回报区域，为策略改进创造了可导航的路径。

2.2 随机动作选择

为了解决由此产生的目标函数的多模态性质，ISEP 采用随机动作选择策略。标准的确定性插值（平均梯度）迫使策略趋向于保守动作和乐观动作的算术平均值，这通常导致低价值的“流形外”动作。

ISEP 通过在每次更新步骤中使用伯努利门 $B \sim \text{Bernoulli}(p)$ 随机交替目标来避免这种情况：

$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$

这确保了策略被推向不同的有效模式（要么是保守的数据样本，要么是乐观的提议），而不是崩溃到它们之间的低价值谷底。

2.3 实例化：ISEP-FM

由于随机策略需要一个能够表示复杂多模态分布的策略，作者使用**条件流匹配（CFM）结合无分类器引导（CFG）**实例化了该框架。

流模型以最优性令牌 $o \in \{\emptyset, 1\}$ 为条件。
在推理过程中，动作通过以引导尺度 $w$ 积分速度场来生成，从而允许在基础行为分布和高价值最优性条件之间进行动态控制。

3. 理论保证

本文提供了理论分析，证明 ISEP 保证了有界的价值误差。在有限样本量（期望间隙）和数据集次优性的假设下，作者证明，如果插值参数 $p$ 满足从数据集特征导出的特定界限：

$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$

那么，以至少 $\eta$ 的概率（由数据集质量决定），学习到的价值函数 $\hat{V}(s)$ 将保持在上界 $V^*(s)$ 之下。这确立了 $p$ 作为一种严格的安全机制，在实现受控外推的同时防止灾难性发散。

4. 实验结果

作者在D4RL 基准上评估了 ISEP 及其流匹配变体（ISEP-FM），涵盖了 Gym-MuJoCo locomotion、Adroit 机械手操作以及厨房序列物体操作。

性能：ISEP-FM 在多个环境中取得了最先进的结果。例如，在 hopper-med-rep 上，它达到了 104.5 的归一化分数，优于 QIPO（101.2）和 IDQL（82.4）等强基线。在 halfcheetah-med 上，它得分为 59.9，超过了之前的最佳成绩 54.1。
消融研究：
- 参数 $p$ ：中等值（ $p \in \{0.3, 0.5\}$ ）始终产生最高分数。激进值（ $p \geq 0.9$ ）导致灾难性发散，证实了需要“中间路线”方法。
- 随机与确定性：用确定性插值替换随机选择会导致性能显著下降，验证了朴素平均法在非凸动作空间中是无效的。
- 支持扩展：可视化（t-SNE）证实，ISEP 成功地将动作支持扩展到稀疏的高回报区域，而严格分布内的方法（如 $p=0$ 的 IQL）由于密度偏差无法到达这些区域。

5. 意义与主张

本文主张，ISEP 解决了离线 RL 方法将数据集分布视为刚性边界的关键局限性。通过在分布内数据与策略样本之间插值的价值函数隐式扩展可行动作支持，ISEP 无需显式约束或复杂的两阶段流程即可“致密化”高回报区域。

这项工作的意义在于其能够：

弥合安全与乐观之间的差距，使智能体能够在状态 - 动作空间中稀疏表示的区域发现更优动作。
通过新颖的随机动作选择策略防止非凸景观中的模式崩溃，这对于多模态策略学习至关重要。
提供理论安全保证，表明即使探索分布外动作，只要根据数据集质量调整插值参数，价值估计仍将保持有界。

作者得出结论，将支持扩展与现代生成模型（流匹配）的表现力相结合，使离线 RL 智能体能够在不牺牲安全性的情况下有效发现更优行为。