🤖 machine learning

Entropy-Regularized Adjoint Matching for Offline RL

本文提出了最大熵伴随匹配（ME-AM），这是一个统一框架，它将镜像下降熵最大化与混合行为先验集成到基于流匹配的离线强化学习中，以克服流行度偏差并支持绑定，从而能够从稀疏奖励数据集中稳健地提取最优策略。

原作者： Abdelghani Ghanem, Mounir Ghogho

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdelghani Ghanem, Mounir Ghogho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人解决复杂的谜题，比如排列立方体或玩滑动方块游戏。你没有老师一步步地展示如何操作，而是只拥有一个巨大的视频库，记录着其他人尝试解决该谜题的过程。有时，视频中的人会犯错；有时，他们运气好，完美地解决了问题。

这就是**离线强化学习（Offline RL）**的世界。机器人必须仅从这个“离线”视频库中学习，而从未真正触碰过真实的谜题。

问题：“流行度陷阱”与“空房间”

该论文指出了机器人目前从这些视频库学习中存在的两个主要问题：

流行度陷阱（密度偏差）：
想象视频库中大部分内容都是机器人反复犯同样的常见错误。只有少数罕见的片段显示机器人做出了完美的动作。
- 问题所在： 标准学习算法会“卡”在流行的动作上。它们会想：“视频里的人都是这么做的，所以这一定是正确的。”它们忽略了那些罕见但完美的动作，因为这些动作出现的频率太低。这就像一家餐厅只供应最受欢迎的菜肴，尽管厨师那款秘密且惊艳的菜肴正放在厨房深处，却很少有人点单。
- 论文术语： 这被称为“流行度偏差”。
空房间（零支持陷阱）：
想象完美的解决方案需要机器人将立方体移动到一个位置，而视频库中没有任何人曾将立方体移动到这个位置。
- 问题所在： 现有方法对踏入这个“空房间”感到恐惧。它们在数学上被限制只能移动到视频数据存在的地方。如果完美的动作超出了视频数据的边界，机器人在数学上就被禁止尝试它。这就像 GPS 拒绝为你规划路线，因为从未有人驾驶过那条特定的道路，即使那条路通向天堂。
- 论文术语： 这就是“支持绑定困境”。

旧方案：“创可贴”式方法

以往尝试解决此问题的方法涉及一种“修补”。它们让机器人从视频中学习，然后在最后一刻，添加一点随机的“抖动”（如高斯噪声），试图将机器人推入那个“空房间”。

缺陷： 论文认为这种做法很混乱。这就像试图在旅程结束时通过向船外扔水桶来修补漏水的船。它破坏了机器人学习的流畅性，并且往往无法弥合数据所在位置与解决方案实际所在位置之间的差距。

新方案：ME-AM（最大熵伴随匹配）

作者提出了一种名为ME-AM的新框架。他们不是在最后修补问题，而是重新设计了整个学习过程，使其变得平滑且连续。他们使用了两个主要技巧：

1. “梦之队”扩展（几何扩展）

ME-AM 不只是使用原始视频数据，而是创建了一个**“混合先验”**。

工作原理： 机器人查看视频数据，但同时会询问一位聪明的“评论家”（评判者）来设想：“如果我尝试一个可能更好的略微不同的动作，那会是什么样子？”
类比： 想象视频库是一张城市地图。旧方法只允许你在地图上显示的铺装道路上行走。ME-AM 则利用地图，找出道路之间的空隙，并根据宝藏（高奖励）可能藏匿的位置，绘制连接这些空隙的“梦想道路”。它教导机器人在学习过程中就行走于这些新想象的道路上，这样当它真正踏入那里时，就不会感到害怕。

2. 抚平人群（熵最大化）

为了修复“流行度陷阱”，ME-AM 使用了一种称为镜像下降的技术。

工作原理： 它迫使机器人将罕见的完美动作与常见但无聊的动作视为同等重要。它“抚平”了人群。
类比： 想象一场演唱会，观众都在尖叫着要求播放同一首老歌。DJ（学习算法）通常因为这首歌很受欢迎而播放它。ME-AM 则像一位 DJ，故意调低热门歌曲的音量，同时调高那首罕见却精彩的歌曲的音量，确保机器人听到并学习到库中最好的部分，而不仅仅是声音最大的部分。

结果：一段平滑、连续的旅程

论文声称，通过结合这两个技巧，ME-AM 使机器人能够：

安全探索： 它可以踏入“空房间”（无数据区域），因为它已经利用“梦想道路”学会了如何在那里导航。
忽略噪音： 它不再执着于视频中那些最常见的错误，而是专注于高回报的动作，即使这些动作很罕见。
保持平滑： 与旧的“创可贴”式方法不同，这一切发生在一个连续、流畅的动作中，就像舞者完成一套动作，而不是机器人在最后时刻猛地抽动手臂。

证明

作者在困难的谜题上测试了这种方法（例如 4x4 滑动方块谜题和排列三个立方体）。

结果： ME-AM 解决这些谜题的效果显著优于所有之前的“最先进”方法。
速度： 它解决谜题的速度与其他方法一样快，证明添加这些智能功能并没有拖慢机器人的速度。

简而言之，ME-AM 教导机器人要有足够的勇气去探索新路径，要有足够的智慧去忽略大众，同时保持其动作的平滑与自然。

技术摘要：用于离线强化学习的熵正则化伴随匹配

问题陈述

本文解决了在利用表达性生成策略（如流匹配模型）进行离线强化学习（RL）时固有的支持绑定困境（Support-Binding Dilemma, SBD）。虽然连续时间框架（如伴随匹配 QAM）通过绕过不稳定的求解器反向传播来稳定策略优化，但它们仍严格受限于离线数据集中的固定行为分布（ $\pi_\beta$ ）。这种依赖性导致了两个关键局限：

流行度偏差（密度前沿）：优化过程依赖于对行为先验的乘性依赖（ $\pi^* \propto \pi_\beta \exp(Q/\tau)$ ）。如果最优动作在数据集中罕见，vanishing 的 $\pi_\beta$ 项会抑制奖励信号。克服这一问题需要激进的温度缩放，这会放大评论家（critic）的近似误差，并迫使智能体为了维持稳定性而接受次优的高频动作。
零支持陷阱（几何前沿）：如果最优动作位于行为数据的支撑集之外，则 $\pi_\beta = 0$ 。这种结构约束阻止智能体到达这些区域，无论奖励信号如何，都阻碍了新行为的发现。

现有的权宜之计，例如附加残差高斯策略（如 QAM-Edit）以强制智能体脱离数据流形，往往会破坏连续的常微分方程（ODE）公式。这些启发式方法作为结构补丁，扰乱了连贯的向量场轨迹，并重新引入了与单峰分布相关的表达性瓶颈。

方法论：最大熵伴随匹配（ME-AM）

作者提出了最大熵伴随匹配（Maximum Entropy Adjoint Matching, ME-AM），这是一个在连续流公式内完全解决 SBD 的统一框架。ME-AM 整合了两个主要机制：

1. 奖励引导的混合先验（几何扩展）

为了在不破坏连续 ODE 的情况下弥合孤立数据簇之间的几何差距，ME-AM 在训练期间对行为数据集进行了增强。

机制：数据集的一部分动作（比例为 $\epsilon$ ）被辅助高斯演员（ $\pi_\omega$ ）生成的合成目标所替换。该演员通过 Soft Actor-Critic (SAC) 风格的优化目标进行训练，以预测基于状态和经验动作的高奖励动作。
效果：基础流针对混合分布 $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$ 进行训练。这原生地扩展了有效的几何支撑集，允许模型学习将噪声传输到分布外（OOD）模式，同时保持结构健全、连续的 ODE。

2. 通过镜像下降进行密度平坦化（熵最大化）

为了缓解流行度偏差，ME-AM 直接在伴随系统中最大化微调策略的微分熵。

机制：为了避免显式密度评估（这在计算上是不可行的），该方法采用函数镜像下降（Functional Mirror Descent, MD）。熵最大化的函数梯度简化为负得分函数（ $-\nabla \log \pi$ ）。
实现：负得分被直接注入伴随 ODE 的终端边界条件中，与价值梯度并列。为了避免在终端边界（ $t \to 1$ ）处的数值不稳定性，一个轻量级的辅助得分网络（ $S_\psi$ ）通过方差加权去噪目标进行训练。
效果：该过程平坦化了扩展支撑集上的峰值行为密度，使智能体能够强调高奖励动作，而无需严格温度缩放所要求的极端且会放大误差的对比度。

理论公式

统一目标将微调后的向量场与插值参考流（ $v_{ref}$ ）对齐，该参考流平衡了静态混合基和慢速移动的目标锚点。作者证明（定理 2），最优平稳策略收敛于：
$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$
其中 $\delta(s) \in (0, 1)$ 是状态相关的指数，它在数学上保证了先验密度的平坦化，将探索与经验数据频率解耦。

主要贡献

统一框架：ME-AM 是第一种完全在连续流公式内解决支持绑定困境的方法，消除了对破坏 ODE 结构的离散编辑或后处理启发式方法的需求。
几何与密度解析：它通过可学习的、评论家引导的混合先验同时解决了零支持陷阱，并通过函数镜像下降熵最大化解决了流行度偏差。
理论保证：本文提供了证明，确立了连续时间目标精确收敛于目标密度平坦化的平稳策略。
稳健实现：该方法利用解耦的辅助参数化来规避终端边界处解析得分的数值爆炸，确保训练稳定。

实验结果

作者在 OGBench 的两个具有挑战性的领域（puzzle-4x4 和 cube-triple）上评估了 ME-AM，这些领域以稀疏奖励和复杂的多模态行为为特征。

离线性能：与包括 QAM、FEdit、CGQL 和 ReBRAC 在内的多种最先进（SOTA）方法相比，ME-AM 表现出具有竞争力或更优越的性能。在 puzzle-4x4 领域，ME-AM 实现了 56% 的全局成功率（聚合），显著优于次优方法（QAM-E 为 37%）。
消融研究：
- 几何扩展：仅依赖行为支持（ $\epsilon=0$ ）导致稀疏领域中的性能完全崩溃，证实了混合先验的必要性。
- KL 正则化：发现显式的 KL 路径约束对于在几何扩展期间引入随机性时稳定训练至关重要。
- 噪声底限：较大的评估噪声底限（ $\sigma_{min} = 0.3$ ）在某些任务中提高了性能，起到了空间平滑因子的作用。
离线到在线微调：与原生 QAM 相比，ME-AM 显著提高了在线性能，实现了与 QAM-edit 相当的结果，同时消除了为在线探索添加额外编辑策略的需求。
效率：虽然由于辅助网络的存在，训练时间略有增加，但推理速度（0.14 毫秒/步）与标准流匹配策略相匹配，因为辅助组件在部署前已从计算图中分离。

意义与主张

本文声称，ME-AM 代表了离线 RL 的结构性进步，解决了最大化奖励与避免分布外外推之间的根本张力。通过在单一、连贯的连续时间框架内扩展有效动作流形并平坦化经验行为密度，ME-AM 使智能体能够从稀疏的离线数据集中提取稳健的最优策略，而无需依赖先前启发式方法的不稳定性或表达性限制。作者强调，这种方法允许在缺乏数据支持的区域发现新行为，同时保持连续最优控制的数学保证。