🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

STITCH-OPE 是一个基于模型的生成式框架，它利用引导扩散和轨迹缝合技术，克服了现有离策评估方法在高维、长时程设置下的局限性，实现了显著降低的方差和更高的准确度。

原作者： Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人玩电子游戏，但你不能让机器人在现实世界中实际操作。也许这个机器人太昂贵了，或者这个游戏太危险了。相反，你拥有一个巨大的旧视频库，记录了另一个机器人（我们称之为“旧机器人”）玩这款游戏的场景。你的目标是仅仅通过观察这些旧录像，就能弄清楚一个新机器人（“新机器人”）的表现会如何。这被称为离策评估（Off-Policy Evaluation, OPE）。

问题在于，旧机器人和新机器人玩游戏的方式可能非常不同。如果新机器人尝试做一些旧机器人从未做过的事情，那么旧的录像就变得毫无用处了。如果你试图通过拉伸旧数据来猜测新机器人的得分，数学计算会变得极其混乱并陷入爆发性的误差，尤其是在处理长篇、复杂的游戏时。

于是，STITCH-OPE 诞生了。它像是一个聪明的视频剪辑师，又像是一个富有创造力的导演。

旧方法的缺陷

以往解决这个问题的方法，就像是试图通过从头到尾预测每一帧画面来预判一整部电影，并试图一次性完成这个巨大的跨越。

“重要性采样”（Importance Sampling）方法：就像是试图通过把电影每一帧的音量都乘以一个巨大的数字来修复一部坏掉的电影。如果电影很长，音量就会变得震耳欲聋，直到震碎扬声器（方差爆炸）。
“基于模型”（Model-Based）的方法：就像是试图构建一个完美的物理世界模拟器。但如果你在第一秒钟犯了一个微小的错误，这个错误会随着时间的推移不断放大，直到在结束时，整个模拟过程完全偏离事实。

STITCH-OPE 的解决方案：“乐高”策略

STITCH-OPE 通过将长电影拆解成微小、易于管理的片段，改变了游戏规则。想象一下在搭建一座长长的乐高桥梁：与其试图一次性拼好整座桥（这很难且容易断裂），不如一块接一块地搭建，将一段的结尾与下一段的开头连接起来。

以下是它的工作步骤：

“短片”剪辑师：
STITCH-OPE 不再训练一个模型去一次性生成长达 10 分钟的完整视频，而是训练一个“扩散模型”（一种能够学习将随机噪声转化为清晰图像的高级 AI）来仅生成短片段。假设它学习生成 8 秒钟的片段。它学习如何将一个杂乱、多噪的片段版本进行清理，使其看起来像是旧机器人会做出的真实动作。
“缝合”（Stitching）技巧：
为了制作一段长视频，STITCH-OPE 并不一次性生成全部内容。它先生成一个 8 秒的片段，停下来，然后询问 AI：“好了，你现在结束在这个特定位置了。现在，请从刚才结束的地方开始，生成下一个 8 秒的片段。”它将这些短片段首尾相连地缝合在一起。
- 为什么这很酷： 如果 AI 在第一个片段中犯了一个小错误，它不会毁掉整部电影。它只会根据上一个片段实际结束的位置来生成下一个片段。这阻止了困扰其他方法的“误差爆炸”。
“导演指导”（核心秘诀）：
现在，我们需要确保这些片段看起来像是新机器人会做的动作，而不仅仅是旧机器人的动作。AI 有一个“评分函数”（一种了解新机器人喜好的方式）。
- 陷阱： 如果你只是告诉 AI“做新机器人喜欢的事”，它可能会感到困惑并创造出一些不可能实现的动作，因为新机器人的风格与旧机器人完全不同。
- 解决方法： STITCH-OPE 使用了一种“负向引导”（Negative Guidance）技巧。它告诉 AI：“做新机器人喜欢的事，但是，减去那些旧机器人热爱做的事。”
- 类比： 想象你在导演一场戏。旧机器人喜欢绕圈跳舞，而新机器人想要直线奔跑。如果你只说“直线奔跑”，演员可能会卡住。但如果你说“不要绕圈跳舞，然后再直线奔跑”，演员就会明确知道该避免什么，以及该做什么。这防止了 AI 陷入旧机器人的“舒适区”，并迫使它去探索新机器人的风格。

数据说明

作者在一些著名的机器人控制任务（如让机器人跳跃、行走或奔跑）上测试了该方法，使用了名为 D4RL 和 OpenAI Gym 的数据集。他们将游戏长度设置为：对于大型机器人为 768 步，对于小型机器人为 256 或 196 步。

结果非常令人振奋：

准确性： 在 15 个 特定测试案例中，STITCH-OPE 在 11 个 案例中击败了几乎所有其他方法。
排名： 它在判断哪个机器人是“最好”的方面表现出色，即使这些机器人与录像中的机器人差异很大。
“窗口”大小： 他们发现生成长度为 8 的片段（即“窗口大小” $w$ ）是最佳平衡点。它既能平衡拼接的需求，又不会产生过多的错误。

他们目前还不知道的事（尚未解决的问题）

论文谨慎地指出，这并不是解决一切问题的万灵药。

“不可能”的动作： 如果新机器人尝试做一些旧机器人从未做过的事情（例如，当旧机器人只在地面行走时，新机器人试图跳下悬崖），AI 可能会感到困惑并创造出虚假的、不可能的动作。数学模型假设旧机器人至少已经见过一部分新机器人所涉及的行为。
现实世界的复杂性： 虽然它在这些计算机模拟实验中表现出色，但作者承认，他们还不确定它是否能在数据不完整或机器人视觉感知不清晰的混乱现实世界问题中完美运行。

总结

STITCH-OPE 表明，通过将漫长且棘手的难题拆解为微小的、可缝合的片段，并使用一种聪明的“不要那样做”的规则来引导 AI，我们可以更好地预测一个新机器人的表现，而无需让它接触现实世界。这是在处理高风险情况时安全测试机器人的重要一步，但作者也提醒我们，这目前仍是基于模拟环境的成功，现实世界的测试才是下一个前沿阵地。

技术摘要：STITCH-OPE

问题陈述

离线策略评估（Off-Policy Evaluation, OPE）旨在利用从不同行为策略（ $\beta$ ）收集的离线数据来估计目标策略（ $\pi$ ）的性能。这在机器人技术和医疗保健等在线交互成本高昂或不安全的领域至关重要。然而，现有的 OPE 方法在处理高维、长时程问题时面临困难，主要由于以下两个失效模式：

重要性采样（Importance Sampling, IS）： 受制于“时程诅咒”（curse of horizon），其方差随评估时程呈指数级增长。
基于模型的方法（Model-Based Methods）： 虽然样本效率高，但在为长轨迹学习动力学模型时会受到**复合误差（compounding errors）**的影响，导致价值估计不准确。
分布偏移（Distribution Shift）： $\beta$ 与 $\pi$ 之间的差异会导致估计不准确，使得在部署前难以信任策略选择的结果。

近期使用无模型密度比估计（model-free density ratio estimation）的尝试在行为策略与目标策略显著不同时，表现出较差的实证性能。

方法论：STITCH-OPE

作者提出了 STITCH-OPE（用于长时程 OPE 的子轨迹重要性加权轨迹组合），这是一个利用**去噪扩散模型（denosing diffusion models）**的基于模型的生成框架。其核心创新在于通过引导在行为数据上训练的扩散模型来生成目标策略的合成轨迹，同时避免了全轨迹生成的复合误差。

1. 用于纠正分布偏移的引导扩散

STITCH-OPE 并非为每个新目标策略重新训练模型，而是预先在行为数据集（ $D_\beta$ ）上训练一个扩散模型以学习行为轨迹分布 $p_\beta(\tau)$ 。在推理期间，它通过引导去噪过程来生成目标策略轨迹（ $p_\pi$ ）。

引导函数 $g(\tau)$ 源自目标策略与行为策略之间的似然比。通过将似然比解释为扩散引导中的分类密度，作者将引导形式化为得分函数（score functions）之差：
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
这使得模型能够在不重新训练的情况下，将采样分布从 $p_\beta$ 转向 $p_\pi$ 。

2. 负行为引导（Negative Behavior Guidance）

一个关键的技术贡献是引入了负行为得分项（ $-\nabla_\tau \log \beta$ ）。

问题： 仅使用目标策略得分（ $\nabla_\tau \log \pi$ ）会导致引导采样分布坍缩到行为策略的高密度区域，即使这些区域在目标策略下是不可能的（过度正则化）。
解决方案： 减去行为得分可以防止这种坍缩，确保模型能够实现泛化并正确应对分布偏移。作者通过系数 $\alpha$ 和 $\lambda$ （通常 $\lambda < \alpha$ ）对这些系数进行泛化，以控制不同策略的相对重要性。

3. 使用条件扩散进行轨迹拼接（Trajectory Stitching）

为了解决长时程生成的复合误差问题，STITCH-OPE 并不一次性生成完整的轨迹。相反：

子轨迹生成： 扩散模型在长度为 $w \ll T$ 的短子轨迹上进行训练。
条件采样： 以半自回归的方式进行生成。模型在前一个生成的子轨迹的最终状态条件下生成下一个子轨迹。
拼接： 这些部分展开（partial rollouts）被端到端地拼接在一起，以形成全长轨迹。

这种方法将行为轨迹分布视为子轨迹的混合。通过仅以紧接的前一个状态为条件（而非完整的历史记录），模型保持了更高的熵和更广泛的行为数据模式覆盖，显著提高了组合性和对新初始状态的泛化能力。

理论保证

论文提供了 STITCH-OPE 估计器均方误差（MSE）的理论界限（定理 3.3）。

在温和的假设下（有界的似然比和学习到的行为模型中的有界误差），MSE 是有界的。
至关重要的是，该界限取决于子轨迹长度 $w$ ，而非总时程 $T$ 。
这导致与标准重要性采样（其规模随 $O(\exp(T))$ 变化）相比，实现了方差的指数级降低；并且与全轨迹扩散方法相比，具有更优的多项式依赖关系（ $O(T^2)$ ）。

实证结果

作者在 D4RL 基准测试（Hopper, Walker2d, HalfCheetah）和 OpenAI Gym（Pendulum, Acrobot）上对 STITCH-OPE 进行了评估。

性能： 在各种指标下，STITCH-OPE 在 15 个实例中的 11 个中优于最先进的基准方法（包括 Fitted Q-Evaluation, Doubly Robust, Importance Sampling 和 Policy-Guided Diffusion）：
- Log RMSE： 显著降低了误差。
- 秩相关性（Rank Correlation）： 提高了正确排序目标策略的能力。
- Regret@1： 在选择最佳策略时具有更低的遗憾值（regret）。
扩散策略： 该方法成功评估了由扩散模型定义的复杂目标策略，而其他估计器由于缺乏显式的概率分布，在处理此类任务时表现挣扎。
消融实验： 实验证实，当使用较小的窗口大小（ $w=8$ ）且存在负行为项的引导配置（ $0 < \lambda < \alpha$ ）时，性能达到最优。

意义与主张

论文声称 STITCH-OPE 是第一个证明能在高维、长时程任务中进行鲁棒离线策略评估的工作。其意义在于：

弥合差距： 它通过通过轨迹拼接减轻复合误差，成功弥合了基于模型的 OPE（样本效率）与全轨迹离线扩散（生成能力）之间的差距。
可扩展性： 它证明了扩散模型可以应用于高维空间的 OPE，而不会遭受典型 IS 方法中常见的指数级方差爆炸问题。
泛化性： 条件扩散与负行为引导的结合，使得模型能够鲁棒地评估与行为策略显著不同的目标策略，包括具有不同初始状态或动作分布的策略。

作者对其局限性保持了谦逊的态度，指出该方法依赖于行为数据覆盖目标策略支撑集的假设（假设 3.1），并且在复杂、部分可观测状态下的轨迹保真度评估仍具挑战性。他们还指出，该方法在机器人领域之外的特定领域问题上的适用性仍是一个开放性问题。