技术摘要：潜在策略屏障 (Latent Policy Barrier, LPB)

问题陈述

通过行为克隆 (Behavior Cloning, BC) 训练的视觉运动策略在本质上容易受到协变量偏移 (covariate shift) 的影响。在这种场景下，执行过程中与专家轨迹产生的微小偏差会随时间累积，将智能体推向分布外 (Out-of-Distribution, OOD) 状态，从而导致任务失败。

目前的缓解策略面临显著局限性：

• 人类在环纠错（如 DAgger）： 需要大量的人力干预，劳动强度大，且往往会引入次优或不一致的演示数据，从而降低策略质量。
• 合成数据增强： 依赖于强任务特定的假设或不变性，并存在引入噪声从而损害模仿精度的风险。
• 根本权衡： 在实现精确模仿所需的优质、一致的专家数据，与确保针对 OOD 状态的鲁棒性所需的多元、通常是次优的数据之间，存在一种张力。构建一个能够平衡这些需求的单一数据集具有挑战性。

方法论：潜在策略屏障 (LPB)

受控制理论中控制屏障函数 (Control Barrier Functions, CBFs) 的启发，LPB 提出了一个框架，将专家演示的潜在分布视为分隔安全（分布内）状态与不安全（OOD）状态的隐式屏障。其核心创新在于将精确的专家模仿与 OOD 恢复解耦为两个独立的模块。

1. 架构组件

• 基础扩散策略 ($\pi_\theta$)： 仅在有限的高质量专家演示集上进行训练。其唯一目标是精确模仿。它利用视觉编码器 $h_\theta$ 将原始观测映射到潜在表示。
• 视觉潜在动力学模型 ($d_\phi$)： 在包含专家演示和自动生成的展开 (rollout) 数据的更广泛、混合质量的数据集上进行训练。
  • 展开数据收集： 在训练期间保存基础策略的中间检查点并在环境中进行展开。这生成了覆盖偏差的多元状态-动作对，无需人工遥操作、奖励标注或成功标签。
  • 模型结构： 动力学模型由冻结的视觉编码器 $h_\theta$（与基础策略共享）和可学习的动力学预测器 $f_\phi$（实现为仅解码器 Transformer）组成。它根据当前潜在状态和候选动作序列预测未来的潜在观测。

2. 训练阶段

• 基础策略： 通过专家数据上的行为克隆损失进行优化。
• 动力学模型： 使用潜在空间中的均方误差 (MSE) 损失进行训练，该损失定义为预测的未来潜在状态与真实的未来潜在状态之间的差异。使用冻结的编码器确保了策略决策空间与动力学模型预测空间的一致性。

3. 推理时优化（转向/引导）

在推理时，LPB 通过主动转向基础策略来防止漂移：

1. OOD 检测： 系统计算潜在 OOD 得分 ($\delta$)，定义为当前编码观测值与其在专家潜在空间中的最近邻之间的 $\ell_2$ 距离。
2. 阈值判定： 如果 $\delta$ 低于预设阈值 $\tau$，则基础策略正常执行。
3. 梯度引导： 如果 $\delta > \tau$，系统调用受扩散模型中分类器引导 (classifier guidance) 启发的纠错机制。
   • 系统基于候选动作使用动力学模型预测未来的潜在状态。
   • 系统计算 OOD 得分相对于动作序列的梯度。
   • 该梯度用于细化扩散去噪过程中的噪声预测，有效地将预测的未来状态拉回至专家流形 (expert manifold)。
   • 注： 为确保稳定性，梯度引导仅在最后 $K_{guide}$ 个去噪步骤（例如 100 步中的最后 10 步）中应用，此时样本更具结构化。

核心贡献

1. 解耦学习框架： LPB 将精确模仿（基础策略）与鲁棒性（动力学模型）的学习分离，允许使用少量高质量专家数据进行模仿，同时利用廉价的次优展开数据来增强鲁棒性。
2. 隐式屏障机制： LPB 并不需要显式的解析安全集或系统动力学，而是学习由专家数据分布定义的潜在空间中的隐式屏障。
3. 即插即用兼容性： LPB 可以增强现成的预训练策略，而无需重新训练或微调基础策略本身，前提是能够基于展开数据训练动力学模型。
4. 数据效率： 通过利用自动生成的展开数据进行动力学模型训练，LPB 减少了对高强度人工纠错或标注的依赖。

实验结果

作者在模拟环境（Push-T, Robomimic, Libero-10）和真实世界机器人任务（杯子摆放、皮带组装）中评估了 LPB。

• 样本效率： 在低数据量场景下（例如仅使用 20% 的专家演示），LPB 一致地优于包括 Expert BC, Mixed BC, Filtered BC, CQL 和 CCIL 在内的基准模型。在长程、高精度敏感的任务（如 Tool-Hang 和 Transport）中，这种提升尤为显著。
• 对扰动的鲁棒性： 在推理过程中向动作中注入高斯噪声时，LPB 保持了最高的成功率，优于基准模型，展示了对协变量偏移的卓越韧性。
• 真实世界表现：
  • 杯子摆放 (Cup Arrangement)： LPB 成功从分布外的初始姿态（即相机看不到杯子或碟子的情况）中恢复，通过引导机器人移动以显露物体，而基础策略在此情况下会失败。
  • 皮带组装 (Belt Assembly)： 在需要高精度的接触密集型任务中，LPB 将成功率从 0.55（基础 BC）提高到 0.75，成功从导致基础策略失败的初始偏差中恢复。
• 消融实验： 研究证实，即使数据是次优的，动力学模型也能从更广泛的状态-动作覆盖中获益，并且潜在 OOD 得分可以作为检测和纠正漂移的可靠信号。

重要性与主张

论文声称 LPB 提供了一条实现可靠视觉运动学习的实用路径，解决了模仿精度与鲁棒性之间的权衡。通过将行为克隆从被动模仿者转变为主动的自纠错控制器，LPB 实现了：

• 从有限专家数据中进行可靠的操作。
• 无需额外的专家修正或标注即可实现鲁棒性。
• 通过在潜在空间中将策略转向回专家流形，实现从 OOD 状态中恢复的能力。

作者承认了局限性，指出 LPB 目前主要纠正短期、局部的偏差，并且需要特定任务的动力学模型。未来的工作建议探索长程推理、多任务动力学模型以实现零样本泛化，以及在缺乏专家训练数据的情况下进行无分布约束的不确定性量化。