技术摘要：隐式漂移策略 (Implicit Drifting Policy, IDP)

问题陈述

基于扩散（Diffusion）或流匹配（Flow Matching）的生成式动作策略在行为克隆中表现出色，因为它们保留了中间轨迹的演化过程，从而实现了渐进式的动作修正。然而，其迭代采样过程对于高频机器人控制而言计算成本过高。近期的单步公式化方法（如一致性策略 Consistency Policy、单步扩散 One-Step Diffusion）虽然缓解了延迟问题，但却丢弃了中间修正机制。

在尝试通过显式漂移（Explicit Drifting）在单步策略中恢复这种修正机制时，出现了一个关键挑战。漂移模型通常训练一个生成器，使分布向数据移动，利用连续向量场。在无条件生成中，该场可以从丰富的样本集中进行估计。然而，在有条件的行为克隆中，演示通常仅为每个观测提供单一的确定性专家动作。正如命题 3.1所示，在这一稀疏设定下尝试估计漂移场会导致数学上的退化：经验性的条件漂移场会坍缩为专家动作与预测值之间的简单差值（$a^* - a$），这使得显式场等同于标准的各向同性均方误差（MSE）损失。这消除了单步生成器遵循有效动作流形所需的局部几何引导。

方法论：隐式漂移策略 (IDP)

作者提出了隐式漂移策略 (IDP)，这是一种单步模仿学习框架，它通过在策略学习中引入训练时的修正优势，而不显式估计向量场。IDP 并非回归一个动态场，而是从相似观测下专家动作的局部变化中提取静态的条件专家几何（Conditional Expert Geometry），并利用它来定义一个具备几何感知能力的势函数目标。

1. 隐式修正目标

IDP 将修正向量表示为 $\Delta_i(a) = M_i(a^*_i - a)$，其中 $M_i$ 是一个作为几何自适应权重的正定对称矩阵。该向量对应于一个**仅几何势函数（Geometry-only Potential Function）**的负梯度：
$$E^{geo}_i(a) = \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
总训练目标结合了标准各向同性误差与该几何自适应惩罚项：
$$E_i(a) = \frac{1}{2}\|a - a^*_i\|^2_2 + \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
这把问题从回归一个显式向量场转变为最小化一个势函数，该势函数会沿着受限方向自适应地增加惩罚。

2. 条件专家几何提取

为了构建自适应矩阵 $M_i$，IDP 分析了相似观测下专家动作的局部变化：

• 邻居选择： 对于给定的观测 $o_i$，该方法使用归一化的特征嵌入（带有停止梯度以确保稳定性）在数据集中识别相似的观测。
• 局部协方差： 它基于来自这些相似观测的专家动作 $a^*_j$ 的加权协方差计算条件专家几何矩阵 $G_i$：
  $$G_i = \mathbb{E}_{j \sim \mathcal{D}\setminus\{i\}} [w_{ij}(a^*_j - a^*_i)(a^*_j - a^*_i)^\top]$$
  $G_i$ 的微小方差表示在该特定条件下存在严格的操作约束。

3. 局部几何过剩

为了将特定条件的约束从固有的全局动作变化中分离出来，IDP 将局部条件方差与全局参考方差（$v^{ref}$）进行比较。它计算了两个维度的归一化精度尺度，并使用 ReLU 算子定义了几何过剩（Geometry Excess）（$m_{i,d}$）：
$$m_{i,d} = \text{ReLU}\left( \frac{s^{cond}_{i,d}}{s^{ref}_d} - 1 \right)$$
这确保了只有在当前观测施加了比全局先验更严格约束的维度才会被惩罚。生成的对角矩阵 $M_i = \text{Diag}(m_i)$ 作为自适应权重。

4. 专家近端评估

为了确保网络捕捉到由势函数定义的局部流形拓扑，IDP 在训练期间引入了专家近端评估（Expert-Proximal Evaluation）。不仅评估标准的预测值 $y_i = f_\theta(o_i, a_0, 0)$，模型还在靠近专家动作的探测点 $z_i$ 处进行评估（$z_i = f_\theta(o_i, a^*_i + \epsilon, t^*)$）。总损失是这两个点处势函数的加权和：
$$\mathcal{L} = \mathbb{E}_{i \sim \mathcal{D}} [E_i(y_i) + \lambda_{prox} E_i(z_i)]$$
这使单步生成器能够接触到专家目标附近的局部修正结构，防止网络学习到仅拟合初始噪声分布的拓扑结构。

核心贡献

1. 隐式漂移策略 (IDP)： 一种单步模仿学习框架，通过最小化几何感知的势函数来实现训练时修正的内化，避免了在稀疏条件环境下估计显式向量场的不稳定性。
2. 条件专家几何提取： 一种通过将相似观测的局部条件几何与全局参考进行比较，从而推导出局部动作修正结构的方法，能够自适应地分离出特定条件的约束。
3. 专家近端训练评估： 一种在专家动作附近评估策略的训练机制，确保生成器能有效捕捉由几何势函数定义的局部流形拓扑。

实验结果

作者在 2D 状态/图像基准测试、3D 点云操纵任务以及现实世界机器人实验中评估了 IDP。

• 2D 和 3D 模拟任务： IDP 在面对强力的单步基线（如 Consistency Policy, MP1, OFP）时取得了具有竞争力的成功率，并且通常优于显式漂移变体（Naive Drifting）。在若干设置下，IDP (NFE=1) 的性能接近多步生成策略（如 100 步 Diffusion Policy）。
• 现实世界“摘桃子”（Pick Peach）任务： 在具有双峰分布的单臂 ALOHA 平台上，IDP 在视觉设置下实现了 50% 的成功率，而 Diffusion Policy、Naive Drifting 和 MIP 则全部失败（0%）。基线模型表现出偏离有效动作流形的现象，而 IDP 则能遵循有效的抓取姿态并保持实时反应能力。
• 消融实验： 去除专家近端评估会导致性能显著下降（例如在 ToolHang-State 上从 81% 降至 40%），证实了其对于内化局部结构的必要性。同样，使用均匀分布或打乱后的邻居会降低性能，验证了观测条件化几何的重要性。

意义与主张

本文声称 IDP 成功解决了单步动作生成中的“中间误差修正丢失”问题。通过从回归动态向量场转向最小化源自演示的静态几何感知势函数，IDP 在训练过程中提供了一个可靠的动作修正信号。

作者强调 IDP：

• 保持对有效流形的遵循： 它有效地对单步生成器实施约束，防止其偏离有效的动作空间。
• 优于显式漂移： 它克服了在稀疏条件行为克隆中估计漂移场的数学不适定性。
• 实现具有竞争力的性能： 它在保持低延迟推理优势的同时，达到或超过了强大的单步基线水平。

论文也谦虚地承认了局限性：单步策略在处理多模态动作分布时仍面临困难，且该方法依赖于在相似观测下具有合理密度的专家动作来构建局部几何。未来的工作建议针对稀疏数据和多模态场景进行研究。