Policy Contrastive Decoding for Robotic Foundation Models

以下是论文《用于机器人基础模型的策略对比解码》的详细技术总结：

1. 问题陈述

机器人基础模型（通用机器人策略）在灵活、通用的操作方面显示出巨大潜力。然而，作者指出了一个关键缺陷：这些模型通常从预训练轨迹中学习虚假相关性。策略并非关注与任务相关的物体特征，而是依赖无关的背景线索（例如光照、纹理或特定的背景物体）来预测动作。

• 后果： 当部署环境发生偏移（例如背景变化、光照调整或物体重新定位）时，策略的性能会显著下降，因为学到的“捷径”不再有效。
• 当前局限性： 现有的解决方案通常需要重新训练或微调，这不仅计算成本高昂，而且需要访问模型权重。目前缺乏能够纠正推理时失效的免训练、即插即用方法。

2. 方法论：策略对比解码 (PCD)

作者提出了策略对比解码 (PCD)，这是一种免训练的推理时插件，旨在将机器人策略的注意力从虚假特征重新引导至与物体相关的视觉线索。

核心机制

PCD 通过对比由两种不同视觉输入生成的动作概率分布来运作：

1. 原始观测 ($o_i$)： 标准的视觉输入。
2. 物体掩码观测 ($\hat{o}_i$)： 相同的视觉输入，其中目标任务相关物体被掩码（移除/修复）。

该方法使用以下公式计算新的对比动作概率分布 ($\pi^*$)：
$$\pi^*_\theta(a_i | \ell, o_i) = \frac{1}{C} \cdot \pi_\theta(a_i | \ell, o_i) \cdot \left( \frac{\pi_\theta(a_i | \ell, o_i)}{\pi_\theta(a_i | \ell, \hat{o}_i)} \right)^\alpha$$

• 逻辑： 如果策略依赖虚假特征（背景），则 $o_i$ 和 $\hat{o}_i$ 的概率分布将相似，导致比率接近 1（无变化）。如果策略依赖物体，则 $\hat{o}_i$ 的分布将显著不同，从而在最终输出中放大正确动作的概率。
• 超参数 ($\alpha$)： 控制对比的强度。$\alpha=0$ 恢复基线策略。

关键技术组件

为了使 PCD 适用于多种机器人策略，作者引入了两种具体策略：

1. 跟踪转掩码 (Track2Mask)：

   • 目标： 自动为轨迹中的每一帧生成物体掩码观测，无需人工干预。
   • 过程：
     • 标注： 使用人工提示（点/框）或现成的开放词汇检测器（例如 Grounding DINO）识别初始帧中的目标物体。
     • 跟踪： SAM2 (Segment Anything Model 2) 在后续帧中跟踪并分割这些物体。
     • 修复： 对分割出的物体进行修复（移除），以创建掩码观测 $\hat{o}_i$。

2. 基于 KDE 的概率建模 (KDE-PM)：

   • 挑战： 自回归策略（例如 OpenVLA）直接输出 token 概率，但基于扩散的策略（例如 Octo, $\pi_0$）通过去噪过程生成动作，并不原生输出动作概率分布 $\pi_\theta(a|o)$。
   • 解决方案： 作者使用核密度估计 (KDE) 来近似动作概率分布。他们从扩散策略中采样 $N$ 个候选动作，并将高斯核密度拟合到这些样本上，以估计 $\pi_\theta(a|o)$ 和 $\pi_\theta(a|\hat{o})$，从而使对比解码公式能够与扩散模型配合工作。

3. 主要贡献

1. 首个免训练解决方案： PCD 是首个提出即插即用、免训练方法以缓解机器人策略在推理过程中虚假相关性的工作。
2. 模型无关： 它作为一个黑盒插件运行，兼容自回归（OpenVLA）和基于扩散（Octo, $\pi_0$）的策略，无需访问预训练权重或进行微调。
3. 对分布偏移的鲁棒性： 通过显式对比与物体相关和与物体无关的输入，PCD 迫使策略关注因果特征，显著提高了对未见场景的泛化能力。

4. 实验结果

作者在仿真环境 (SIMPLER) 和真实世界环境中，使用三种最先进的策略（OpenVLA、Octo 和 $\pi_0$）评估了 PCD 在15 种多样化任务上的表现。

• 仿真性能：
  • OpenVLA： 平均成功率提高了 50.6%。
  • Octo： 平均成功率提高了 29.7%。
  • $\pi_0$： 平均成功率提高了 8.9%（尽管 $\pi_0$ 本身已是一个强大的基线）。
• 真实世界性能：
  • 在使用 $\pi_0$ 策略的真实世界操作任务中，与基线相比，PCD 实现了 108% 的成功率巨大提升。
  • 该方法对各种干扰因素（光照变化、背景杂乱、物体位置偏移）表现出鲁棒性。
• 消融研究：
  • 该方法对不同物体检测策略（人工提示 vs. Grounding DINO vs. YOLO World）具有鲁棒性。
  • 它对不同的图像修复算法具有鲁棒性（LaMa 表现最佳）。
  • 当 $\alpha > 0$ 时，超参数 $\alpha$ 显示出明显的积极影响。

5. 意义与局限性

• 意义： PCD 解决了当前机器人基础模型的一个根本弱点（依赖虚假相关性），而无需付出高昂的重新训练成本。它证明了简单的推理时干预可以极大地提高真实世界部署中的泛化能力和安全性。
• 局限性：
  • 计算开销： PCD 需要第二次前向传播（针对掩码图像）以及物体跟踪/修复，使推理延迟增加了约 24-100%（取决于策略和并行化程度）。然而，作者认为鉴于成功率的巨大提升，这是可以接受的。
  • 范围： 目前专注于推理时的修正；未来的工作旨在解决训练阶段的虚假相关性。

结论： 该论文提出了一个高效、通用的框架（PCD），通过迫使机器人基础模型关注正确的视觉特征，显著增强了其可靠性和泛化能力，弥合了仿真性能与真实世界鲁棒性之间的差距。