技术摘要：FOCI 策略

问题陈述

机器人操控策略通常学习从观测到机器人动作的直接映射（以动作为中心）。虽然这些方法在受控设置中行之有效，但往往需要大规模数据集来覆盖高维度的机器人状态空间，并且在面对新颖的对象配置或场景布局时难以泛化。现有的以对象为中心的方法试图通过建模中间对象表示（例如静态目标位姿或密集运动流）来提高泛化能力。然而，静态目标位姿往往无法捕捉关键的交互动力学，而密集的运动流则在学习上计算成本高昂且容易产生漂移。

本文解决的核心挑战是关系型操控（relational manipulation）：即成功取决于物体之间几何与功能关系的任务（例如将牙刷插入杯中）。作者观察到，许多此类任务都受控于短暂且紧密约束的交互阶段，而之前的传输阶段则是相对不受约束且与任务无关的。现有方法往往无法隔离这些关键阶段，导致学习效率低下且泛化能力差，特别是在少样本（单次演示）场景下。

方法论：FOCI 策略

作者提出了 FOCI 策略（Focus on Object-Centric Interactions，聚焦于以对象为中心的交互），这是一个将操控技能在时间与空间两个维度上进行抽象的交互中心化框架。

1. 时间抽象：交互段

该策略不是从整个演示序列 $[0, H]$ 中学习，而是自动提取位于子区间 $[t_s, t_g]$ 内的交互段 $\tau_{rel}$。

• 检测机制： 系统将段识别视为一个**变点检测（Change-Point Detection, CPD）**问题。它构建了一个结合了夹持器线速度、角速度以及源对象与目标对象之间距离的多变量时间序列 $\tilde{S}(t)$。
• 算法： 使用带有 RBF 核代价函数的 PELT 算法，系统能够识别出无约束传输结束且受约束交互开始的最佳转换点 $t_s$。这可以在无需人工标注的情况下，分离出具有功能性的关键阶段。

2. 空间抽象：以对象为中心的公式化

该策略将提取的交互段表示为任务相关对象之间的相对 SE(3) 运动，而非绝对机器人轨迹。

• 定义： 令 $T_{src}$ 和 $T_{tgt}$ 分别为源对象（例如抓取的工具）和目标对象（例如容器）在世界坐标系下的位姿。交互段定义为相对运动：
  $$\tau_{rel} = \{ (T_{tgt}^{(k)})^{-1} T_{src}^{(k)} \}_{k=1}^n$$
• 不变性： 这种公式化使学习到的技能对于场景配置和机器人本体具有不变性。策略学习的是完成任务所需的相对运动，无论对象最初放置在何处，也无论是由哪种机器人执行任务。

3. 策略架构

模型根据对象点云 ($P_{src}, P_{tgt}$) 和语言指令 ($\ell$) 来预测交互段。

• 编码器： 使用 PointNet++ 对点云进行编码。特征通过交叉注意力进行融合，以捕捉交互相关的几何信息。语言嵌入（来自 CLIP）与几何特征进行拼接。
• 两阶段预测：
  1. 目标预测： 使用高斯混合模型 (GMM) 预测终端相对位姿 $T_{rel}^{(n)}$，从而允许多模态的交互策略（例如不同的插入角度）。
  2. 轨迹生成： 轨迹解码器生成以预测目标为条件的中间路点。
• 动作恢复： 在推理阶段，预测的相对轨迹通过估计的目标对象位姿及固定偏移量 ($T_{ofs}$) 转换回世界坐标系，从而生成可执行的末端执行器命令。

核心贡献

1. 交互作为一种紧凑的抽象： 本文证明了任务相关的对象-对象交互（OOI）为关系型操控提供了一种紧凑的抽象。作者提出了一个使用变点检测自动从演示中提取这些片段的流程，消除了与任务无关的变异性。
2. 交互中心化策略架构： 设计了一种两阶段策略，将操控建模为对象之间的相对 SE(3) 运动。这实现了对机器人本体和场景配置的不变性，解决了静态目标位姿和密集流场存在的局限性。
3. 数据高效的泛化： 最终的方法在单次演示和单个摄像头的情况下实现了强大的性能。它在仿真和现实世界设置中均优于先前的以对象为中心和以动作为中心的基准模型，表明有效的关系型操控并不需要大规模训练数据。

实验结果

作者在三个基准测试上评估了 FOCI 策略：RLBench、COLOSSEUM 以及真实世界任务。

• RLBench（关系型操控）： 在具有明确 OOI 的 8 个任务中，经过单次演示训练的 FOCI 策略取得了显著高于基准模型（如 Imagination Policy, 3D Diffuser Actor, RVT2，后者使用了 5 次演示）的成功率。值得注意的是，在诸如 Put-Roll 和 Put-Umbrella 等对精度要求极高的任务中，FOCI 策略在 1 次演示下分别达到了约 45% 和 38% 的成功率，而以动作为中心的基准模型通常失败（0-9%）。
• COLOSSEUM（视觉鲁棒性）： 在严重的视觉扰动（纹理、光照、干扰物、相机位姿）下，FOCI 策略展现出了与使用 100 次演示/任务训练的视觉-语言-动作（VLA）模型（BridgeVLA, ActiveVLA）相当的鲁棒性。尽管仅使用了 1% 的数据，FOCI 策略在“所有扰动”设置下的表现仍优于这些 VLA 模型（25.3% vs. ~20%）。
• RLBench-18（泛化性）： 在 18 个任务的单次演示设置中，FOCI 策略实现了 43.7% 的平均成功率。在“易于接地（easy-to-ground）”的任务中表现很高（79.6%），但在“难于接地”的任务中有所下降（7.8%），这表明瓶颈在于可靠的交互接地（位姿估计）而非策略本身。
• 真实世界部署： 在配备单个 RGB-D 摄像头的 Franka Emika Panda 机器人上，该策略仅用一次演示就在五个多样化任务（如 Insert-Tube, Pour-Liquid）中实现了 >53% 的任务成功率。它成功迁移到了不同的机器人本体（Robotiq 夹持器），并通过集成经典运动规划实现了避障。

意义与主张

本文认为，对于刚性关系型操控，建模对象-对象交互提供了一种简单且高效的归纳偏置。通过专注于“交互段”——即相对运动受到约束的具体区间——该方法实现了：

• 数据效率： 从单次演示中学习复杂的技能。
• 泛化性： 对新颖的对象位姿、场景配置甚至不同的机器人本体具有鲁棒性。
• 简洁性： 该框架将交互动力学的学习与绝对机器人控制及全轨迹模仿的复杂性解耦。

作者总结道，如果策略被明确设计为建模对象间受约束的相对运动，那么有效的关系型操控并不一定需要大规模训练数据。他们承认在涉及连续接触（如推挤）或存在模糊几何/遮挡导致位姿估计失效的场景中的局限性，但认为交互中心化的公式化是迈向数据高效机器人学习的重要一步。