AFFORD2ACT: Affordance-Guided Automatic Keypoint Selection for Generalizable and Lightweight Robotic Manipulation

1. 研究背景与问题 (Problem)

核心挑战：
基于视觉的机器人操作策略（Manipulation Policies）在泛化到训练场景之外时面临巨大挑战。主要原因在于：

• 密集视觉输入的干扰： 传统的密集视觉输入（如完整图像、点云）包含了大量与任务无关的“噪声”信息（如背景、光照变化、物体实例的具体外观），导致策略难以提取任务相关的特征。
• 关键点选择的困难： 虽然稀疏的 2D 关键点（Keypoints）表示法能提供紧凑且高效的输入，但自动选择那些既与任务相关又能跨物体、跨指令泛化的关键点非常困难。
  • 运动驱动方法：在背景运动或动态干扰下容易失效。
  • 联合学习方法：往往将关键点绑定在训练数据上，难以迁移到新物体。
  • 语义关键点方法：通常关注物体“是什么”和“在哪里”，而非机器人“应该在哪里交互”，缺乏任务条件性（Task-conditioned）。

研究目标：
如何自动提取功能化（Functionally Grounded）、任务条件化（Task-conditioned） 的稀疏 2D 关键点，使其能够跨物体形状泛化，同时对干扰物具有鲁棒性，并支持轻量级的实时推理。

---

2. 方法论 (Methodology)

作者提出了 AFFORD2ACT（Affordance-Guided Keypoints to Act），这是一个利用语言条件化的** affordance（可供性）** 先验来引导关键点提取和策略学习的框架。整个流程分为四个主要步骤（如图 2 所示）：

A. 基于 Affordance 的关键点蒸馏 (Affordance-Guided Keypoint Distillation)

1. Affordance 定位 (Localization)：
   • 输入：单视角 RGB 图像的第一帧 ($I_1$) 和自然语言指令 ($A$，如“倒水”、“切割”)。
   • 过程：使用预训练的 One-Shot Open Affordance 模型生成热力图，指示场景中适合执行该动作的区域。
   • 输出：通过鲁棒的分位数阈值处理，生成二值化的可操作区域掩码 (Actionable Mask)，过滤掉背景和无关物体。
2. 参考关键点提取 (Reference Keypoint Extraction)：
   • 在参考帧（第一帧）的可操作区域内，利用 DINO 骨干网络提取密集特征图。
   • 对区域内的特征进行聚类，自动选择 $K$ 个参考锚点 (Reference Anchors)。这些锚点代表物体的功能部分（如“把手尖端”、“刀刃边缘”），无需人工标注。
3. 跨实例对应 (Cross-instance Correspondence)：
   • 对于新的演示或测试实例，同样计算特征图。
   • 在可操作掩码范围内，通过计算参考锚点特征与新帧像素特征的余弦相似度，找到最佳匹配位置。
   • 这确保了即使物体几何形状和外观发生变化，关键点索引 $i$ 始终对应相同的功能部件（例如，始终对应“把手”）。
4. 时间跟踪 (Temporal Tracking)：
   • 使用基于 Transformer 的点跟踪器（如 Co-Tracker）在演示过程中跟踪这些关键点。
   • 利用关键点间的相关性提高抗遮挡能力（例如抓取时机械臂遮挡把手），保持索引的一致性。

B. 策略设计 (Policy Design)

• 输入表示： 将 $K$ 个稀疏的 2D 关键点坐标嵌入为 Token。
• 上下文编码： 使用 Transformer Encoder 对 Token 进行编码，使每个关键点能结合其他关键点的信息进行理解（例如，区分刀尖和刀柄）。
• 门控机制 (Gating Network)：
  • 引入一个轻量级的门控网络，为每个关键点 Token 分配非负的重要性权重。
  • 通过 Softmax 归一化，动态地抑制与当前任务阶段无关的关键点，突出当前最相关的交互点。
  • 加权聚合后生成紧凑的场景嵌入向量 ($h_t$)。
• 动作输出： 嵌入向量通过 MLP 头输出末端执行器的位移动作和夹爪指令。

---

3. 主要贡献 (Key Contributions)

1. 全自动的语言条件化关键点提取流水线：
   • 无需人工指定关键点，利用 Affordance 模型直接从交互相关区域提取稀疏 2D 关键点。
   • 解决了传统方法依赖人工标注或特定物体检测器的问题。
2. 对应性与门控策略 (Correspondence-and-Gating Policy)：
   • 提出了保持跨实例语义一致性的对应机制。
   • 设计了门控网络，使策略能在操作过程中动态调整关键点的重要性（例如：倒水时关注壶嘴，拿起时关注把手），实现了上下文感知的控制。
3. 广泛的真实机器人评估：
   • 在 6 个真实机器人操作任务（抓取、切割、清扫、倒水、搅拌、踢球）上进行了验证。
   • 证明了该方法在未见物体、新类别、背景变化及干扰物存在的情况下具有极强的泛化能力。

---

4. 实验结果 (Results)

实验在 6 个真实任务上进行，使用了 UR3e 机械臂和 RealSense 相机。

• 总体成功率：
  • 在未见物体（Held-out objects）上的平均成功率为 82%。
  • 在包含干扰物（Distractors）和背景变化的场景下表现稳健（约 78%-84%）。
• 对比基线 (Keypoint Priors)：
  • 与 YOLO+DINO、SAM+DINO、均匀网格采样以及人工选择关键点（P3PO 风格）相比，AFFORD2ACT 在未见物体类别上的泛化能力最强。
  • 人工选择的方法虽然表现不错，但 AFFORD2ACT 在无需人工干预的情况下达到了可比甚至更优的性能。
• 输入模态对比 (Keypoint Effectiveness)：
  • 相比基于全图（RGB-BC, RGB-D-BC）的策略，基于关键点的方法在数据效率上显著更优。
  • 在仅使用 10 个演示样本 的情况下，AFFORD2ACT 仍能保持高性能，而基于图像的策略随着数据减少性能急剧下降。
  • 语义轨迹分析显示，基于关键点的方法能更准确地执行中间步骤（如先抓取再操作），减少了动作序列混乱。
• 消融实验 (Ablation Studies)：
  • 门控网络的重要性： 移除门控网络（即所有关键点权重相等）导致成功率从 86% 降至 52%，特别是在杂乱场景中，证明了动态关注关键点的必要性。
  • 有效关键点数量： 门控机制使得策略在任意时刻实际关注的关键点数量（$K_{eff}$）远小于总数量（19 个），通常只关注最相关的子集。
  • 语言鲁棒性： 对提示词的同义词替换（如 "sweep" vs "brush with"）不影响关键点提取的准确性。

---

5. 意义与未来工作 (Significance & Future Work)

意义：

• 轻量化与高效性： 将高维视觉输入压缩为极少量的语义关键点（19 个），大幅降低了计算需求，支持实时推理。
• 真正的泛化能力： 通过“可供性（Affordance）”而非“物体类别”来定义交互区域，使得机器人能够理解物体的功能（如“可抓握的部分”），从而泛化到从未见过的物体形状和新类别。
• 抗干扰性： 稀疏表示天然过滤了背景和无关物体的噪声，提高了在复杂动态环境中的鲁棒性。

局限性与未来方向：

• 感知依赖： 如果 Affordance 掩码预测不准确（如遮挡严重或光照极端），会导致关键点提取错误。
• 单视角限制： 单一 RGB 视角在严重遮挡下可能失效。
• 未来工作： 计划结合置信度感知的过滤机制、在线关键点重锚定（Re-anchoring）以及多阶段任务规划，以支持更长视野（Long-horizon）的复杂操作任务。

总结：
AFFORD2ACT 成功地将大模型的语义理解能力（Affordance）与传统的稀疏关键点表示相结合，提供了一种数据高效、泛化性强且计算轻量的机器人操作新范式，解决了从密集视觉到可执行动作之间的关键鸿沟。