🤖 AI

AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Afford Correspondence

AffordGen 框架利用 3D 生成模型和视觉基础模型，通过跨大规模 3D 网格的语义关键点生成多样化的操作演示数据，从而训练出具备零样本泛化能力且数据效率显著提升的机器人闭环视觉运动策略。

原作者： Jiawei Zhang, Kaizhe Hu, Yingqian Huang, Yuanchen Ju, Zhengrong Xue, Huazhe Xu

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiawei Zhang, Kaizhe Hu, Yingqian Huang, Yuanchen Ju, Zhengrong Xue, Huazhe Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 AffordGen 的新系统，它的核心目标是解决机器人学习中的一个大难题：如何让机器人只用很少的“老师示范”，就能学会操作成千上万种它从未见过的物体？

为了让你更容易理解，我们可以把机器人学习想象成教一个刚入行的学徒做菜。

1. 以前的困境：死记硬背 vs. 举一反三

传统方法（死记硬背）：
以前的机器人学习就像让学徒死记硬背。如果老师演示了“用特定的杯子倒茶”，机器人就记住了“手要移动到杯子把手的特定位置，然后倾斜”。
- 问题： 如果换个形状不同的杯子（比如没有把手的马克杯，或者一个茶壶），机器人就傻眼了，因为它只记住了那个特定杯子的样子，换个东西就不会了。
- 数据瓶颈： 要教机器人认识所有东西，人类得累死，因为每换一种物体，都得重新演示一遍。
现有的改进（稍微灵活一点）：
有些新方法（如 DemoGen）能像“照片滤镜”一样，把同一个动作在空间上平移、旋转，生成很多新数据。
- 问题： 这就像把“倒茶”的动作从桌子左边移到右边，但物体本身还是那个杯子。如果物体形状变了（比如从杯子变成茶壶），这些方法还是不管用。
另一种思路（画图纸）：
还有一类方法（如 Robo-ABC）试图通过“找关键点”来理解物体。比如告诉机器人：“抓住把手，倒水口对准杯子”。
- 问题： 这就像给机器人画了一张静态的“操作图纸”。机器人照着图纸走，一旦遇到障碍物或者手滑了，它就不会灵活调整，容易撞车或失败。它缺乏“肌肉记忆”和实时反应能力。

2. AffordGen 的绝招：传授“心法”而非“招式”

AffordGen 的聪明之处在于，它不教机器人死记硬背物体的样子，也不只给一张静态图纸，而是教机器人**“功能心法”**。

核心比喻：从“教倒茶”到“教倒水逻辑”

想象一下，你教机器人倒水。

普通教学： “手要放在这个红色杯子的把手上，倾斜 45 度。”
AffordGen 教学： “不管手里拿的是杯子、茶壶还是水壶，只要找到‘能抓的地方’（把手/affordance），然后让‘出水的地方’（壶嘴/功能点）对准目标，倒水动作的逻辑是一样的。"

它是如何工作的？（三步走）

提取“灵魂”（关键点提取）：
人类老师只演示了一次（比如倒茶）。AffordGen 会像侦探一样，从这次演示中提取出两个核心信息：
- 抓手点： 手应该抓哪里？（比如茶壶把手）
- 功能点： 物体哪里负责完成任务？（比如茶壶嘴）
  这就好比提取了这次动作的“灵魂”。
寻找“替身”（语义对应）：
系统里有一个巨大的 3D 物体库（有各种各样的杯子、茶壶、甚至奇怪的形状）。AffordGen 利用强大的 AI 视觉模型，在这些新物体上自动寻找和原物体“灵魂”相同的地方。
- 比喻： 就像给新物体贴上了“隐形标签”，告诉机器人：“虽然你是个茶壶，但你的把手和那个杯子的把手在功能上是‘亲戚’，你的壶嘴和那个杯子的口也是‘亲戚’。”
生成“海量练习”（数据生成）：
一旦找到了这些“亲戚”关系，AffordGen 就能把老师那一次的演示，瞬间“复制粘贴”并“变形”成几千次全新的演示。
- 它可以生成机器人抓不同形状茶壶、在不同角度倒水的成千上万种情况。
- 关键点： 这些生成的数据不仅仅是位置变了，而是逻辑变了（比如从抓杯子变成了抓茶壶）。

3. 为什么它这么厉害？

举一反三（泛化能力）：
因为机器人是在“功能逻辑”上学习的，而不是在“物体长相”上死记硬背。所以，当它面对一个从未见过的、甚至从未在训练中出现过的物体（比如一个形状怪异的杯子）时，它也能通过识别“把手”和“壶嘴”，直接上手操作。
- 论文结果： 在模拟和真实世界中，面对完全没见过的物体，它的成功率比以前的方法高出了 24% 以上。
越级挑战（跨类别）：
最神奇的是，它甚至能跨类别学习。
- 例子： 用“倒茶壶”的数据，去训练机器人“倒马克杯”甚至“倒手提包”。只要功能逻辑相似（都是把液体从一个容器倒进另一个），机器人就能学会。
实时反应（闭环控制）：
它生成的不仅仅是静态的“操作图纸”，而是大量的动态训练数据。机器人通过训练，学会了像人类一样，根据眼前的情况实时调整动作（比如手滑了赶紧扶正），而不是机械地照着图纸走。

4. 总结

AffordGen 就像一位高明的武术大师。
以前的机器人学武，是死记硬背每一招每一式针对特定敌人的打法。
而 AffordGen 教机器人的是**“武学心法”**：理解物体的“功能”和“结构关系”。

只要掌握了心法，无论对手（物体）怎么变，无论场地（环境）怎么变，机器人都能迅速适应，用最少的人类示范，学会操作世间万物。这大大降低了机器人进入我们日常生活的门槛，让机器人真正变得“聪明”且“通用”。

AffordGen 技术总结

1. 研究背景与问题定义 (Problem)

尽管现代模仿学习（Imitation Learning）在机器人操作领域取得了显著进展，但其实际应用仍面临两大核心挑战：

数据收集成本高昂：获取大规模、高质量的人类演示数据极其困难且昂贵。
泛化能力不足：现有策略在面对训练集中未出现的新物体（Novel Objects）或新场景时，泛化性能往往较差。

现有的数据增强方法（如 DemoGen, CPGen）主要通过空间变换或网格拉伸来扩展单一物体的演示数据，但受限于源物体的语义范围，难以跨越物体类别或处理复杂的几何变化。而基于 affordance（功能示能）的方法（如 Robo-ABC, FUNCTO）虽然能利用语义对应关系，但通常依赖开环规划（Open-loop Planning），缺乏端到端学习策略的闭环反应能力（Reactive Robustness）。

AffordGen 旨在解决的核心问题是：如何利用少量的源演示数据，生成大量多样化、语义一致且覆盖不同物体类别的机器人操作轨迹，从而训练出具有强泛化能力的闭环视觉运动策略。

2. 方法论 (Methodology)

AffordGen 是一个新颖的框架，它将功能示能对应关系（Affordance Correspondence）重新定义为生成先验（Generative Prior），用于指导策略学习的数据生成。其核心流程分为三个主要阶段：

2.1 源演示预处理 (Source Demonstration Pre-processing)

轨迹分解：将专家演示分解为三个阶段：抓取阶段（ $\Omega_G$ ）、技能执行阶段（ $\Omega_S$ ）和过渡阶段（ $\Omega_T$ ）。
关键点提取：
- 抓取时间 ( $t_{grasp}$ )：从末端执行器状态提取。
- 技能段 ( $\tau_s$ )：通过视觉语言模型（VLM）推理或人工标注提取。
- 关键点定义：
  - 功能点 (Affording Point, $x_{aff}$ )：夹爪与物体的接触点。
  - 功能点 (Function Point, $x_{fun}$ )：工具与其他物体交互以完成任务的点（如茶壶嘴、刀尖）。
点云处理：利用 SAM2 分割 RGB-D 图像中的物体，映射到点云，并去除背景，提取工作空间内的点云。

2.2 3D 网格上的语义对应 (Semantic Correspondence on 3D Meshes)

为了将源物体的轨迹迁移到未见过的 3D 网格上，AffordGen 建立了关键点之间的语义对应：

归一化：利用 6D 姿态估计器将所有 3D 网格归一化到统一的规范空间（Canonical Space）。
多视角渲染：从 $n$ 个相机视角并行渲染 RGB-D 图像。
特征匹配：使用 DINOv2 提取语义特征。对于源网格上的关键点 $x$ $x$ ，在目标网格上寻找特征相似度最高的对应点 $x'$ $x^{'}$ 。
- 通过最大化 DINOv2 特征空间中的余弦相似度来匹配像素坐标。
- 利用加权平均将匹配点反投影回 3D 空间，得到目标关键点 $x'$ 。

2.3 多样化演示生成 (Diverse Demonstration Generation)

基于提取的对应关系，AffordGen 生成新的轨迹：

关键点约束的轨迹重放 (Keypoint-constrained Trajectory Replay)：
- 假设：同类功能物体的抓取段和技能段相对于其功能点的轨迹是相似的。
- 抓取段迁移：将源抓取轨迹转换到目标物体的局部坐标系，并根据新的功能点位置进行平移。
- 技能段迁移：计算功能点相对于末端执行器的相对变换，将其应用到目标物体的新功能点上，生成新的技能轨迹。
过渡段规划 (Motion Planning for Transition)：
- 抓取段与技能段之间的连接被视为无碰撞的自由空间运动，使用运动规划算法或球面线性插值（SLERP）生成。
点云“数字孪生”生成 (Point Cloud Digital Cousin Generation)：
- 不同于 DemoGen 的全局平移旋转，AffordGen 直接在仿真中渲染机器人和物体的点云，替换源数据中的对应部分。
- 这种方法生成了混合了真实与仿真数据的点云，既保留了真实数据的分布特性，又实现了大规模 6D 姿态的多样化生成，有效缓解了 Sim-to-Real 差距。

3. 主要贡献 (Key Contributions)

新框架 AffordGen：首次将 affordance 对应关系作为生成式先验，利用语义对应合成多样化且语义有意义的演示数据。
数据扩展能力：能够将极少数量的人类演示（甚至单样本）扩展为数千条跨越新物体类别和全 6D 姿态的轨迹，突破了传统数据增强在语义和几何上的局限性。
零样本泛化验证：通过大量仿真实验和真实世界实验，证明了基于 AffordGen 训练的策略在未见物体（Unseen Objects）和跨类别任务（Cross-Category）上具有显著的零样本泛化能力，为数据高效的机器人学习提供了新范式。

4. 实验结果 (Results)

4.1 仿真实验 (Simulation)

任务：茶壶倒水、马克杯悬挂、刀具切割、鞋子整理。
对比基线：DemoGen（空间变换）、CPGen（网格拉伸）。
性能提升：
- 在未见物体测试中，AffordGen 比最佳基线平均提升了 24.1% 的成功率。
- 在最佳配置（100 个网格 × 10 条演示）下，AffordGen 在未见物体上的表现显著优于 DemoGen 和 CPGen。
- 跨类别泛化：在“马克杯倒水”（源自茶壶）、“手提包悬挂”（源自马克杯）、“锯子切割”（源自刀具）等零样本跨类别任务中，AffordGen 是唯一能取得有意义非零成功率的方法，而基线方法几乎完全失败。

4.2 真实世界实验 (Real-World)

设置：使用 10 条真实专家演示生成 1000 条训练数据，在未见过的真实物体上进行评估。
对比基线：DemoGen, CPGen, 以及基于规划的方法 FUNCTO。
结果：
- AffordGen 在所有任务中均取得了最高的成功率。
- 在跨类别真实世界任务中，AffordGen 的表现远超其他方法（例如在“马克杯倒水”任务中达到 55% 成功率，而 CPGen 仅为 2.7%）。
- 鲁棒性：相比于依赖关键点规划的 FUNCTO（易受遮挡和视角变化影响），AffordGen 通过大规模数据训练出的闭环策略，能有效处理关键点遮挡和姿态变化问题。

5. 意义与影响 (Significance)

AffordGen 提出了一种**“语义引导的数据生成”**新范式，解决了机器人学习中数据稀缺和泛化性差的痛点。

打破数据瓶颈：证明了仅需极少量的源演示即可生成大规模、高质量的多样化训练数据，大幅降低了机器人学习的数据收集成本。
融合优势：成功结合了基于 affordance 的语义泛化能力与基于端到端学习的闭环反应鲁棒性，克服了传统规划方法缺乏反应能力、传统模仿学习缺乏泛化能力的缺陷。
实际应用潜力：该方法在仿真和真实世界中均验证了其在未见物体和跨类别任务上的强大泛化能力，为机器人进入复杂多变的真实世界应用（如家庭服务、工业装配）提供了可行的技术路径。

总结来说，AffordGen 通过利用视觉基础模型（VFMs）和 3D 生成模型，将“功能示能”从静态的规划信号转化为动态的生成引擎，极大地提升了机器人操作策略的数据效率和泛化上限。