🤖 AI

AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation

本文提出了 AffordSim，这是首个将开放词汇 3D 物体功能属性预测集成到轨迹生成流程中的仿真框架，旨在解决现有平台无法自动生成语义正确交互轨迹的问题，并通过构建涵盖 50 项任务的基准测试揭示了当前模仿学习在处理倒水、挂杯等功能性任务上的显著不足，同时验证了生成数据在真实机器人上的零样本迁移能力。

原作者： Mingyang Li, Haofan Xu, Haowen Sun, Xinzhe Chen, Sihua Ren, Liqi Huang, Xinyang Sui, Chenyang Miao, Qiongjie Cui, Zeyang Liu, Xingyu Chen, Xuguang Lan

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mingyang Li, Haofan Xu, Haowen Sun, Xinzhe Chen, Sihua Ren, Liqi Huang, Xinyang Sui, Chenyang Miao, Qiongjie Cui, Zeyang Liu, Xingyu Chen, Xuguang Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 AffordSim 的新系统，你可以把它想象成是教机器人“懂生活”的超级模拟器。

为了让你更容易理解，我们可以把机器人学动作的过程比作教一个刚出生的婴儿学做家务。

1. 以前的困境：机器人是个“死脑筋”

在 AffordSim 出现之前，训练机器人主要靠“模拟演练”。但以前的模拟器有个大毛病：它只教机器人“怎么抓稳”，不教机器人“怎么抓对”。

比喻：想象你在教婴儿倒水。以前的模拟器只会告诉婴儿：“把手放在杯子上，抓紧，然后倾斜。”
- 结果：婴儿可能会抓着杯子的杯身去倒水，结果水洒了一地，或者把杯子捏碎了。
- 再比如挂杯子：婴儿可能会抓着杯子的杯口去挂，结果杯子掉下来了。
- 核心问题：机器人不知道杯子的把手是用来抓的，杯口是用来倒水的，杯底是用来放稳的。它缺乏对物体“功能”的理解（也就是论文里说的“可 affordance"）。

2. AffordSim 的解决方案：给机器人装上“生活智慧”

AffordSim 就像是一个拥有生活经验的“超级家教”，它做了一件以前没人做过的事：在生成训练数据时，强行把“物体功能”教给机器人。

它的工作流程可以这样比喻：

第一步：听指令（VLM 大模型）
你告诉机器人：“把杯子挂到挂钩上。”
以前的系统可能直接开始随机摆弄；AffordSim 会先分析这句话，知道“挂”这个动作需要用到杯子的把手和挂钩的孔。
第二步：画“热点图”（VoxAfford 模型）
这是最核心的黑科技。系统会在杯子的 3D 模型上画出一张热力图：
- 把手区域：标成红色（这里抓！这是功能点！）。
- 杯身区域：标成蓝色（别抓这里，抓这里倒水会洒）。
- 杯口区域：标成黄色（倒水时从这里倾斜）。
- 比喻：就像给机器人戴上了一副**“功能眼镜”**，让它一眼就能看出杯子的哪里是“把手”，哪里是“杯口”，而不是只看到一堆几何形状。
第三步：生成“完美示范”（轨迹生成）
系统利用这张“功能热力图”，自动规划出成千上万条正确的动作轨迹：
- 机器人看到红色区域，就只抓把手。
- 看到黄色区域，就只在那里倾斜倒水。
- 这样，机器人学到的不是“随便抓个地方”，而是“为了倒水，必须抓把手”。
第四步：蒙眼训练（域随机化）
为了防止机器人只在模拟器里表现好，到了现实世界就“傻眼”，AffordSim 会疯狂地改变训练环境：
- 换不同的桌子、换不同的灯光、换不同的背景照片（甚至用真实的照片重建背景）。
- 比喻：就像让婴儿在各种光线、各种颜色的桌子、各种杂乱的环境下练习倒水。这样等它真到了你家厨房，不管桌子是木头的还是玻璃的，它都能立刻上手。

3. 实验结果：机器人真的变聪明了吗？

作者测试了 50 种不同的任务，结果非常有趣：

简单的任务（比如随便抓个香蕉）：现在的机器人已经做得很好了（成功率 53%-93%）。这就像婴儿学会“抓东西”一样，早就解决了。
困难的任务（比如倒水进窄杯子、挂杯子）：
- 没有“功能眼镜”时：机器人几乎全败（成功率只有 0%-43%）。它们要么抓错地方，要么倒洒了。
- 有了 AffordSim 后：虽然还是很难，但成功率有了显著提升。
- 关键发现：只要机器人学会了“看功能”（比如知道要抓把手），它就能学会倒水；如果不知道，它就永远学不会。这证明了**“理解物体功能”是机器人学会复杂家务的关键**。

4. 真的能用到现实世界吗？（零样本迁移）

最酷的是，作者把只在模拟器里训练好的机器人，直接搬到了真实的机械臂上（没有重新训练）。

结果：机器人真的能工作了！虽然挂杯子这种高难度动作还是有点笨拙（成功率 10%），但抓东西、放东西、推箱子都做得不错。
比喻：这就像是在虚拟游戏里练了 1000 小时的厨师，直接下真厨房，虽然切菜手有点抖，但炒菜的逻辑和步骤完全是对的，而且能应对不同的厨房环境。

总结

AffordSim 的核心贡献就是：它不再把机器人当成只会抓握的机械手，而是通过模拟训练，教会它们理解“杯子是用来抓把手的”、“勺子是用来舀汤的”这种生活常识。

这就好比从教机器人“如何移动手臂”，升级到了教机器人“如何像人一样思考怎么使用工具”。这是让机器人真正走进千家万户、帮我们做家务的重要一步。

AffordSim 技术总结

1. 研究背景与问题 (Problem)

基于仿真的数据生成已成为训练机器人操作策略的主导范式。然而，现有的仿真平台存在一个根本性缺陷：未将物体的“功能属性”（Affordance）信息纳入轨迹生成流程。

核心痛点：许多操作任务（如握住杯柄倒水、将杯子挂在挂钩上）需要机器人精确地与物体的特定功能区域进行交互。
现有局限：
- 人工设计：需要工程师为每个物体手动指定抓取位姿，工作量巨大且无法扩展。
- 通用抓取估计：现有方法（如 AnyGrasp）仅预测物理稳定的抓取点，忽略了任务语义。例如，倒水任务需要抓取杯柄并倾斜杯口，但通用方法可能会抓取杯身，导致任务失败。
后果：在缺乏功能属性引导的情况下，自动化生成的轨迹往往在语义上不正确，导致需要精细功能交互的任务（如倒水、挂杯子）在现有模仿学习策略中成功率极低。

2. 方法论 (Methodology)

AffordSim 是首个将开放词汇 3D 功能属性预测集成到机器人操作数据生成流水线中的仿真框架。其核心流程如下：

2.1 系统架构

基于 NVIDIA Isaac Sim 构建，支持多种机器人本体（Franka FR3, Panda, UR5e, Kinova）。整个流水线包含五个阶段：

任务生成：利用视觉语言模型（VLM）将自然语言任务描述（如“拿起杯柄并倒水”）转换为仿真场景配置（物体、位置、目标条件）。
点云获取：从仿真场景中捕获目标物体的 3D 点云。
功能属性预测：使用 VoxAfford 模型预测物体表面的 3D 功能属性热力图。
- VoxAfford 是一个开放词汇的 3D 功能属性检测器，它通过交叉注意力机制，将冻结的 3D VQVAE 编码器提取的多尺度几何特征注入到多模态大语言模型（MLLM）的输出 Token 中，从而生成空间感知的功能属性掩码。
- 支持开放词汇查询（如"graspable handle"），无需针对特定任务微调。
功能属性引导的抓取规划：
- 根据预测的功能属性热力图，在物体表面的高功能属性区域采样多个抓取候选位姿。
- 结合功能属性得分（接触区域的功能值）和运动学可行性得分（机器人当前构型下的可达性与无碰撞性），计算综合得分并选择最优抓取位姿 $g^*$ 。
运动规划与数据生成：使用 GPU 加速的运动规划库（cuRobo）生成从起始位姿到抓取位姿，再到后续操作（如倾倒、放置）的无碰撞轨迹。

2.2 域随机化 (Domain Randomization)

为了缩小仿真到现实（Sim-to-Real）的差距，AffordSim 引入了五种随机化维度：

背景纹理、光照、物体纹理、物体位姿扰动。
创新点：引入基于 DA3 的 3D 高斯重建。利用真实部署场景的 10-20 张照片重建 3D 高斯场，从任意视角渲染出具有真实世界视觉统计特性（空间布局、纹理、光照梯度）的背景，替代传统的通用纹理库，显著降低域差距。

3. 关键贡献 (Key Contributions)

首个功能属性感知的仿真框架：AffordSim 首次将开放词汇 3D 功能属性预测（VoxAfford）直接集成到轨迹生成循环中，实现了语义正确的自动化数据生成。
VoxAfford 模型集成：利用多尺度几何特征增强 MLLM，实现了无需微调的开放词汇 3D 功能属性检测，指导机器人抓取功能性区域。
大规模基准测试 (Benchmark)：建立了包含 50 个任务、7 个类别（抓取、放置、堆叠、推/拉、倾倒、挂杯子、长视野复合任务）的基准，并评估了 4 种模仿学习基线（BC, Diffusion Policy, ACT, Pi 0.5）。
零样本 Sim-to-Real 验证：在真实 Franka FR3 机器人上验证了仅使用 AffordSim 生成数据训练的策略的有效性。

4. 实验结果 (Results)

4.1 基准测试表现

简单任务：基础抓取任务成功率较高（53%–93%），表明现有方法已解决大部分基础操作。
功能属性依赖任务：
- 倾倒：向宽容器倾倒成功率较高（20–99%），但向窄杯倾倒成功率骤降至 1–43%。
- 挂杯子：需要精确对齐挂钩，最佳基线（Pi 0.5）成功率仅为 47%，其他基线更低。
- 结论：当前模仿学习方法在处理需要精细功能区域交互的任务时存在显著瓶颈。

4.2 消融实验 (Affordance Integration Ablation)

对比了四种抓取策略：

人工设计 (Manual)：87%（上限，但不可扩展）。
通用抓取 (AnyGrasp)：20%（在功能依赖任务上几乎完全失败，如挂杯子为 0%）。
VoxAfford 引导：61%。显著优于通用方法，证明了功能属性引导的价值。但在挂杯子任务上仍受限（10-17%），因为训练数据中缺乏非标准抓取区域（如挂杯子需抓杯身而非杯柄）。
人类标注 (Human Aff.)：92%（理论上限）。

4.3 跨本体与 Sim-to-Real

跨本体：在 4 种不同机器人上均能成功生成引导轨迹，证明了框架的通用性。
零样本迁移：在真实机器人上，策略迁移成功率与仿真中的“功能复杂度梯度”一致（抓取 60% > 放置 30% > 挂杯子 10%），证明了仿真数据的真实有效性。
域随机化鲁棒性：经过域随机化训练的策略在真实场景的视觉变化（如更换桌布、背景）下仍能保持性能，而未训练域随机化的策略在真实环境中几乎失效。

5. 意义与影响 (Significance)

揭示新挑战：研究明确指出，功能属性复杂度（Affordance Complexity）是当前模仿学习的主要瓶颈。简单的抓取已解决，但涉及语义交互的精细操作仍是开放难题。
数据生成范式转变：证明了将感知（功能属性预测）与规划（轨迹生成）闭环结合，是生成高质量、语义正确训练数据的关键。
推动真实世界部署：通过 DA3 高斯重建背景等创新，AffordSim 显著提升了 Sim-to-Real 的迁移能力，为低成本、大规模训练机器人操作策略提供了可行方案。
开源贡献：发布了包含 50 个任务的基准和代码，旨在推动社区开发能够推理物体功能属性的操作策略。

总结：AffordSim 通过引入开放词汇的 3D 功能属性预测，解决了现有仿真平台无法自动生成语义正确轨迹的问题。实验表明，虽然当前方法在基础抓取上表现良好，但在需要精细功能交互的任务上仍面临巨大挑战，AffordSim 为解决这一挑战提供了关键的数据生成工具和评估基准。