AFUN: Towards an Affordance Foundation Model for Functionality Understanding
本文介绍了 AFUN，一种能够从 RGB-D 观测和语言描述中预测任务条件功能掩码及 3D 接触后运动曲线的示能基础模型，该模型在分割、接触点预测和运动规划方面实现了最先进的性能，同时实现了在多样化开放世界环境中针对现实世界机器人操控任务的零样本部署。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你走进一个全新的厨房。你不需要说明书就能知道，橱柜上的把手是用来拉的，炉子上的旋钮是用来转动的，而锅上的盖子是用来掀开的。你瞬间不仅理解了这些物体是什么，还理解了如何使用它们。在机器人领域，这种直觉式的理解被称为**“示能性”（Affordance）**。
长期以来，机器人一直在这方面挣扎。它们可能知道抽屉的存在，但不知道确切该抓哪里，或者如何拉开而不损坏它。现有的 AI 模型就像只能回答半个问题的学生：有些模型能指出把手在哪里，却不知道如何去拉；而另一些模型虽然能猜测动作，却不知道该触摸哪个物体。
于是有了 AFUN（用于功能理解的示能性基础模型）。你可以把 AFUN 想象成机器人的“超直觉感官”，它将视觉、语言和物理运动整合进了一个统一的整体中。
以下是 AFUN 的工作原理，将其拆解为简单的部分：
1. “经验的大型图书馆”
要学习如何使用物体，你需要观察许多人和机器人是如何操作的。研究人员通过收集各处的视频构建了一个庞大的“数据图书馆”：
- 真实机器人在执行任务的过程。
- 人类以第一视角拍摄的视频（类似于 GoPro 拍摄的画面）。
- 游戏世界中的模拟场景。
- 真实房间的 3D 扫描数据。
他们将所有这些杂乱、多样的数据整理成一个单一的标准格式。这就像是将法国、意大利和中国厨师的食谱全部翻译成一本通用的食谱，这样机器人就可以同时向所有人学习。
2. 两步走的“魔术技巧”
当你给 AFUN 一张房间的照片并下达指令如**“打开微波炉”**时，它并不仅仅是靠猜测。它会同时执行两个特定的任务：
- 步骤 A：“在哪里”（掩码/Mask）： 它会在你需要触摸的微波炉确切部位（把手或门）上画出一个数字高亮区域。它会忽略按钮或机器顶部。
- 步骤 B：“如何做”（3D 曲线）： 它不会止步于把手。它会在空中画出一条平滑的 3D 线条，展示门应该如何移动。是直线拉动？旋转？还是抬起？AFUN 将这种路径预测为一条平滑的曲线，就像一条机器人手臂可以遵循的过山车轨道。
3. 如何学习（“老师”与“学生”）
该模型使用了一种巧妙的技巧来学习。它利用了一个巨大的、预训练过的“大脑”（视觉语言模型），这个大脑已经能够理解图像和文字。
- 老师： 这个大脑袋阅读指令（“打开微波炉”）并观察图片。
- 学生： AFUN 使用特殊的“查询标记”（Query Tokens，可以理解为便利贴）来询问大脑袋：“告诉我把手在哪里！” 以及 “告诉我运动轨迹！”
- 结果： 大脑袋引导 AFUN 画出掩码和 3D 曲线。
4. 现实世界测试
研究人员不仅在电脑上测试，还将它应用到了一个真实的机器人手臂（Franka 机器人）上。
- 测试内容： 他们要求机器人执行诸如“拿起螺丝刀”、“取下锅盖”和“打开微波炉”等任务。
- 结果： 机器人成功地弄清楚了在哪里抓取以及如何移动物体，而无需针对该特定机器人或任务进行任何专门的编程。它只是观察、倾听并行动。
为什么这很重要（根据论文所述）
论文声称 AFUN 是一次重大进步，因为：
- 它具有通用性： 它可以在它从未见过的物体和任务上运行，而不仅仅局限于记忆中的内容。
- 它是完整的： 它同时解决了“在哪里触摸”和“如何移动”这两个问题。
- 它已准备就绪： 它可以立即部署在真实机器人上，无需为每一台新机器重新教学。
简而言之，AFUN 让机器人具备了观察一个新物体、理解人类请求，并物理上计算出与该物体交互的最佳方式的能力，就像人类一样。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。