💻 computer science

EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation

该论文介绍了 EgoAfford，这是一个用于第一视角下面向任务的示能性落地（affordance grounding）的基准测试和数据集，以及 EgoLens，一个专门用于在多步桌面任务中联合执行下一步规划和特定角色分割的多模态模型。

原作者： Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做三明治。你不仅希望机器人知道“刀”长什么样；你还需要它理解如何用这把刀来抹黄油、要把黄油抹在什么上面，以及最后要把切好的那一片放在哪里。这就是*可操作性（affordance）*的世界，一个高级词汇，意为“一个物体允许你做什么”。想想门把手：它的形状赋予了*旋转的操作可能。杯子赋予了*盛装液体的功能。长期以来，机器人在识别这些简单的、单一动作方面表现得相当出色，比如“抓取把手”。但现实生活是混乱且多步骤的。做三明治不仅仅是一个抓取动作，它是一个涉及规划、拿起正确的工具并准确知道下一步该把东西放在哪里的完整故事。科学家们正在问的一个大问题是：我们能否教会机器人不仅能看到物体，还能理解一个任务的“故事”，推断出下一步该做什么，并指出物体上用于该动作的微小且特定的部分？

于是有了 EgoAfford，这是一个试图通过赋予机器人一个类似于我们视觉的“第一人称”视角来解决这个谜题的新项目。研究人员构建了一个巨大的数字游乐场，包含约 15,500 张桌面场景图像，涵盖了 2,000 种不同的多步骤任务。他们还创建了一个包含 102 张由人类拍摄的照片组成的“真实世界”测试集，以观察机器人是否能应对真实厨房的混乱现实。目标是什么？看看计算机能否看一张图片，阅读一个类似“泡茶”的目标，然后同时完成两件事：1）写下剩余的食谱（计划），以及 2）在茶壶上需要倾倒出的精确部位、勺子上需要搅拌的部位以及杯子里需要倒入的部位上画出掩码（mask）。

为了解决这个问题，团队推出了 EgoLens，这是一个专门为此类工作设计的智能 AI 模型。把 EgoLens 想象成一个正在学习“阅读”场景的机器人厨师学徒。与其他可能会猜测整个物体或在复杂指令中感到困惑的模型不同，EgoLens 经过训练，能够将任务分解为最小的功能单元。它不只是说“那是一个锅”；它会说，“我需要抓取那个锅的壶嘴来进行倾倒，并且我需要握住勺子的柄来进行搅拌。”论文显示，EgoLens 目前在这一特定类型的思维方式上表现最佳，超越了其他大型 AI 模型以及试图结合规划与视觉的商业工具。

然而，研究人员谨慎地指出，这还不是一个完美的解决方案。虽然 EgoLens 在他们生成的“数字”图像方面表现出色，但在面对真实世界的照片时仍然存在差距，这表明机器人仍需更多练习以应对现实生活中不可预测的特性。这项研究表明，通过将规划下一步的能力与精准定位物体特定功能部分的能力相结合，我们可以让机器人更接近成为我们日常生活中的得力助手。这是在教机器不仅理解事物“是什么”，更理解如何使用它们来完成工作的道路上迈出的重要一步。

技术摘要：EgoAfford —— 基于第一视角指代分割的任务导向型示能性定位

问题定义

目前的示能性定位（affordance grounding）研究主要集中在基础动作上，即为单个物体或单步指令定位功能部件（例如，用于切割的刀刃）。然而，将此扩展到复杂的、多步骤的桌面任务时，现有的表述揭示了两个关键局限性：

单目标关注： 现有方法通常仅定位一个由动作驱动的区域，而没有明确地为参与其中的多个物体分配语义角色（直接对象、工具、目的地）。
单步范围： 即便是最近出现的双臂或场景级表述，也只是针对给定的单个动作预测示能性，而不是根据任务进度推断剩余的流程。

EgoAfford 通过将任务导向的示能性定位建模为一个联合问题来解决这些差距：给定一张第一视角桌面图像和一个高层自然语言任务，模型必须 (i) 生成剩余的行动步骤计划，并 (ii) 将下一步动作的各个功能部件分割为三个特定的角色：

直接对象 ( $M_o$ )： 被操作的物体。
工具 ( $M_s$ )： 用于作用于该物体的工具（对于徒手动作则不存在）。
目的地 ( $M_d$ )： 转移的目标位置或容器（对于原地动作则不存在）。

至关重要的是，这些掩码必须是部件级的（例如，水壶的壶嘴，而非整个水壶），并且能够处理缺失组件（标注为全零掩码）。

方法论

EgoAfford 基准测试

作者引入了一个包含数据集和参考模型的综合基准测试。

数据集构建： 该数据集包含约 15,537 张经人工验证的第一视角图像，这些图像源自 2,000 个生成的多步场景。通过使用商业 VLM（如 GPT-5.5, Gemini 3）的生成管线创建任务种子，将其分解为步骤，并合成语义对齐的图像。随后进行了严格的人工验证和掩码修正过程。
EgoAfford-Real： 为了评估泛化能力，包含了一个手动采集的测试集，涵盖 102 张图像和 26 个任务，该集合与生成的场景是相互独立的。
标注协议： 标注定义了每一步骤的三个特定角色的掩码。该数据集支持多分支任务，即存在多个有效的下一步动作，要求模型选择最合适的动作并定位其组件。

EgoLens 参考模型

为了建立一个强大的基准，作者提出了 EgoLens，这是一个 3B 参数的多模态大语言模型 (MLLM)，专为这一联合任务设计。

架构： 基于 LENS 架构，采用 Qwen2.5-VL 3B 作为骨干网络。它利用通过三个并行的、角色特定的掩码解码器（分别对应 $M_o, M_s, M_d$ ）传递的可学习定位查询。这种架构设计确保了掩码与其角色之间的语义绑定，而不单纯依赖文本生成。
训练策略： 模型使用统一的提示模板进行训练。它生成一段思维链 (CoT) 规划轨迹（训练期间采用教师强制模式），随后是一个包含剩余计划和三个组件掩码的结构化答案。损失函数结合了语言模型损失（仅监督结构化答案标记）和分割损失（针对非空掩码使用 BCE + Dice，针对空掩码仅使用 BCE）。
推理： 模型根据图像和任务描述，在单次前向传播中自回归地生成完整的计划和三个组件掩码。

核心贡献

任务导向型表述： 本文将多步任务导向的示能性定位定义为剩余计划生成与部件级定位的联合任务，并在 EgoAfford 基准测试中实现了这一定义。
EegoLens 模型： 一个参考 MLLM，能够同时生成剩余计划并预测三个角色特定的组件掩码，解决了将规划与细粒度定位耦合的挑战。
全面评估： 在生成的及真实世界的观测数据上进行了广泛评估，刻画了下一步推理和动作-角色约束部件定位的具体挑战。

实验结果

论文评估了近期的指代分割 MLLM（Sa2VA, UniPixel, LENS, OMG-LLaVA）、商业 VLM–SAM2 管线以及 EgoLens。

全任务性能： EgoLens 建立了强大的参考性能，在生成测试集上实现了 0.700 gIoU 和 0.486 cIoU。这显著优于最强的商业 VLM 管线（GPT-5.5 + SAM2, 0.476 gIoU）和开源基准模型，后者通常无法在单次处理中返回所有三个角色特定的掩码。
真实世界泛化： 在 EgoAfford-Real（零样本迁移）上，EgoLens 实现了 0.666 gIoU 和 0.455 cIoU，在 gIoU 上超过 GPT-5.5 + SAM2 管线 9.7 个百分点。这表明 EgoLens 提供了更一致的样本级预测。
解耦推理与定位： 当提供参考的下一步动作（移除规划负担）时，EgoLens-Seg 达到了 0.839 gIoU。当移除参考步骤后性能下降，凸显了下一步推理仍然是误差的主要来源。
组件分析： EgoLens 展示了对非空目标的鲁棒定位能力（直接对象的 NE-mIoU 为 0.668，工具为 0.614，目的地为 0.568），证实其性能并非仅仅由识别缺失组件所驱动。

意义与主张

论文认为 EgoAfford 和 EgoLens 为共同研究多步桌面任务中的感知与规划提供了基础。作者主张：

互补挑战： 该基准测试强调了下一步推理（规划）与动作-角色约束部件定位之间互补的难度。
角色特定定位： 超越单物体表述，通过显式建模直接对象、工具和目的地，捕捉了多个物体如何参与一项任务。
未来方向： 这项工作为连接角色结构的定位与具身执行指明了路径，其中识别出的组件可作为可重用操作技能（例如 pour(source, destination)）的显式参数，为实现智能体替代端到端的“世界动作模型”提供了可能。

作者承认了局限性，指出该数据集主要由生成而成（缺乏自然环境中的视觉保真度和杂乱程度），且静态图像评估无法捕捉运动可行性或闭环成功率。他们还指出，EgoLens 是针对单一有效路径进行训练的，这可能会限制其处理替代方案的能力。