🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

本文提出了 TokAG，这是一个零样本示能性定位（affordance grounding）框架，它利用空间感知型标记选择机制从大型视觉语言模型中提取以物体为中心的注意力图，从而在无需外部监督的情况下，在定位动作相关区域方面实现了优于以往弱监督方法的性能。

原作者： Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何与世界互动。你不仅希望机器人知道一个物体“是什么”（例如，“那是一把椅子”），你还希望它知道“如何使用”它（例如，“坐在这里”、“推这里”或“用这个切割”）。这种理解动作发生位置的能力被称为示能性定位（Affordance Grounding）。

本文介绍了一种名为 TokAG 的新方法，它能帮助计算机精确找出人类应该在物体的哪个部位执行动作，而无需通过成千上万个标注好的示例进行人工教学。

以下是其工作原理的简单类比说明：

问题所在：“盲目”的向导

以往的方法就像是一个试图通过看一张模糊的照片和一段极短的笔记（仅写着“坐”）来猜测摩托车上哪里可以坐的学生。

困惑： 如果照片显示的是一辆摩托车，而笔记只说“坐”，计算机可能会感到困惑。是坐垫？是车把？还是油箱？
局限性： 旧的方法通常依赖于简短、模糊的指令。当一张图片中同时发生多件事时（比如有人拿着牙刷的同时正在用它刷牙），或者两个动作看起来很相似时（比如“骑”自行车和“坐在”自行车上），它们会表现得非常吃力。它们往往指向整个物体，而不是执行动作所需的特定部分。

解决方案： “超级阅读者” (LVLM)

作者意识到，大型视觉语言模型（LVLMs）——即这类能够观察图片并撰写详细故事的 AI——即使不直接说出来，其实对于事物“在哪里”也非常聪明。

可以将 LVLM 想象成一位超级阅读者，它观察一张图片并阅读一个问题（例如，“牙刷的哪个部分是用来刷牙的？”）。

超级阅读者不仅仅是吐出答案“刷毛”。
当它正在逐字逐句生成答案时，它实际上也在秘密地将它的内部“手指”（注意力）指向图像的不同部分。
有时，它会指向背景（洗手池）；有时，它会指向整个牙刷。但当它想到“刷毛”这个词时，它的内部手指会非常强烈地指向刷毛部分。

创新点： “聚光灯选择器” (TokAG)

棘手的部分在于，超级阅读者会生成整个句子，并且对于它说的每一个词，它都会指向许多不同的地方。如果你只看整个句子，这种“指向”会变得混乱且模糊。

TokAG 就像是一个聚光灯选择器，它解决了这个混乱问题：

提问： 它向超级阅读者询问一个关于动作的具体问题（例如，“人们坐在床上时，使用的是哪个部分？”）。
逐词扫描： 当 AI 生成答案（例如，“床垫”）时，Tok vai 观察生成的每一个词的“注意力图”（内部指向）。
过滤： 它忽略那些指向背景或整个房间的词。它寻找的是 AI 的内部指向最集中在物体上的那个特定词汇。
- 例子： 当 AI 说“床垫”时，它的注意力紧紧聚焦在床的表面。当它说“床”时，注意力可能会分散开来。TokAG 会捕捉“床垫”这一瞬间。
结果： 它将那个特定的“聚焦时刻”转化为一张清晰的热力图，展示出准确的坐下位置。

为什么它更好

无需训练： 与需要对数百万张标注照片进行“训练”（就像学生背诵教科书）的以往方法不同，TokAG 是**零样本（zero-shot）**工作的。它只是利用了 AI 已有的知识，就像一个聪明的人在不需要说明书的情况下就能理解新情况一样。
精准度： 它可以区分“坐在”摩托车上（坐垫）和“推”摩托车（车把），尽管它们是同一个物体。
性能： 论文表明，TokAG 的表现显著优于以往的方法。在标准测试中，即使没有使用任何训练数据，它的准确率也比现有的最佳技术提高了约 10% 到 30%。

缺陷（局限性）

论文指出，这种方法依赖于 AI 生成一个指向正确位置的“关键词”。

复杂动作： 如果一个动作需要两只手或两个不同的部分同时配合（比如“打开罐子”，需要一只手按住盖子，另一只手握住罐身），目前的这种方法可能会遇到困难，因为它正在寻找一个单一的“最佳”词汇来进行指向。
干扰因素： 如果物体上有醒目的 Logo 或文字，AI 可能会被分散注意力，转而指向 Logo 而不是功能部分。

总结

TokAG 是一个巧妙的技巧，它将一个“聊天机器人”式的 AI 变成了一个精准的“指针”。它不是要求 AI 画一个框或写下坐标，而是要求 AI 描述动作，然后通过监听哪一个词会导致 AI 最专注地看向物体的正确部分。它将 AI 的“思考过程”转化为了一个精准的地图，供机器人和计算机遵循。

技术摘要：基于 Token 的示能性定位（TokAG）

问题陈述
示能性定位（Affordance Grounding）旨在定位支持潜在人类动作的具体图像区域，这一能力对于物理智能和具身感知至关重要。尽管最近的弱监督学习进展利用了具有动作级监督的外观图像（Exocentric images），但这些方法面临两个主要局限：

共现动作中的视觉歧义： 外观图像通常包含多个同时发生的动作（例如，“拿着”和“用牙刷刷”）。现有方法难以隔离特定动作的视觉证据，导致针对同一图像的不同动作产生相同或定位错误的热力图。
语义不足： 当前的方法依赖于简短的动作短语（如“推”），缺乏区分语义相似动作所需的丰富语义细节（例如，“推”与“坐在”摩托车上，前者需要定位在把手，后者需要定位在座垫）。

虽然大型视觉语言模型（LVLMs）编码了丰富的动作语义，且其文本输出隐含地包含了空间线索，但它们是为文本生成而非细粒度空间定位而优化的。因此，LVLMs 不会直接输出特定动作的空间图，其内部注意力机制往往表现出弥散模式，关注无关的背景区域而非目标功能部件。

方法论：TokAG
作者提出了 TokAG，这是一个零样本示能性定位框架，它利用了预训练 LVLMs 中潜在的语义-空间信号，无需外部监督或特定任务训练。该流水线运行如下：

输入与生成： 给定一张第一视角图像和一个文本提示（例如，“当人们用 [物体] 执行 [动作] 时，[物体] 的哪个部分被使用了？”），一个冻结的 LVLM（如 Qwen3-VL）生成一段输出 Token 序列。
注意力聚合： 该框架提取生成的输出 Token 与视觉 Patch 之间的跨模态注意力图。由于意识到示能性相关的线索分布在不同的架构层和注意力头中，该方法通过聚合所有层和头对于每个输出 Token 的注意力权重，以捕捉分布式的语义-空间线索。
空间感知 Token 选择： 为了解决注意力弥散和背景噪声问题，该方法引入了一个空间约束。利用针对目标物体的二值对象掩码（由 CLIPSeg 生成），系统通过测量严格位于物体区域内的激活值，计算每个聚合注意力图的“重叠得分（Overlap Score）”。
Token 选择与热力图生成： 框架选择在目标物体区域上产生最高激活得分的单个输出 Token ( $t^*$ )。该选定 Token 对应的注意力图被上采样至原始图像维度，从而生成最终的示能性热力图。

核心贡献

零样本框架： TokAG 是第一个通过利用 LVLMs 中的 Token 级信号来消除对示能性特定监督需求的零样本示能性定位框架。
空间感知 Token 选择： 作者提出了一种机制，通过评估输出 Token 对物体聚焦的激活程度，而非依赖任意的注意力图或结构化剪枝，从而系统地进行评估。这实现了将隐式语义信号转化为精确的空间热力图。
可解释性与分析： 论文提供了实证分析，表明所选 Token 通常对应有意义的功能性物体部件（例如，“刀片”、“座垫”、“把手”）。此外，分析表明更强的 LVLM 主干网络（例如，32B 对比 2B）会选择更具语义相关性的 Token，这与改进的定位性能相关联。

实验结果
TokAG 在两个基准数据集上进行了评估：AGD20K 和 HICO-IIF。该方法与最先进的弱监督方法以及基于基础模型的基准进行了比较。

在 AGD20K 上的表现： 在未见数据集（Set 2）上，TokAG（使用 2B 模型）实现了 1.514 的 NSS，比之前的最优弱监督方法（Moon 等人，1.368）提升了 10.7%。它同时也实现了最低的 KLD (1.060) 和最高的 SIM (0.455)。
在 HICO-IIF 上的表现： TokAG 实现了 1.655 的 NSS（使用 32B 模型），相比现有的弱监督基准（1.234）提升了 29.7%。
与基础模型的比较： 直接通过提示词要求 LVLM 输出坐标，或将 LVLM 与分割模型（如 SAM 3、GroundingDINO）结合，其表现显著低于 TokAG。TokAG 从注意力图中直接提取空间信号的方法优于朴素的坐标预测或多阶段流水线。
消融实验： 实验证实，聚合所有层和头的注意力优于选择特定层或头。此外，空间感知的 Top-1 Token 选择策略优于使用首个/最后一个 Token 或平均所有 Token 等启发式方法。

意义与主张
论文声称 TokAG 建立了零样本示能性定位的新状态（SOTA）。其主要意义在于证明了尽管 LVLMs 是文本生成模型，但通过对 Token 级注意力进行分析，它们包含足够的隐式空间知识来进行精确的动作定位。

作者指出，虽然该框架非常有效，但目前假设示能性可以由单个语义 Token 表示。他们承认在处理组合式示能性（需要多个区域，例如“从...倾倒”）和双手动作为时的局限性。然而，这项工作提供了一种无需训练的基础方法，通过在无需昂贵像素级标注的情况下，弥合高层语义理解与底层空间定位之间的鸿沟，显著推动了该领域的发展。

问题所在：“盲目”的向导

解决方案： “超级阅读者” (LVLM)

创新点： “聚光灯选择器” (TokAG)

为什么它更好

缺陷（局限性）

总结

类似论文