💬 NLP

Towards Robust Evaluation of Visual Activity Recognition: Resolving Verb Ambiguity with Sense Clustering

本文提出了一种视觉-语言聚类框架，通过将同义词和依赖视角的动词归类为语义簇，解决了视觉活动识别中的动词歧义问题，从而提供了一种比标准精确匹配指标更具鲁棒性且符合人类逻辑的评估方法。

原作者： Louie Hong Yao, Nicholas Jarvis, Tianyu Jiang

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Louie Hong Yao, Nicholas Jarvis, Tianyu Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在为学生关于一张图片的作文评分的老师。这张图片显示了一个人在骑自行车。

如果学生写道：“那个人正在骑车（riding a bike）”，而你的标准答案是 “那个人正在骑行（biking）”，一个严格的计算机程序可能会将其判定为错误。它会将“riding”和“biking”视为两个不同的词，从而给出一个零分。

但任何人类都会说：“等等，这表达的是同一件事！这个学生是对的。”

这篇论文旨在修复这种让试图理解图像的计算机产生不公平评分的问题。

问题所在：“唯一正确答案”的陷阱

目前，计算机通过一种被称为**“精确匹配（Exact Match）”*的方法来测试其视觉活动识别能力（识别照片中的动作）。这意味着计算机的猜测必须与人类标注的词汇完全相同*。

作者认为这种方法是失效的，因为：

存在同义词： “教学（Teaching）”和“讲课（lecturing）”描述的是同一个事件。
视角会变化： 一张仪乐队的照片可以被描述为“行进（marching）”（侧重于腿部动作），也可以被描述为“表演（performing）”（侧重于音乐）。两者都是正确的，但它们是不同的词。

如果计算机猜的是“讲课”，而标签是“教学”，即使计算机完美理解了图片，也会得到一个不及格的分数。

解决方案：“抱团取暖”法

研究人员提出了一种新的给这些计算机评分的方法。他们不再寻找单一的“神奇单词”，而是构建**“语义簇（Sense Clusters）”**。

这就像是在整理一个乱糟糟的衣柜。你不是试图寻找某一件特定的衬衫，而是将相似的衬衫归为一类。

步骤 1： 他们拍摄一张照片，并要求强大的 AI 模型（如 GPT-4o 和 Llama）使用许多不同的动词来描述它。
步骤 2： 他们使用一种智能排序算法来对这些动词进行分组。如果“riding（骑）”、“biking（骑行）”和“cycling（单车运动）”经常出现在相同的图片中，它们就会被放入同一个“簇”里。
步骤 3： 如果一张图片属于某个簇，且计算机猜中了该簇中的任何一个词，它就能获得分数。

他们的发现

他们在 imSitu 数据集（一个包含 126,000 张带有动作标签的图片的庞大集合）上测试了这种新的评分系统。以下是他们的发现：

“四种视角”规则： 平均而言，一张图片可以用大约**四个不同的“词簇”**来正确描述。例如，一张老师的照片可能会有一个关于“教学（teaching）”的簇，一个关于“讲课（lecturing）”的簇，一个关于“指导（instructing）”的簇，可能还有一个关于“教育（educating）”的簇。
更适合智能模型的评分： 当他们使用这种新的“簇”方法对现有的计算机模型进行重新评分时，得分显著提高了。
- 例子： 一个在使用旧方法时得分仅为 56% 的模型，在使用新方法后跃升至 72%。
- 原因： 旧方法因为模型使用了同义词或不同的视角而惩罚了它。新方法则意识到该模型实际上非常聪明。
人类一致性： 当研究人员要求真人来为这些模型评分时，其得分与“簇”方法的得分与人类的判断吻合得更好，而旧的“精确匹配”法得分则表现较差。旧方法过于严苛；新方法更加公平。

为什么不直接使用“相似度评分”？

他们还测试了一个流行的工具叫做 CLIPScore，该工具尝试通过数学手段衡量一个词与一张图片的相似度。他们发现，虽然它在处理通用事物方面表现不错，但在处理具体的动作动词时却很吃力。它就像一个法官，即便图片中的人实际上是在“烹饪（cooking）”，他也会说：“这张图片和‘吃东西（eating）’这个词有 90% 的相似度。”语境因此丢失了。他们的“簇”方法更加精准，因为它根据单词在真实图片中是如何被实际使用的来进行分组。

底线

这篇论文并不声称这能立即治愈疾病或制造自动驾驶汽车。相反，它提供了一把更好的尺子，用来衡量我们的 AI 对图像理解能力的优劣。

通过意识到对于一个动作来说，并不存在唯一的“正确”单词，而是存在着一整个正确的单词家族，我们可以停止因为 AI 的创造力而惩罚它，转而开始认可它对场景的真正理解。这就像是在终于告诉那个学生：“是的，对于‘biking’来说，‘riding’也是一个正确的答案。”

技术摘要：迈向鲁棒的视觉活动识别评估

问题陈述

评估视觉活动识别系统面临着由动词语义和图像解释固有的歧义性所带来的根本挑战。标准的评估依赖于**精确匹配（exact-match）**指标，即只有当模型的预测与单一的“金标准”动词标签完全一致时，才被视为正确。这种方法未能考虑到两个主要的歧义来源：

同义性（Synonymy）： 多个同义动词（例如，teaching 与 lecturing）可以描述同一个事件。
多视角（Multi-perspectives）： 单张图像可以由反映不同视角的不同动词进行有效描述（例如，对于一支乐队，可以是 marching 也可以是 performing）。

因此，精确匹配评估会因为惩罚了语义有效但词汇不同的预测，从而系统性地低估模型的性能。虽然像 CLIPScore 这样的指标存在，但它们通常依赖于通用的相似度度量，无法捕捉细粒度的动词语义区别或视角的转变。

方法论

为了解决这些局限性，作者提出了一个视觉-语言聚类框架，用于构建“动词语义簇（verb sense clusters）”。该框架将图像和动词组合成连贯的簇，其中每个簇代表一种特定的视角或语义。该方法分为三个阶段进行：

1. 获取图像-动词对

为了减轻 imSitu 数据集固有的标注偏差（该数据集中的图像是通过基于动词的 Google 搜索检索到的），作者查询了两个多模态大语言模型（LLMs）——GPT-4o mini 和 Llama-3.2-90B——来为每张图像生成所有合适的动词。他们仅保留存在于 imSitu 词汇表（504 个动词）中的动词，并构建代表 <图像, 动词> 对的节点。这些节点通过多模态 Llama 模型（Llama-3.2-11B）进行嵌入，通过同时处理文本和图像输入，提取交叉注意力层后的最终隐藏状态。

2. 两步聚类框架

该框架采用两步聚类过程来对这些 <图像, 动词> 对进行分组：

第一步：同动词聚类（Same-Verb Clustering）： 针对 504 个动词中的每一个，对其关联的图像进行聚类，以消除该特定动词的细粒度语义歧义。每个动词的最佳簇数 ( $k$ ) 通过在范围 $k \in [2, 16]$ 内最大化**轮廓系数（Silhouette score）**来确定。文中测试了 K-Means 和层次聚类（HAC）。
第二步：跨动词聚类（Cross-Verb Clustering）： 将第一步产生的簇进一步聚类，以将具有共同含义的不同词汇项下的动词进行分组。最终簇数 ( $k_r$ ) 是通过应用于总动词数（504）的一个比例 $r$ 来确定的，并通过轮廓系数进行优化。

3. 评估协议

生成的簇作为评估的地面真值（ground truth）。如果预测的动词出现在包含目标图像的任何簇中，则认为该预测是正确的。这与以下指标进行对比：

精确匹配（Exact Match）： 标准的金标准标签匹配。
WordNet-Synset 匹配： 检查预测是否与金标准标签共享同一个同义词集（synset）。
人类判断（Human Judgment）： 对抽取的 100 张图像进行人工标注，以评估一致性。

关键结果

聚类质量与歧义分析

簇结构： 分析显示，平均而言，每张图像映射到约 4 个语义簇，且每个簇包含约 2 个动词。
歧义量化：
- 同义性： 约 54% 的动词跨越多个簇（多义性），且每个簇平均包含 1.59–1.97 个动词，证实了同义现象的普遍存在。
- 多视角： 超过 70% 的图像属于不止一个簇，表明单张图像通常支持多种有效的描述视角。
指标表现： 使用 Llama-3.2-90B 嵌入的 K-Means 聚类在内部凝聚力（轮廓系数、Calinski-Harabasz 指标）和外部有效性（WordNet 纯度）之间达到了最佳平衡。

模型评估改进

对各种监督模型（ResNet-50, CLIP, Llama-11B）和零样本 LLM（GPT-4o mini, Llama-3.2-90B）进行评估发现，在基于簇的指标下性能显著提升：

准确率增益： 所有模型都显示出显著的 Top-1 准确率提升。例如，Llama-11B 监督模型从 56.0%（精确匹配）提升至 72.1%（基于簇）。零样本 LLM 的相对增益甚至更大（例如，GPT-4o mini 的闭提示/closed-prompt 从 17.3% 提升到了 39.2%）。
改进来源： 分解分析表明，多视角理解贡献了大部分增益（8–27%），而同义词解析的贡献较小但依然显著（3–6%）。
人类一致性： 基于簇的评估展现出最高的人类判断一致性，在 Kendall's $\tau$ （排名一致性）和 Krippendorff's $\alpha$ （标签一致性）方面均优于精确匹配和 VLM-as-a-judge 基准。与 VLM-as-a-judge 相比，后者在不同提示词变化下表现出高度的不稳定性，而基于簇的方法提供了稳定且鲁棒的一致性。

替代指标的局限性

论文证明了 CLIPScore 不适合用于以动词为中心的评估。即使使用完整描述，CLIPScore 也会被上下文词汇主导，导致动词的变化变得微不足道。仅使用动词的 CLIPScore 仅实现了约 25% 的 Top-1 准确率，无法可靠地检索人类验证的标签。

重要性与贡献

本文声称有三个主要贡献：

新颖框架： 提出了一个视觉-语言聚类框架，该框架基于图像和活动动词构建语义组，并通过内部和外部指标进行了验证。
卓越评估： 证明了基于簇的评估相比传统的精确匹配准确率，能提供更准确、更细致的视觉活动识别系统评估，能更好地反映模型的真实语义能力。
歧义量化： 对 imSitu 数据集进行了定量分析，揭示了同义性和多视角歧义性的程度，表明标准评估指标无法捕捉这些固有的复杂性。

作者总结道，虽然其实验侧重于 imSitu，但该框架旨在能够适配其他视觉活动数据集。他们承认了一些局限性，包括依赖于 LLM 生成的动词而非详尽的人工标注，以及离线聚类的计算成本，但他们认为由此产生的固定目标集可以为未来的评估分摊这些成本。