💻 computer science

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

该论文介绍了 VEGAS，一种无需训练的跨模态指标，它利用同步的注视数据来评估并筛选出能更好地与个体观看者注意力对齐的视频标题，从而在无需模型重训的情况下提高标题质量及下游检索任务的性能。

原作者： Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一段某人在厨房里做饭的视频。一个标准的 AI 标注机器人可能会说：“一个人在厨房里，旁边有炉灶、冰箱和柜台。”这在技术上是正确的，但就像是在你只关心其中一条街道时，却读了一张整个城市的地图。机器人忽略了那个人实际上在“看”什么。

这就是 VEGAS（基于注视得分的视频标题评估，Video caption Evaluation via GAze Score）。你可以把 VEGAS 想象成一个超级聪明的“注意力裁判”，它不仅是在“读”视频，还在观察你在观看时，你的眼睛是如何移动的。

问题所在：“一刀切”式的标题

论文指出，目前的 AI 模型是在各种人的观点混合训练下的。它们试图描述场景中可见的所有内容。但人类是非常挑剔的。如果你正在看一段烹饪视频，你可能会专注地盯着正在被切开的红辣椒，而忽略背景里的烤面包机。一个通用的 AI 标题可能会完全漏掉辣椒，或者把辣椒埋在一堆背景噪音的列表里。这会导致当你搜索“切红辣椒”时，很难找到这段特定的视频。

解决方案：“注视过滤器”

作者提出了一个巧妙的技巧，叫做 VEGAS。VEGAS 并不是通过重新训练 AI（这就像是重新建造汽车的整个引擎），而是作为一个位于流程末端的“过滤器”。

它是这样运作的，这里有一个有趣的类比：
想象 AI 是一位厨师，他为同一顿饭写下了五种不同的食谱。

食谱 A： “我做了一顿饭。”（太笼统了）
食谱 B： “我切了洋葱、大蒜和辣椒。”（很具体，但也许你并没有看大蒜）
食谱 C： “我在搅动锅里的东西。”（你当时正盯着锅看）

现在，想象你戴着一副特殊的眼镜，可以精确追踪你的眼睛落在了哪里。VEGAS 会利用你的眼动追踪数据并询问这位厨师：“嘿，如果我只给你看观众注视的部分，你还能写出这个食谱吗？”

如果食谱提到了红辣椒，而你的眼睛也正盯着红辣椒，VEGAS 会说：“匹配得很好！低分！”（在这个游戏中，分数越低越好）。
如果食谱提到了烤面包机，但你的眼睛从未看向过烤面包机，VEGAS 会说：“等等，你怎么知道烤面包机的事？那是你不需要的额外信息。高分！”（匹配度差）。

随后，VEGAS 会挑选出得分最低的那个“食谱”（标题）——即那个完美契合你特定注视点的标题。

他们的发现（真实情况）

研究人员在两种截然不同的视频类型上测试了它：

第一视角视频（比如某人在家里做家务的过程）。
教学幻灯片（比如 PowerPoint 演示文稿）。

巨大的胜利：
在第一视角视频上，VEGAS 表现得非常出色。当他们使用“注视过滤器”来挑选标题时，描述内容与人类实际编写的内容相似度提升了 13.53%。

证据： 他们运行了一个统计检验（Wilcoxon 符号秩检验），结果为 Z = 10.04，且 p 值 < 0.001。这意味着这种提升并非偶然，而是真实、可衡量的差异。
检索能力的提升： 当他们使用这些更好的标题进行视频搜索时，发现能更频繁地在列表最顶端找到正确的视频，提升幅度为 1.14%。如果查看更靠后的位置（如前 5 或前 10 个结果），提升幅度分别跃升至 4.16% 和 4.10%。

“视情况而定”的部分：
在教学幻灯片上，结果略有不同。提升幅度较小（+3.88%），且论文指出该结果不具有统计学显著性（p = 0.0952）。

原因何在？ 作者认为，对于幻灯片来说，通常存在许多种“正确”的总结方式。即使你的眼睛看向了某个特定的图表，不同的人对该图表“含义”的理解也会有所不同。注视能告诉你他们“看”了哪里，但不能一定告诉你他们如何“理解”那些复杂的概念。因此，VEGAS 擅长捕捉具体的物体（如红帽子或狗），但在处理抽象概念时并不完美。

他们排除了哪些可能性

论文非常谨慎地检查了 VEGAS 是否仅仅是通过挑选更短或更简单的标题来“作弊”。

它只是在选短标题吗？ 没有。他们检查了 VEGAS 得分与单词数量之间的相关性，结果几乎为零（0.001）。
它只是在选通用的标题吗？ 没有。它与“特异性”（使用名词、动词等）的相关性也接近于零（0.026）。
它需要新的 AI 模型吗？ 不需要。他们使用了现有的强大 AI 模型（如 Gemini 和 GPT），只是利用 VEGAS 从一组候选标题中挑选出最好的一个。无需重新训练。

底线结论

VEGAS 表明，如果你想要一个既有个人特色又能帮你以后找到视频的视频标题，你不应该只问 AI“这个视频里有什么？”你应该问：“这个人到底看了什么？”

论文表明，通过使用眼动追踪数据作为过滤器，我们可以将通用的 AI 描述转化为更符合人类注意力的个性化描述——尤其是在涉及现实世界动作的视频时。它虽然不是解决一切问题的万能药（幻灯片问题依然存在），但它是一个强大的新工具，可以在无需从头开始重建 AI 的情况下发挥作用。

技术摘要：VEGAS —— 基于注视点的视觉对齐视频描述评估

1. 问题陈述

视觉语言模型（VLMs）擅长生成语义准确的视频描述，但通常依赖于聚合了多样化人类解读的众包注释。因此，这些模型往往会生成“全局正确”的描述，却无法捕捉个体观察者特定的注意力模式。在诸如基于标题索引的检索等应用中，一个强调未被关注背景内容的通用标题，可能会使用户难以根据其所关注的具体物体或动作来检索视频。

核心问题在于生成的标题与个体视觉注意力之间的失配。虽然人类注视（gaze）提供了衡量视觉注意力的可靠代理，但以往的工作主要仅将注视作为训练时的监督信号。本文研究了是否可以在测试时利用注视来选择反映特定观察者焦点、且无需重新训练底层模型的个性化标题。

2. 方法论

2.1 VEGAS 指标（通过注视得分进行的视频描述评估）

作者提出了 VEGAS，这是一种无需训练、跨模态的信息论指标，旨在量化候选标题与观察者注视的对齐程度。

公式化： 目标是最大化标题 $t$ 与注视信号 $G$ 之间的互信息。由于真实的边缘分布 $P(t)$ 和 $P(G)$ 是难以计算的，VEGAS 使用预训练且冻结的 VLM 的条件似然概率来近似。
核心直觉： 一个与注视对齐的标题应当能够仅从受关注区域（ $G$ ）中高度可预测，而未受关注区域（ $\bar{G}$ ）贡献的信息量应极小。
定义： VEGAS 定义为标题标记（tokens） $t$ 与非关注区域 $\bar{G}$ 在给定关注区域 $G$ 条件下的逐点条件互信息：
$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$
其中 $V$ 是完整视频， $G$ 是注视关注的视频。
解释： 较低的 VEGAS 得分表示更好。它表明该标题可以很好地由注视区域解释。高分则意味着标题过度依赖于观察者焦点之外的视觉内容。
标记级分解： 该指标在标记层面进行自回归分解，从而能够识别由观察者注视所支持或不支持的具体语义概念。

2.2 注视调节的拒绝采样

VEGAS 用于从现有 VLM 生成的候选标题池中选择标题，且无需重新训练模型：

候选生成： 使用多种解码温度，由多个 VLM 为视频 $V$ 生成 $N$ 个候选标题。
评分： 对于每个候选标题 $c_i$ ，使用观察者的注视信号 $G$ 计算 VEGAS 得分。
选择： 选择具有最低 VEGAS 得分的标题：
$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$
这一过程有效地过滤掉了描述未关注内容的标题，从而倾向于那些与观察者特定注意力焦点相符的标题。

3. 数据集构建

为了评估该框架，作者构建了一个结合同步人类注视、视觉内容和人类编写的自由形式标题的多模态数据集，涵盖两个领域：

Aria Everyday Activities (AEA)： 332 段来自 Project Aria 智能眼镜数据的第一视角（egocentric）视频片段。这些片段捕捉了动态的现实世界任务（如烹饪、计算），在这些任务中，注视有助于解决具体的物体歧义。
SlideVQA： 来自 30 份幻灯片集的 300 张教学幻灯片。参与者通过基于摄像头的眼动追踪观看幻灯片并提供标题。该领域测试了在需要概念抽象的情况下，注视调节在密集视觉媒体中的表现。

该数据集包含 2,981 条高质量的人类注释，捕捉了注意力驱动的语义多样性。

4. 关键结果

4.1 语义对齐

AEA (第一视角)： 与朴素 VLM 标题相比，VEGAS 选择的标题在语义对齐方面表现出显著的统计学改进。平均 SBERT 相似度提升了 +0.0856 (+13.53%) ( $p < 0.001$ )。
SlideVQA： 改进较小（+0.0256）且在统计上不显著 ( $p = 0.0952$ )。作者将其归因于幻灯片的性质，即对于同一视觉内容存在多种有效的概念性总结，这使得注视在处理抽象解释时不如处理具体物体那样具有诊断性。

4.2 标题-视频检索

在 AEA 数据集上，VEGAS 被用于构建标题到视频检索的索引：

性能： 与随机 VLM 标题相比，VEGAS 选择的索引提高了检索指标。
- 精确率/召回率/mAP@1：提升了 1.14%。
- Recall@5：提升了 4.16%。
- mAP@10：提升了 2.46%。
差距弥合： VEGAS 恢复了大约 15% 的随机机器选择与人类-人类检索在 Rank 1 处的差距，但在 Recall@5 和 Recall@10 处恢复了超过 40% 的差距。这表明 VEGAS 有效地将正确的视频移动到了前几个候选者中，即使它并不总是能达到最高排名。

4.3 消融实验与诊断

注视破坏： 用来自其他片段的随机注视替换真实注视，会导致 VEGAS 得分显著升高（对齐效果变差），证实了该指标对正确注视信号的敏感性。
长度偏差： 相关性分析显示，VEGAS 并非由标题长度或通用性驱动；改进并非通过选择较短的标题来解释。
标记级分析： 定性示例表明，VEGAS 能正确惩罚描述未关注区域的标记（例如，当用户看“洗衣机”时，惩罚“花园”），并偏好与注视点对齐的标记。

5. 重要性与主张

本文声称 VEGAS 证明了在推理阶段引入观察者注意力的实用价值。其主要贡献包括：

无需训练的指标： 它提供了一种在无需微调或重新训练大型视觉语言模型的情况下，评估和选择个性化标题的方法。
测试时调节： 它将注视的使用范式从训练时的监督信号转变为测试时的调节信号，以实现个性化。
领域特异性： 结果强调，当视觉注意力有助于消除具体指代物（如第一视角活动）的歧义时，注视调节的标题生成最为有效；而在刺激物支持多种有效概念总结时（如教学幻灯片），其诊断作用较弱。
检索改进： 通过使标题与个体注意力对齐，VEGAS 改进了视频的语义索引，使其更易于基于用户实际关注的内容进行检索。

作者保持了谦逊的态度，指出 VEGAS 继承了底层 VLM 的局限性（例如幻觉问题），并且注视仅指示了观察者“看哪里”，但不一定代表他们如何理解复杂的视觉关系。未来的工作建议探索隐式注意力代理（如显著性模型）并将 VEGAS 蒸馏到训练目标中。