💻 computer science

Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

该论文提出了一种结合“标记集合”提示、基于最近注视轨迹的用户意图理解以及新型逆指数采样策略的视觉大语言模型方法，显著提升了第一人称视角下人机交互预测的准确性并超越了现有最先进技术。

原作者： Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让 AI 变得更“聪明”、更能预判人类下一步想做什么的新方法。想象一下，你戴着一个智能眼镜，它不仅能看到你眼前的世界，还能在你伸手去拿东西之前，就猜到你接下来要做什么，甚至在你不小心碰到烫锅之前提醒你。

为了做到这一点，作者给 AI 装上了三样“超能力”：

1. 核心任务：像读心术一样的“预判”

在日常生活（比如做饭、工作）中，我们总是先看，然后想，最后动手。

传统 AI 的困境：以前的 AI 就像个有点迟钝的旁观者，它只能看到你现在的动作，很难猜到你下一秒要拿哪个杯子，尤其是当桌上有很多杯子时。
这篇论文的目标：利用第一人称视角（就像你戴着头盔摄像机看到的画面），让 AI 在你真正动手之前，就精准猜出你下一个要互动的物体是什么。

2. 三大“超能力”升级包

作者给 AI 的“大脑”（一种叫 VLLM 的大模型）加了三个特殊的插件，就像给侦探配了装备：

🕵️‍♂️ 插件一：Set-of-Mark（“重点标记笔”）

问题：AI 看视频时，往往分不清哪里是重点，哪里是背景。就像你在一堆杂乱的厨房台面上找盐罐，AI 可能分不清盐罐和旁边的调料瓶。
解决方案：作者让 AI 在视频的每一帧画面上，给不同的物体自动贴上半透明的“标签”或“轮廓”（就像给每个物体画了个圈，或者盖了个印章）。
比喻：这就像老师批改作业时，用红笔把重点单词圈出来。AI 现在能一眼看到：“哦，这个被圈出来的‘锅’，可能是主角。”这让 AI 的视觉定位能力瞬间变强。

👀 插件二：Gaze Trajectory（“视线追踪轨迹”）

问题：人的手还没动，眼睛通常已经先看向目标了。以前的 AI 忽略了“眼神”这个重要线索。
解决方案：系统会记录用户最近看过的地方，并在视频上画出一条彩色的“视线轨迹”。
- 红色圆圈代表你刚刚看过的地方。
- 蓝色圆圈代表你之前看过的地方。
- 这些圆圈连成一条线，像一条“思维路径”。
比喻：这就像侦探在案发现场发现了一串脚印。AI 看到这条“视线脚印”通向那个玻璃碗，就会想：“既然他的眼睛一直盯着这个碗，那他接下来肯定是要拿它，而不是旁边的盘子。”

⏱️ 插件三：Inverse Exponential Sampling（“时间倒流聚焦法”）

问题：视频很长，如果 AI 把每一秒都看一遍，会累死（计算量太大），而且很多中间过程是废话。
解决方案：作者发明了一种特殊的“选帧”策略。
- 普通的选帧是均匀取样（每隔 1 秒看一帧）。
- 他们的策略是：越靠近“即将发生互动”的那一刻，看得越密！
比喻：想象你在看一部电影，想知道主角什么时候会推门。你不会从头到尾每秒都看，而是在推门前的最后几秒，把画面放慢，一帧一帧地仔细看。这种方法让 AI 把精力集中在最关键的那几秒钟，忽略了无关紧要的中间过程。

3. 实验结果：真的有效吗？

作者在一个叫 HD-EPIC 的超级大数据库（里面全是第一人称视角的做饭视频）上测试了这套系统。

结果：这套“组合拳”让 AI 的猜对率大幅超越了目前世界上最先进的其他方法。
关键点：
- 如果只用“重点标记”，AI 会猜错（因为它不知道你要看哪）。
- 如果只用“视线追踪”，AI 也会猜错（因为它看不清物体细节）。
- 只有当“重点标记” + “视线追踪” + “时间聚焦”三者结合时，AI 才能像真正的“读心术大师”一样，精准预判你的下一步动作。

4. 总结：这有什么用？

想象一下未来的智能助手：

在厨房：当你伸手去拿热锅却没拿隔热手套时，眼镜会立刻报警：“小心烫！你刚才盯着锅，但没拿手套！”
在工厂：当工人盯着危险的机器部件时，系统能预判他可能要进行的操作，提前发出安全警示。

一句话总结：
这篇论文教 AI 学会了看重点（Set-of-Mark）、懂眼神（Gaze Trajectory）和抓关键时机（Sampling），让它从一个呆板的录像机，变成了一个能预判人类意图的贴心小助手。

这是一份关于论文《Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos》（利用 VLLM 中的注视点和标记集进行第一人称视频中的人 - 物交互预测）的详细技术总结。

1. 研究问题 (Problem)

核心任务：第一人称视角（Egocentric Vision）下的人 - 物交互预测（Human-Object Interaction Anticipation, HOI Anticipation）。
具体定义：系统需要预测用户在观看视频后的短时间内（通常是几秒内）将与哪个物体进行交互。
挑战：

意图理解困难：仅凭视觉动作难以准确判断用户的最终目标，特别是在存在多个相似物体或干扰项的情况下。
视觉定位能力不足：现有的视觉大语言模型（VLLMs）在处理复杂场景时，往往缺乏对特定物体空间位置的精确“视觉定位”（Visual Grounding）能力。
时序信息处理：如何在有限的输入帧中捕捉到交互发生前最关键的时序动态，同时剔除冗余信息。
基准测试：该研究基于 HD-EPIC 数据集的“注视交互预测”（Gaze Interaction Anticipation）基准，这是一个将任务 formulated 为视觉问答（VQA）的挑战，要求模型从候选列表中选出正确的目标物体。

2. 方法论 (Methodology)

作者提出了一种模型无关（Model-Agnostic）的框架，通过四个核心模块增强 VLLM 的预测能力。该框架将任务构建为 VQA 形式，输入包含视频帧、空间标记、注视轨迹和文本提示。

2.1 核心模块

Set-of-Mark (SoM) 模块：
- 目的：增强视觉定位和场景理解能力。
- 实现：仅对输入视频的最后一帧进行处理。利用 Semantic-SAM 模型生成语义分割掩码（Semantic Masks），覆盖场景中的不同区域。
- 特点：不添加字母数字标签，仅利用掩码本身作为视觉提示，帮助 VLLM 将文本候选答案与图像中的具体物体区域对应起来。
Gaze (注视) 模块：
- 目的：利用用户的视线轨迹作为意图的先验知识。
- 实现：基于过去 $W=15$ 帧的真实注视点（Ground-truth fixations）。使用滑动窗口将注视点渲染为连接圆圈，颜色从蓝色（较早）渐变到红色（最近）。
- 作用：这种视觉线索直观地展示了用户的注意力流向，提示模型关注视线最终停留或经过的物体。
Sampling (采样) 模块：
- 目的：优化视频输入，捕捉交互发生前的关键时序动态，同时降低计算复杂度（VLLM 处理长序列 token 成本高）。
- 策略：提出逆指数采样策略（Inverse Exponential Sampling）。
- 原理：强制包含最后一帧，其余 $n-1$ 帧根据概率 $p_i$ 采样。概率分布偏向视频末尾（即交互即将发生的时刻）。
- 公式： $p_i \propto e^{-\lambda(N_v-2-i)}$ ，其中 $\lambda$ 控制偏向程度。 $\lambda$ 越大，采样越集中在交互前的最后时刻。
VLLM 模块：
- 功能：接收经过 SoM 和 Gaze 增强的 $n$ 帧视频，结合包含问题、候选答案及指令的文本提示，输出预测的目标物体。
- 模型：论文验证了 LLaVA-OneVision 和 Gemini 2.0 Flash 两种模型，证明该方法具有通用性。

2.2 提示工程 (Prompting)

在输入提示中，明确指示模型：

基于最后一帧（带有 SoM 掩码）进行预测。
利用前序帧推断上下文。
重点关注红色圆圈和连接路径代表的注视历史，优先选择视线轨迹上的物体。

3. 主要贡献 (Key Contributions)

新颖的融合策略：首次在第一人称交互预测中，将空间场景信息（通过 SoM 增强）与用户意图信号（通过注视轨迹建模）相结合，显著提升了 VLLM 的预测能力。
高效的采样机制：提出了逆指数采样策略，有效解决了视频输入中冗余信息干扰和关键时序信息丢失的问题，优化了模型对交互前动态的捕捉。
模型无关性与 SOTA 性能：该方法不依赖特定的 VLLM 架构，在 HD-EPIC 数据集上取得了State-of-the-Art (SOTA) 性能，超越了之前的基准模型（如 Gemini 1.5 Pro）和竞赛优胜者（如 Qwen2.5VL-Ricoh）。
开源代码：发布了完整的源代码，以促进该领域的后续研究。

4. 实验结果 (Results)

数据集：HD-EPIC Gaze Interaction Anticipation 基准（1000 个多选问题，10 秒视频片段）。
性能指标：准确率（Accuracy）。
主要数据：
- LLaVA-OneVision 7B：基线 20.4% $\rightarrow$ 本文方法 27.2% (+6.8%)。
- Gemini 2.0 Flash：基线 21.0% (HD-EPIC 原基准) $\rightarrow$ 本文方法 27.5% (+6.5%)。
- 对比 SOTA：超越了之前的最佳结果 Qwen2.5VL-Ricoh (22.0%) 超过 5 个百分点。
消融实验 (Ablation Study)：
- 模块贡献：单独使用 SoM 或 Gaze 均有提升，但SoM + Gaze 组合效果最佳。
- 采样参数：当采样帧数 $n=15$ 且 $\lambda=1/10$ （即偏向视频末尾）时，性能达到峰值。
- 帧率影响：对于 Gemini 2.0 Flash（不支持自定义帧采样），在 2 fps 输入下结合 SoM 和 Gaze 取得了最佳效果 (27.5%)。
- 结论：单纯增加采样帧数（过采样）反而会导致性能下降，证明逆指数采样的有效性。

5. 意义与价值 (Significance)

技术突破：证明了通过简单的视觉提示（SoM）和意图信号（Gaze）注入，可以显著释放现有 VLLM 在复杂时序预测任务中的潜力，而无需重新训练庞大的模型。
实际应用：
- 智能辅助系统：在厨房、工业等场景中，系统可以提前预警潜在的危险交互（如用户即将徒手触碰热锅），从而提升安全性。
- 人机交互：使机器人或辅助系统能更自然地理解人类意图，提供及时的帮助。
研究范式：为基于 VLLM 的视频理解任务提供了一种通用的增强范式，即“空间定位 + 意图引导 + 时序优化”，具有广泛的推广价值。

总结：该论文通过巧妙结合视觉标记（SoM）和人类注视轨迹，并配合优化的视频采样策略，成功解决了第一人称视角下人 - 物交互预测的难点，在 HD-EPIC 基准上刷新了记录，展示了多模态大模型在细粒度视频理解任务中的巨大潜力。