💻 computer science

ID-VTG: Image-Disambiguated Video Temporal Grounding

本文引入了 ID-VTG，这是一个利用参考图像结合文本查询来解决视觉相似事件之间歧义性的视频时序定位新任务及基准，并提出了所提出的 VGD-Agg 框架，该框架通过利用双分支架构和专门的可学习标记来实现最先进的性能。

原作者： Minghang Zheng, Jingli Wei, Hongyi Yang, Yang Liu

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Minghang Zheng, Jingli Wei, Hongyi Yang, Yang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在每天充斥着屏幕的海量视频内容库中，计算机面临着一个持久的挑战：寻找特定事件发生的精确时刻。这项被称为“视频时序定位”（video temporal grounding）的任务，要求机器观看一段长片段，并指出一段由文字描述的场景的精确起始和结束时间。多年来，研究人员一直致力于训练仅使用文本的系统来完成这项工作。如果用户输入“那个人正在对着麦克风说话”，计算机就会扫描素材以寻找该动作。然而，当视频中包含多个相似的人或物时，这种方法就会遭遇瓶颈。如果两个穿着几乎相同制服的不同男子在不同时间对着麦克风说话，仅凭文本描述无法告诉计算机用户指的是哪一个。文字是模糊的，机器会因此迷失方向，经常猜错片段或根本无法找到正确的片段。

为了解决这个问题，北京大学的研究人员提出了一种全新的思考方式。他们意识到，在现实世界中，当人们不确定自己在谈论哪个人或物体时，通常会展示一张照片。保安可能会有一张嫌疑人的照片；体育迷可能会有一张特定运动员的快照。通过将文本描述与参考图像相结合，歧义便消失了。图像充当了一个严格的视觉过滤器，告诉计算机究竟要观察哪一个个体，而文本则描述了该个体正在做什么。这种被称为“图像消歧视频时序定位”（Image-Disambiguated Video Temporal Grounding）的新方法，将目标从基于文字的猜测转向了基于视觉匹配的精准定位。

研究人员不仅提出了理论，还构建了测试该理论所需的工具。他们创建了两个专门针对标准纯文本系统设计出的高难度视频数据集。第一个集合侧重于体操，其中的运动员穿着相同的制服并进行类似的动作。在这些视频中，同一个动作（如在高低杠上的大回环）可能由不同的人执行，或者由同一个人多次执行。文本可能会说“体操运动员进行了一个大回环”，但如果没有照片，计算机无法知道描述的是哪位体操运动员或哪次尝试。第二个集合则广泛得多，取材于来自互联网的各种视频，涉及动物、虚构角色和日常物品。在这里，挑战来自于不同的人执行相似的动作，例如两个不同的人在系鞋带。在这两个集合中，研究人员将每个文本查询都与特定目标的参考图像配对，从而创建了一个必须同时使用图片和文字才能获得正确答案的数据集。

为了处理这种新型任务，团队开发了一种模仿人类解决问题方式的方法。他们构建了一个具有两种不同观察方式的系统。一部分工作速度很快，扫描整个视频以生成一个潜在事件发生时刻的列表。这是“快速分支”，它创建了一个广泛的候选集。第二部分工作缓慢且细致，将视频的每一帧都与用户提供的参考图像进行对比。这个“慢速分支”寻找与照片相匹配的具体视觉细节，例如独特的面部特征或特定的衣服图案。

该系统的核心创新在于如何利用这两个部分来做出决策。研究人员引入了一种特殊的机制，其作用类似于“守门员”。当系统观察视频中的一个潜在时刻时，它会问一个简单的问题：这个部分的视频看起来像参考图像吗？如果答案是肯定的，系统就会高亮显示该时刻。如果答案是否定的，系统就会主动抑制该时刻，将其视为干扰。为了实现这一点，系统学会了识别“硬负样本”（hard negatives）——即那些看起来与目标非常相似、但实际上是错误的人或物。通过训练系统去区分真实目标与这些具有迷惑性的“长相相似者”，研究人员确保了计算机能够忽略视频中令人困惑的部分，而只专注于正确的片段。

这种方法的成果在新的数据集上进行了测试，并与现有的仅依赖文本的方法进行了对比。新系统表现出了显著的优越性。在视觉干扰极高的体操视频中，该系统成功识别了正确的运动员和正确的时间，而纯文本模型往往会失败。在包含广泛主题和动作的开放世界数据集中，即使在测试从未见过的视频时，该系统依然保持了准确性。这表明该方法学习到的是一种将图像与视频动作进行匹配的通用技能，而非仅仅是记忆特定的例子。研究人员还测试了系统处理低质量图像（如模糊或光照异常的图像）的能力。即使在这些困难条件下，系统依然保持了鲁棒性，能够持续找到视频中的正确时刻。

这项工作证明，为文本查询添加视觉参考不仅仅是一个微小的改进，而是机器理解视频方式的一次根本性转变。它使该领域从语言的局限性（语言可能是模糊或不精确的）转向一种更直接的交流形式，即通过图片来明确意图。通过创建一个能够有效过滤视觉干扰并专注于特定目标的框架，研究人员为实现更可靠的视频搜索和分析提供了路径。研究结果表明，对于需要在复杂、拥挤场景中追求精准的任务而言，照片加句子的组合是最有效的工具，它让计算机能够以仅靠文字无法实现的清晰度来看待世界。

技术摘要：ID-VTG：图像消歧视频时序定位

问题定义

视频时序定位（Video Temporal Grounding, VTG）旨在根据自然语言查询在视频中定位特定的事件片段。然而，现有的以文本为中心的方法在处理涉及视觉相似实体或动作的查询时面临显著局限。在这种情况下，文本描述往往缺乏区分多个候选对象所需的细粒度属性（例如，特定的纹理、面部特征或微妙的外观差异）。这会导致指代歧义，即像“那个人正在对着麦克风说话”这样的文本查询可能会对应多个不同的个体或时间段，使得仅靠文本的定位变得不准确。

为了解决这一问题，作者引入了图像消歧视频时序定位（Image-Disambiguated Video Temporal Grounding, ID-VTG）。该任务通过补充参考图像（ $Q_{img}$ ）来增强文本查询，从而唯一地识别目标实例。其目标是定位一个在语义上匹配文本描述（ $Q_{text}$ ），同时在视觉上匹配参考图像中所描绘的具体对象的时序段 $(t_s, t_e)$ 。这种设置模拟了现实世界的场景，例如监控或体育转播，其中用户拥有强大的视觉先验（一张照片），但发现对特定个体的文本描述过于繁琐或不精确。

方法论：VGD-Agg 框架

作者提出了**视觉引导的消歧聚合（Visually-Guided Disambiguator Aggregation, VGD-Agg）**框架，该框架基于双分支快慢架构，旨在平衡高效的时序建模与细粒度的视觉匹配。

1. 双分支架构

快分支（Fast Branch）： 继承自 SnAG 基线，该分支利用高层视频语义高效生成初步的时序事件提案（proposals）。它采用基于 Transformer 的多尺度提案编码器来捕捉长程时序依赖关系，且不进行跨模态对齐，生成与查询无关的提案特征。
慢分支（Slow Branch）： 专为细粒度判别而设计，该分支执行视频帧与参考图像之间的帧级匹配。它引入了两个可学习的、针对特定视频的表示：
- 比较标记（Compare Token, $t_c$ ）： 一个代表高相似度干扰项（distractors）的硬负样本原型。它以视觉查询为条件，作为一个动态阈值，探测一帧是否包含目标实例。
- 压抑值（Depress Value, $v_d$ ）： 一种与文本无关事件的表示。它聚合与文本查询无关的视觉特征，作为缺乏目标图像的提案的“汇点（sink）”。

2. 视觉辅助消歧模块

该模块连接快分支和慢分支以解决歧义。它采用了基于 **Softmax 的竞争性聚合（Softmax-based Competitive Aggregation）**机制：

对于每个提案，系统计算视频帧与比较标记之间的相似度得分。
图像相关提案： 如果提案内的帧显示出对参考图像的高亲和力（超过比较标记的得分），注意力权重会突出这些帧，从而聚合相关的视觉特征。
图像无关提案： 如果帧未能匹配图像（得分低于比较标记），注意力机制将转向压抑值。这有效地抑制了视觉干扰项的特征，将其推向语义无关的信号。
该过程产生了消歧后的提案特征（Disambiguated Proposal Features），使目标实例与视觉干扰项在特征空间中得到清晰的分离。

3. 文本引导的定位

最后阶段利用消歧后的特征。文本引导定位头通过将精炼后的视觉特征与文本查询进行融合，对提案进行分类并回归时序边界。

4. 训练目标

模型通过加权损失之和进行端到端训练：

分类与回归损失： 用于边界精细化的标准 Focal Loss 和 DIoU Loss。
视觉匹配损失（ $L_{sim}$ ）： 一种基于排序的 Hinge Loss，它强制执行严格的序关系： $\bar{s}_{gt} > s_c > \bar{s}_{non-gt}$ 。这确保了真值（ground truth）片段具有比比较标记更高的视觉亲和力，而比较标记的得分又高于非真值片段。这迫使比较标记作为一个鲁棒的决策边界。

核心贡献

任务形式化： 引入了 ID-VTG，这是一个利用多模态查询（文本 + 图像）来解决视频定位中指代歧义的新任务，超越了仅靠文本输入的局限性。
数据集： 构建了两个全面的基准测试：
- IDVTG-Gym： 侧重于具有组合顺序的细粒度体操动作，涉及穿着相似制服的运动员，需要对动作顺序和视觉身份进行推理。
- IDVTG-InternVid： 一个包含多样化实体（人类、动物、虚构角色）和强时序干扰项的开放世界数据集，旨在测试在不受限环境下的鲁棒性。
方法论创新： VGD-Agg 框架通过引入比较标记和压抑值，显式地对硬负样本进行建模并抑制视觉干扰项，从而实现了精确的面向消歧的定位。

实验结果

在 IDVTG-Gym 和 IDVTG-InternVid 基准测试上的广泛实验验证了所提方法的有效性。

性能： VGD-Agg 达到了最先进（SOTA）的结果，显著优于适配后的基线模型（包括 RaTSG, UVCOM, CG-DETR, SnAG, 和 ICQ）。
- 在 IDVTG-Gym 上，它实现了 61.83% 的 $R1@0.5$ （相比之下，强大的 SnAG 基线为 53.64%）。
- 在 IDVTG-InternVid 上，它实现了 51.21% 的 $R1@0.5$ （相比之下，SnAG 为 44.26%）。
泛化能力： 该模型在分布外（OOD）Web 数据集上展示了强大的鲁棒性，在无需微调的情况下保持了对基线的明显领先，表明其学习到了可迁移的视觉-语义对应关系。
消融实验：
- 移除慢分支或聚合机制会导致性能大幅下降，证实了细粒度视觉匹配和特征分离的必要性。
- 比较标记被证明至关重要；将其替换为全局可学习标记或移除相似度损失会降低性能，证明了对特定视频的硬负样本建模的需求。
- 该方法对图像质量退化（亮度变化、低分辨率）表现出鲁棒性，在这些条件下仍能保持优于基线的性能。
定性分析： 注意力权重的可视化证实，比较标记成功捕获了视觉模糊区域（硬负样本），而压抑值有效地抑制了文本无关的背景噪声。

意义

本文声称 ID-VTG 解决了视频理解中的一个关键空白，即由于视觉歧义，仅靠文本不足以实现精确的定位。通过将参考图像作为严格的视觉约束进行集成，所提出的方法能够在复杂的、多实体的场景中实现可靠的目标实例识别。这项工作建立了一个新的多模态视频定位基准，并证明了通过专门的消歧机制（如比较标记）显式利用图像查询，对于在现实应用中实现鲁棒、细粒度的时序定位至关重要。