🤖 machine learning

Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval

本文提出了 Holmes，一种分层证据学习框架，该框架通过基于视频间狄利克雷相似性建模和基于自适应最优传输的视频内软对齐来聚合多粒度跨模态证据，从而显式地对部分相关视频检索中的不确定性进行建模。

原作者： Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shu-Tao Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图从成千上万段视频组成的庞大图书馆中，找到一段特定的、未经剪辑的家庭录像。你手中只有一张简短而模糊的便条作为线索，比如“一个人在游泳”。

这就是**部分相关视频检索（PRVR）**所面临的挑战。视频本身漫长且杂乱（未经修剪），但你的便条仅描述了其中极短的一个瞬间。问题在于：你的便条过于简短，可能会意外匹配到数十段不同的视频；或者它过于模糊，导致计算机完全无法理解你在寻找什么。

本文介绍了一种名为Holmes（以著名侦探命名）的新系统来解决这一问题。Holmes 不像传统方法那样仅猜测“是”或“否”，而是像侦探一样自问：“我对这个结论有多确定？”

以下是 Holmes 的工作原理，辅以简单的类比：

1. 问题所在：“模糊便条”与“嘈杂图书馆”

本文指出了两个导致难以找到正确视频的主要问题：

模糊便条（视频间歧义）： 如果你写下“一个人在游泳”，计算机可能会找到一段人在泳池游泳的视频、一段在海洋游泳的视频，以及一段有人假装游泳的视频。计算机之所以困惑，是因为这条便条能对应太多事物。
嘈杂图书馆（视频内稀疏监督）： 在一段长视频中，只有几秒钟真正符合你的便条。其余部分只是背景噪音（人们走动、交谈等）。传统方法往往只关注单个“最佳”片段而忽略其余部分，这就像试图仅通过观察一帧模糊的画面来评判整部电影。

2. 解决方案：“侦探的工具箱”

Holmes 使用一种称为证据学习（Evidential Learning）的特殊数学方法。它不是给出单一分数，而是收集“证据”并计算它对该证据的信任程度。

部分 A：整理线索（视频间层面）

Holmes 审视那条“模糊便条”，并依据“三分原则”将其分为三类：

精确线索： 便条清晰（例如，“一个女孩正在系她的红色芭蕾舞鞋”）。Holmes 非常有信心。它将此视为确凿的指纹。
多义线索（双关语）： 便条具有多重含义（例如，“一个男人在跑”）。这可能是慢跑者，也可能是逃亡的罪犯。Holmes 意识到：“我不确定你指的是哪一种”，因此它不强行给出单一答案，而是保持多种可能性开放。
未定线索： 便条太短或残缺（例如，“游……"）。Holmes 承认：“我没有足够的信息来解决这个问题。”它不会胡乱猜测，而是承认缺乏证据。

魔法技巧： 一旦 Holmes 整理好线索，它就会调整“训练规则”。如果线索模糊，它会告诉计算机：“对于那些‘差不多’正确的视频，不要过于苛刻。”如果线索精确，它则说：“严格一点，找到完全匹配的视频。”这防止了计算机因模糊的便条而陷入困惑。

部分 B：清理视频（视频内层面）

现在，Holmes 深入长视频内部，寻找特定的瞬间。

旧方法： 想象一下，试图仅通过观察最匹配的那一帧画面，将一句话与视频进行匹配。如果那一帧是故障或随机噪音，整个搜索就会失败。
Holmes 的方法（柔性最优传输）： Holmes 使用一个“垃圾桶”。想象你在整理衣物。你有一堆衣服（视频片段）和一份需求清单。
- 大部分衣物放入“匹配”堆。
- 但有些衣物只是垃圾或无关紧要（比如一只不配套的袜子）。
- Holmes 拥有一个特殊的垃圾桶。它不会强迫那只垃圾袜子去匹配你的清单，而是将其扔进垃圾桶。这使得计算机能够只关注视频中相关的部分，而不被中间的“噪音”分散注意力。

3. 结果：更聪明的侦探

通过结合这两个步骤，Holmes 在查找视频方面比之前的方法更加出色。

它不仅仅说“这段视频匹配”。它会说：“这段视频匹配，我有 90% 的把握”，或者“这段视频匹配，但便条很模糊，所以我只有 60% 的把握”。
它忽略了那些会让其他系统感到困惑的视频“垃圾”部分。

总结

可以将之前的视频搜索引擎想象成一个死记硬背答案但遇到棘手问题就会困惑的学生。Holmes则像一位侦探，它：

承认线索何时过于模糊（因此不会猜错）。
根据线索的清晰程度进行分类（因此知道该投入多少精力去查找）。
扔掉垃圾（视频中无关的部分），以便专注于真正的证据。

本文表明，这种方法能帮助计算机在搜索便条简短、杂乱或模糊的情况下，更快、更准确地找到正确的视频。

技术摘要：重新审视部分相关视频检索中的证据学习不确定性

问题陈述

部分相关视频检索（PRVR）旨在利用仅描述视频内容特定片段的文本查询，检索未修剪的视频。与假设针对预修剪视频使用完全描述性查询的传统文本到视频检索（T2VR）不同，PRVR 面临一个根植于数据不对称性的根本挑战：简短、模糊的文本查询与丰富、未修剪的视频内容相匹配。

这种不对称性引入了两个叠加的挑战：

视频间语义歧义：查询往往表现出细粒度的异质性。它们可能是未确定的（语义不足导致置信度低）或多义的（语义模糊，匹配多个候选视频）。现有方法通常忽略这种异质性，或隐式地处理它，缺乏显式量化特定不确定性类型的机制。
视频内稀疏监督：普遍采用的多示例学习（MIL）范式通常仅监督单个最佳匹配片段。这导致训练信号稀疏，阻碍模型学习整体表示，并使其容易受到虚假局部噪声（例如来自无关片段的假阳性）的影响。

方法论：Holmes 框架

作者提出了Holmes，一个分层证据学习框架，旨在显式量化和建模视频间及视频内的不确定性。

1. 视频间证据学习

该组件通过将跨模态相似度得分视为由狄利克雷分布参数化的证据，来解决查询歧义问题。

查询识别的三重原则：该框架基于从狄利克雷分布导出的三个指标对查询进行分类：
- 认知不确定性（ $u$ ）：反映证据的强度。高 $u$ 表示证据有限的未确定查询。
- 标签一致性（ $c$ ）：衡量与真实标签的对齐程度。高 $c$ 并不保证精度，因为多义查询也可能与真实标签高度对齐。
- 偶然不确定性（ $\xi$ ）：通过分布的期望熵来衡量。低熵表示精确查询（概率质量集中在一个视频上），而高熵表示多义查询（均匀分布）。
不确定性引导识别（UGI）：查询被划分为三个子集：未确定（ $S_u$ ）、精确（ $S_p$ ）和多义（ $S_n$ ）。这种划分利用不确定性主导划分融合策略来调和帧级分支与片段级分支之间的差异，优先考虑具有更高不确定性主导性的假设。
查询标签校准：基于识别出的类别，对标签进行重新校准。精确和未确定的查询保留原始的单热标签。多义查询接收源自模型估计相似度的软标签，以捕捉潜在的相关性并避免对语义相关的样本过度惩罚。

2. 视频内证据学习

为解决稀疏监督问题，Holmes 通过在查询与多个相关片段之间建立软对齐来积累更密集的证据。

灵活最优传输（FOT）：该方法利用最优传输（OT）构建查询与片段的软对齐。
自适应垃圾桶：一项关键创新是引入“垃圾桶”桶（一个常数列向量，设置为相似度得分的底部 30% 百分位）。该桶吸收无关或噪声片段，防止它们强制进行完全映射。这使得模型能够从多个相关片段中学习，同时抑制虚假的局部响应，从而有效地提供更密集的时间监督。

3. 优化

模型采用两阶段方案进行训练：

预热：优化标准相似度检索和视频间证据学习（ $L_{inter}$ ），不进行标签重新校准。
联合优化：激活视频内证据学习（ $L_{intra}$ ）和标签重新校准。
总损失结合了基础检索损失、视频间证据损失和视频内证据损失。

主要贡献

概念性：本文通过不确定性的视角重新构建 PRVR，显式地将视频间语义歧义与视频内稀疏监督联系起来。
方法论：
- 提出了Holmes，一个双层证据学习框架。
- 引入了用于细粒度查询识别和自适应标签校准的三重原则。
- 开发了带有自适应垃圾桶的灵活最优传输（FOT），以实现密集且鲁棒的时间对齐。
实证性：在三个基准测试中展示了优于最先进方法的显著改进，消融研究验证了不确定性量化和噪声抑制的有效性。

实验结果

实验在ActivityNet Captions、Charades-STA和TVR上进行。

性能：Holmes 在所有数据集上均取得了最先进的性能。在 ActivityNet Captions 上，其 SumR 得分比最强的竞争对手（DreamPRVR）高出 0.7。在 TVR 上，其 SumR 得分比 MGAKD 高出 8.1。
效率：尽管增加了证据学习的复杂性，Holmes 仍保持了与同规模模型（如 GMMFormerV2）相当推理和训练效率。
消融研究：
- 移除多尺度聚合或单分支学习会降低性能，证实了分层证据的必要性。
- 移除标签校准（ $L_{inter}$ ）会导致最差的性能，突显了处理查询歧义的重要性。
- 移除视频内证据损失（ $L_{intra}$ ）或将 FOT 替换为标准 OT/softmax 会导致准确率降低，证明了垃圾桶机制在过滤噪声方面的有效性。
定性分析：可视化显示，Holmes 正确地将真实标签视频排在无关视频之上，并抑制了虚假的局部峰值，而没有 $L_{intra}$ 的模型无法区分相关片段与噪声。

意义与主张

本文主张，Holmes 通过将确定性相似度得分转变为显式建模预测不确定性，提供了一个全新的视角。

可解释性：通过区分高置信度匹配和低证据猜测，该框架将检索从“黑盒”预测转变为可解释的、具有不确定性感知能力的系统。
鲁棒性：视频内证据学习和自适应垃圾桶机制通过过滤虚假相关性和噪声，积极缓解“假阳性”，这对于未修剪视频检索至关重要。
数据集分析：对多义和未确定查询进行分类的能力提供了一条诊断数据集偏差的途径，而不是盲目地过拟合它们。

作者指出了局限性，包括依赖预训练特征提取器（与端到端的 CLIP 方法相比可能限制性能）以及需要完整视频访问，使其不太适合在线流媒体场景。未来的工作计划纳入高级编码器并进行端到端训练。