💻 computer science

Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval

本文提出了名为 DreamPRVR 的模型，通过利用文本监督的截断扩散模型生成全局上下文语义寄存器，并结合高斯注意力机制实现从粗粒度到细粒度的表征学习，从而有效解决了部分相关视频检索中存在的查询歧义与局部噪声问题。

原作者： Jun Li, Xuhang Lou, Jinpeng Wang, Yuting Wang, Yaowei Wang, Shu-Tao Xia, Bin Chen

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Jun Li, Xuhang Lou, Jinpeng Wang, Yuting Wang, Yaowei Wang, Shu-Tao Xia, Bin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DreamPRVR 的新方法，旨在解决一个非常实际的问题：如何从一长段未剪辑的视频中，精准地找到符合你文字描述的那一小段内容。

为了让你更容易理解，我们可以把这项技术想象成**“先在大脑中构建全景，再聚焦细节”**的过程。

1. 核心难题：大海捞针时的“走神”

想象一下，你手里有一段长达 1 小时的视频（比如一场马拉松比赛），你想找的是“选手在 30 公里处喝水”的那几秒钟。

旧方法的困境：以前的 AI 就像是一个容易走神的学生。当你问它“喝水”时，它可能因为视频里某个选手刚好在 10 公里处也喝了口水，或者背景里有人拿着水瓶，就误以为找到了答案。它太容易被视频里那些局部相似但整体无关的片段误导了（论文里叫“局部噪声”）。
根本原因：旧方法缺乏全局视野。它只盯着局部看，忘了这 1 小时视频的整体剧情是什么，导致它无法区分“真的在喝水”和“看起来像喝水但其实是其他场景”。

2. 新方案：DreamPRVR 的“两步走”策略

DreamPRVR 的名字里藏着它的秘密：Dream（想象/梦境） 和 Concentrate（专注/集中）。它分两步走：

第一步：Imagine（想象）—— 先画一张“全景地图”

在开始找细节之前，AI 先闭上眼睛，根据你给的描述（比如“喝水”），在脑海里**“想象”**出整个视频的全貌。

怎么做？ 它不直接去视频里乱翻，而是利用一种叫**“扩散模型”**（Diffusion Model，类似现在生成 AI 画图的技术）的机制。
比喻：这就好比你要找“喝水”的片段，AI 先根据“喝水”这个词，结合视频的整体内容，“脑补”出一个“全局注册器”（Global Register）。这个“注册器”就像一张浓缩了整部电影剧情的“全景地图”。
关键点：这张地图不是乱画的，它是通过“去噪”过程，把视频里杂乱的信息（比如无关的背景、噪音）一点点洗掉，只留下最核心、最符合你描述的整体语义。这就叫**“基于扩散引导的注册”**。

第二步：Concentrate（专注）—— 拿着地图找细节

有了这张“全景地图”后，AI 再睁眼去视频里找细节。

怎么做？ 它把刚才生成的“全景地图”和视频里的每一帧画面进行**“对齐”**。
比喻：这就好比你拿着“全景地图”去现场。当你看到“选手喝水”的画面时，地图会告诉你：“对，这就是我们要找的，因为整段剧情里只有这里符合‘喝水’这个主题。”
效果：如果视频里有个选手在 10 公里处喝水，但地图显示那其实是“热身环节”，AI 就会立刻排除这个干扰项，因为它知道整体语境不对。

3. 它是怎么做到“想”得这么准的？

为了让这个“想象”过程不跑偏，论文设计了两个巧妙的机制：

文本的“结构化空间”：
- 比喻：以前的 AI 对文字的理解是散乱的。DreamPRVR 给文字建立了一个**“图书馆分类系统”。它确保描述同一视频的不同句子（比如“他在喝水”和“他拿着水瓶”）被归类在一起，而描述不同视频的则分开。这样，AI 在“想象”时就有了一本清晰的“参考书”**。
从“视频中心”开始想象：
- 比喻：传统的生成式 AI 是从“一团乱麻（随机噪音）”开始画图的。DreamPRVR 很聪明，它先快速看一眼视频，提取出一个**“视频中心分布”作为起点。这就像画家在动笔前，先快速勾勒出一个“草稿轮廓”**，然后再慢慢细化，而不是从零开始瞎画。这样既快又准。

4. 总结：为什么它厉害？

更聪明：它不再是被动的“搜索者”，而是一个会“先思考全局，再搜索细节”的侦探。
更精准：通过“想象”出的全局上下文，它能有效过滤掉那些**“看起来像但其实是错的”**干扰项（比如视频里其他无关的喝水镜头）。
更高效：虽然用了复杂的“扩散”技术，但它只用了很少的“注册器”和很短的时间，就像**“短跑冲刺”**而不是“马拉松”，效率很高。

一句话总结：
DreamPRVR 就像是一个拥有“上帝视角”的侦探。在寻找视频片段时，它不会盲目地到处乱撞，而是先根据线索在脑海中构建出整个故事的**“全景图”**，然后拿着这张图去精准定位，从而避免了被视频里的“假线索”带偏，最终找到了真正你想要的那一瞬间。

1. 研究背景与问题 (Problem)

核心任务：部分相关视频检索（Partially Relevant Video Retrieval, PRVR）。

定义：旨在根据仅描述视频中部分事件的文本查询，从未修剪（untrimmed）的长视频中检索出包含该事件的完整视频。
现有挑战：
1. 查询歧义性 (Query Ambiguity)：通用查询可能匹配真实目标片段，但也可能意外匹配其他视频中的局部相似片段（例如，查询“有人划船”，可能匹配到无关视频中划船的瞬间），导致跨模态匹配噪声。
2. 全局上下文感知缺失：现有方法往往缺乏对视频全局语义的显式建模。查询容易被全局无关但局部相似的视频误导，产生虚假的局部激活响应（Spurious Local Spikes）。
3. 多实例学习 (MIL) 的局限性：现有的 PRVR 方法多采用 MIL 范式，仅奖励匹配度最高的片段，导致其他片段训练不足，缺乏足够的上下文来消除歧义。
4. 现有全局建模的不足：虽然部分方法尝试引入全局上下文，但通常仅作为训练时的正则化项，或在推理时未对视频嵌入进行细化，且难以从充满噪声的未修剪视频中提取可靠的全局语义。

2. 方法论 (Methodology)

作者提出了 DreamPRVR 框架，采用**“先想象（粗粒度），后聚焦（细粒度）”的表征学习范式。核心思想是引入扩散引导的全局寄存器（Diffusion-Guided Registers）**来存储和增强视频的全局语义。

2.1 整体架构

模型包含四个核心组件：

文本语义结构学习 (Textual Semantic Structure Learning)
基于截断扩散的全局寄存器生成 (Register Generation via Truncated Diffusion)
寄存器增强的视频表征 (Register-Augmented Video Representation)
跨模态相似度计算

2.2 关键组件详解

A. 文本语义结构学习 (Textual Semantic Structure Learning)

目的：构建结构良好的文本潜在空间，为寄存器生成提供可靠的监督信号。
查询相似性保持损失 (QSP Loss)：现有方法仅使用多样性损失（Diversity Loss）盲目分离查询。DreamPRVR 提出 QSP，将同一视频的不同查询视为互补的正样本进行对齐，同时区分不同视频的查询。这增强了视频内部查询的紧凑性和视频间的可分性。
文本扰动采样器 (TPS)：考虑到查询本身的不确定性，TPS 通过对文本特征进行可控扰动采样，模拟文本潜在空间的分布，为寄存器生成提供语义对齐的监督目标。

B. 基于截断扩散的寄存器生成 (Register Generation)
这是模型的核心创新，旨在从噪声视频中提取纯净的全局语义。

概率变分采样器 (PVS)：
- 不同于传统扩散模型从纯随机噪声初始化，PVS 基于视频特征构建一个以视频为中心的概率分布（高斯分布）。
- 以此分布作为生成的起点（ $r_T$ ），而非随机噪声，使得生成过程是“截断”的，更贴近视频实际内容。
扩散寄存器估计器 (DRE)：
- 利用截断扩散模型，在文本监督（由 TPS 生成的 $\hat{q}$ ）下，对初始寄存器 $r_T$ 进行迭代去噪和细化。
- 通过 $T$ 步反向扩散过程，逐步去除噪声，最终生成纯净的全局寄存器 $r_0$ ，编码了视频的综合上下文语义。
优化目标：最小化生成寄存器与文本监督目标之间的 KL 散度及重构误差。

C. 寄存器增强的视频表征 (Register-Augmented Video Representation)

融合机制：将生成的全局寄存器 $r_0$ 与视频帧/片段令牌（Tokens）拼接。
高斯注意力块 (Register-Augmented Gaussian Attention Blocks, RAB)：
- 引入非对称注意力掩码 (Asymmetric Attention Mask)：
  - 视频令牌：可以关注寄存器和其他视频令牌（获取全局上下文）。
  - 寄存器：仅关注视频令牌（作为全局信息的汇聚点，不自我交互）。
- 这种机制使得视频特征能够自适应地融合全局上下文，抑制局部噪声，同时寄存器在推理后被丢弃，不增加推理负担。

2.3 训练目标

总损失函数 $L_{total}$ 包含：

$L_{sim}$ ：标准的跨模态检索损失（三元组 + InfoNCE）。
$L_{tssl}$ ：文本语义结构学习损失（QSP + 多样性）。
$L_{pvs}$ ：PVS 的 KL 散度约束。
$L_{dre}$ ：扩散去噪损失。

3. 主要贡献 (Key Contributions)

提出 DreamPRVR 框架：首个将“上下文想象”（生成全局寄存器）与“细粒度学习”结合的 PRVR 框架，实现了从粗粒度到细粒度的渐进式跨模态对齐。
扩散引导的寄存器生成机制：
- 设计了PVS，从视频中心分布初始化，解决了从噪声视频中提取可靠语义的难题。
- 设计了DRE，利用截断扩散模型在文本监督下迭代细化寄存器，生成高质量的全局上下文。
结构化文本语义空间：提出QSP Loss和TPS，解决了现有方法中查询多样性与视频内语义一致性之间的冲突，为生成过程提供了稳定的监督。
高效的融合策略：通过RAB模块实现寄存器与视频特征的自适应融合，并在推理阶段丢弃寄存器，兼顾了性能提升与推理效率。

4. 实验结果 (Results)

数据集：在 ActivityNet Captions, Charades-STA, TVR 三个主流基准数据集上进行了评估。
性能表现：
- DreamPRVR 在三个数据集上均取得了 State-of-the-Art (SOTA) 的性能。
- 例如在 TVR 数据集上，SumR 达到 193.1，显著优于之前的 GMMFormerV2 (189.1) 和 HLFormer (187.7)。
- 在 ActivityNet Captions 和 Charades-STA 上也均刷新了最佳记录。
效率分析：
- 尽管引入了扩散生成过程，但模型是轻量级的（仅需少量寄存器和时间步， $T=10$ ）。
- 推理时间与现有 SOTA 方法（如 HLFormer）相当，因为寄存器生成主要在训练阶段或离线特征提取阶段进行，且寄存器数量极少。
消融实验：
- 移除寄存器导致性能显著下降，证明了全局上下文的重要性。
- 移除扩散细化（DRE）或 PVS 初始化会导致性能不如完整模型，证明了迭代去噪和特定初始化的必要性。
- 可视化显示，随着扩散步数增加，寄存器语义逐渐纯净，形成清晰的聚类。

5. 意义与价值 (Significance)

解决 PRVR 核心痛点：有效解决了未修剪视频中因局部相似性导致的查询歧义问题，通过引入全局寄存器增强了模型对视频整体内容的理解能力。
生成式与判别式的统一：开创性地将生成式扩散模型（用于提取全局语义）与判别式检索任务相结合，为视频检索提供了一种新的“生成 - 判别”统一范式。
轻量级高效：证明了不需要大规模扩散模型，仅通过少量寄存器和截断扩散过程即可显著提升检索性能，具有极高的实用价值。
通用性启示：提出的“先想象（全局）后聚焦（局部）”的范式，以及利用扩散模型进行语义去噪和细化的思路，可推广至其他需要处理长序列、多模态噪声的视觉任务中。

总结：DreamPRVR 通过引入扩散引导的全局寄存器，成功弥补了现有 PRVR 方法在全局上下文感知上的不足，显著提升了在复杂、未修剪视频场景下的检索精度，同时保持了高效的推理性能。