Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

本文提出了名为 SemVID 的训练无关视频时间定位剪枝框架，通过引入证据保留与连通性强度原则，动态分配帧级令牌预算并筛选对象、运动及上下文令牌，在显著降低计算成本的同时有效保持了关键语义证据链的完整性。

要点

这篇论文介绍了一种名为 SemVID 的新方法，旨在让 AI 在处理长视频时变得更聪明、更快速，同时还能精准地找到用户想要的那一瞬间。

为了让你轻松理解，我们可以把整个任务想象成**“在茫茫大海中找宝藏”**。

1. 背景：大海里的难题

想象你有一部长达两小时的电影（长视频），用户问：“那个穿红衣服的人什么时候把包从柜子里拿出来的？”

• 传统 AI 的做法：它会把整部电影切成成千上万个小碎片（Token），然后每一个碎片都仔细盯着看。这就像让一个侦探把电影里的每一帧画面都拿放大镜看一遍。虽然看得很细，但速度极慢，而且因为信息太多，侦探容易“看花眼”，找不到重点。
• 现有的“偷懒”方法：为了快，以前的方法会直接扔掉一些“看起来不重要”的碎片。比如，它们可能只挑画面最亮、或者最像问题的地方看。
  • 问题出在哪？ 就像侦探只盯着“最亮的灯”看，却忽略了“灯旁边那个关键的开关”。对于找“时间点”（比如动作发生的开始和结束）这种任务，中间的过渡过程和前后的联系比单张漂亮的图片更重要。如果只挑重点帧，证据链就断了，AI 就不知道动作是从哪一秒开始、哪一秒结束的。

2. 核心思想：保持“证据链”不断

这篇论文的作者发现，要精准定位时间，AI 需要两样东西：

1. 关键证据（Evidence Retention）：必须保留那些直接回答问题的重要画面（比如手、包、柜子）。
2. 连接桥梁（Connectivity Strength）：必须保留那些连接重要画面的过渡片段（比如手伸向柜子的过程）。

如果只保留证据，就像只看到了“手在柜子里”和“手拿着包”，却看不到“手怎么伸进去”的过程，AI 就猜不出具体时间。

3. SemVID 的解决方案：聪明的“选角导演”

SemVID 就像一个经验丰富的选角导演，它不盲目地删减，而是给每一帧画面分配不同的“角色”，确保故事线完整：

• 角色一：主角（Object Tokens）
  • 任务：寻找与问题直接相关的物体（如“包”、“柜子”）。
  • 策略：不仅要看，还要确保不重复。如果连续 10 帧都是同一个包，它只留最有代表性的几个，避免浪费资源。
• 角色二：桥梁（Motion Tokens）
  • 任务：捕捉变化和动作。
  • 策略：专门挑选那些画面发生剧烈变化的帧（比如手开始移动的瞬间）。这些帧就像“桥梁”，把前后的证据连接起来，告诉 AI：“动作是从这里开始发生的”。
• 角色三：背景板（Context Tokens）
  • 任务：维持场景的连贯性。
  • 策略：保留少量稳定的背景画面，防止 AI 在快速剪辑中迷失方向，知道“这还是在同一个房间里”。

4. 它是如何工作的？（三步走）

1. 分配预算（Budget Allocation）：
   导演先给每一帧分配“拍摄经费”。如果这一帧里发生了关键动作（比如手在动），或者这一帧和上一帧差别很大（状态改变了），就多发点经费，多留几个画面。如果画面很无聊，就少留点。
2. 挑选演员（Token Selection）：
   • 先挑主角：找那些最像问题的物体。
   • 再挑桥梁：找那些动作变化最明显的地方。
   • 最后留背景：留几个稳定的画面保底。
3. 剪接成片：
   把这些精选出来的画面拼在一起。虽然画面总数减少了 80% 以上（只留了 12.5%），但因为保留了关键证据和连接桥梁，AI 依然能完美还原整个故事。

5. 效果如何？

• 速度快：因为只看了很少的画面，AI 处理视频的速度提升了 5.8 倍。
• 准度高：在找时间点的任务上，它的准确率几乎和“全看”一样（保留了 95.4% 的精度），远远超过了其他“偷懒”的方法。
• 不烧钱：不需要重新训练 AI 模型，直接就能用（Training-Free）。

总结

这就好比你要去一个巨大的图书馆找一本书。

• 笨办法：把图书馆里每一本书都翻一遍（太慢）。
• 旧办法：只挑封面最花哨的书看（容易漏掉关键信息，找不到书在哪一页）。
• SemVID 办法：它先根据目录（问题）找到大概的书架（关键帧），然后特意保留书架之间走路的过道（过渡帧），确保你能顺着路走到书面前，最后精准地抽出那本书。

一句话总结：SemVID 通过**“抓重点、留桥梁、保背景”的策略，让 AI 在长视频里既能跑得快**，又能找得准，完美解决了“证据链断裂”的问题。

技术摘要

这是一篇关于视频时间定位（Video Temporal Grounding, VTG）中免训练（Training-Free）视觉 Token 剪枝技术的学术论文总结。论文提出了一种名为 SemVID 的新框架，旨在解决长视频处理中计算成本高昂的问题，同时保持对事件边界定位的准确性。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem & Motivation)

• 核心任务：视频时间定位（VTG）旨在根据自然语言查询，在未经剪辑的长视频中定位事件发生的起始和结束时间戳。
• 现有挑战：
  • 计算成本：基于视频 - 语言模型（VLM）的 VTG 需要将视频编码为数千个视觉 Token，注意力机制的计算复杂度随序列长度呈二次方增长，导致推理成本极高。
  • 现有剪枝方法的局限性：现有的免训练剪枝方法（如视觉冗余 VR、视觉显著性 VS、查询相关性 QR）主要源自视频问答（VideoQA）任务。
    • VideoQA vs. VTG 的差异：VideoQA 通常关注单帧或少数关键帧的信息（如“物体在哪里”），而 VTG 高度依赖时间边界敏感的证据和跨帧推理链（即事件是如何随时间演变的）。
    • 直接应用的后果：直接套用 VideoQA 的剪枝策略会导致关键的时间边界证据丢失，或者破坏跨帧的证据连接链，从而造成 VTG 性能急剧下降。

2. 核心洞察与原则 (Key Insights)

作者指出，针对 VTG 的有效剪枝必须遵循两个特定原则：

1. 证据保留 (Evidence Retention, ER)：必须保留查询关键的区域，特别是事件边界附近的微小但决定性的证据（如动作开始或结束的瞬间）。
2. 连接强度 (Connectivity Strength, CS)：必须保留能够连接不同帧的 Token，以维持长距离证据的聚合路径。如果剪枝破坏了帧间的“中继”节点，多跳推理链就会断裂。

3. 方法论：SemVID 框架 (Methodology)

SemVID 是一个免训练的剪枝框架，通过构建具有互补语义角色的紧凑 Token 子集来优化 ER 和 CS。其工作流程分为两个阶段：

A. 帧级预算分配 (Frame-Level Budget Allocation)

在每帧内分配 Token 数量之前，首先根据视频内容动态分配每帧的 Token 预算，避免某些关键帧被过度剪枝或留空。

• 依据：结合查询 - 帧相关性（Evidence Localization）和帧间变化（Evidence Connectivity）。
• 机制：
  • 计算查询与帧的全局特征相似度，确定哪些帧包含关键证据。
  • 计算帧间特征差异（Temporal Diff），识别状态转换剧烈的帧（作为连接不同证据的中继点）。
  • 通过加权混合分配预算，并设置每帧的最小 Token 数（Context Floor），防止出现“空帧”。

B. 角色感知的语义 Token 选择 (Role-Aware Semantic Token Selection)

在每帧的预算内，SemVID 选择三类具有不同语义角色的 Token：

1. 对象 Token (Object Tokens)：
   • 作用：保留与查询对齐的多样化证据。
   • 算法：使用最大边际相关性 (MMR) 策略。不仅选择与查询最相关的 Patch，还通过惩罚与已选 Token 高度相似的候选者，确保保留多样化的物体部分，避免冗余。
2. 运动 Token (Motion Tokens)：
   • 作用：捕捉有意义的状态转换，作为跨帧的中继节点，连接不同时间段的证据。
   • 算法：计算 Patch 在时间维度上的特征差异（Motion），并结合查询相关性进行过滤。这确保了保留的是与查询相关的动作变化，而非背景噪声或相机抖动。
3. 上下文 Token (Context Tokens)：
   • 作用：作为稳定的场景锚点，维持场景的连贯性，防止推理链断裂。
   • 算法：选择代表帧背景的全局特征（Proto Token）以及高显著性的背景区域。

4. 评估指标 (Evaluation Metrics)

除了传统的 mIoU（平均交并比）外，作者提出了两个基于注意力图的诊断指标来量化剪枝质量：

• 证据保留 (ER)：衡量剪枝后，查询诱导的证据分布中有多少被保留下来。
• 连接强度 (CS)：衡量剪枝后的 Token 子集在相邻帧之间维持注意力路由（信息传递）的能力。

5. 实验结果 (Results)

在 Charades-STA 和 ActivityNet-Grounding 等主流 VTG 基准测试上，使用 Qwen3-VL 和 Qwen2.5-VL 模型进行了验证：

• 精度与效率的权衡：
  • 在仅保留 12.5% 的视觉 Token 时，SemVID 保留了高达 95.4% 的原始 mIoU 性能。
  • 在 25% 保留率下，性能几乎无损（保留 96.9% mIoU）。
• 对比 SOTA：
  • 显著优于现有的剪枝方法（如 FastVID, VisionZip, ToME 等）。例如，在 12.5% 预算下，SemVID 的 mIoU 远高于 FastVID（38.49 vs 33.16）。
  • 在 ER 和 CS 指标上均表现出明显优势，证明了其保留证据链的有效性。
• 推理加速：
  • 实现了 5.8 倍 的预填充（Prefill）速度提升，同时保持了极高的精度。
• 消融实验：
  • 证明了“语义预算分配”和“角色感知选择”缺一不可。
  • 证明了运动 Token 对于维持跨帧连接（CS）至关重要，移除它们会导致性能大幅下降。

6. 主要贡献 (Contributions)

1. 问题定义：首次明确指出了 VTG 任务对剪枝的特殊需求，提出了证据保留 (ER) 和 连接强度 (CS) 两个核心原则，解释了为何通用剪枝方法在 VTG 上失效。
2. 方法创新：提出了 SemVID，一种无需训练的框架，通过动态预算分配和三类角色 Token（对象、运动、上下文）的协同选择，构建了紧凑且连贯的证据链。
3. 实证效果：在多个基准和模型上验证了该方法在极低 Token 预算下（12.5%）仍能保持高精度，并显著加速推理，为长视频 VTG 的实际应用提供了可行的解决方案。

7. 意义与总结 (Significance)

这篇论文解决了长视频理解中“计算效率”与“时间定位精度”之间的矛盾。它表明，对于 VTG 任务，不仅仅是保留“重要”的帧或物体，更重要的是保留“连接”这些证据的“时间桥梁”（运动 Token）和“场景锚点”（上下文 Token）。SemVID 提供了一种简单但高效的范式，使得在资源受限的设备上部署高精度的长视频时间定位模型成为可能。