💻 computer science

ST-SimDiff: Balancing Spatiotemporal Similarity and Difference for Efficient Video Understanding with MLLMs

ST-SimDiff 是一个无需训练的框架，它通过构建时空图并采用并行双重选择策略，在平衡基于相似性的冗余削减与基于差异的关键事件保留的同时，增强了多模态大语言模型的高效视频理解能力。

原作者： Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Bingjun Luo, Tony Wang, Chaoqi Chen, Xinpeng Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向朋友解释一部两小时的电影，但只有 30 秒的时间来描述它。如果你随机挑选场景，可能会完全错过剧情。如果你只挑选看起来最“重要”的场景，可能会五次重复描述同一个无聊的背景，却错过了主角掏出枪的那一刻。

这就是ST-SimDiff为观看视频的人工智能（AI）所解决的问题。

问题：数据太多，算力不足

现代 AI 模型（称为多模态大语言模型）就像超级聪明的学生，能够阅读和观看任何内容。但当它们观看视频时，会将视频分解成成千上万个微小的“视觉标记”（就像单个拼图块）。

对于长视频而言，这会堆积起海量的拼图块。AI 必须查看每一个块才能理解故事。这需要巨大的计算能力、内存和时间。这就像试图阅读整本百科全书来回答一个简单的问题。

旧方法：只挑选“最佳”片段

以往的方法试图通过寻找冗余来解决这个问题。它们会问：“哪些片段看起来相同？”或者“哪些片段最重要？”

缺陷：它们在寻找相似性方面过于出色。如果视频显示一辆车在街上行驶了 10 秒，AI 就会反复挑选“最重要”的车辆标记，而忽略了车只是在移动这一事实。
盲点：它们错过了转折点。如果车突然撞毁，这是一个巨大的变化。旧方法往往因为专注于保持不变的内容而平滑了这些变化。

新方案：ST-SimDiff（相似性 + 差异性）

作者提出了一种利用“双重策略”来思考视频压缩的新方法。他们将视频视为一张拥有两种道路类型的地图：

1. “相似性”道路（压缩无聊的内容）

类比：想象一群人在公园里静止站立。他们看起来都非常相似。

ST-SimDiff 的做法：它将这些相似的“标记”聚集成一个紧密的簇（就像一个社区）。它不是保留每个人的照片，而是从该群体中只挑选一个代表人物来代表其他人。
结果：它在不丢失含义的情况下，大幅减少了描述静态场景（如背景或缓慢移动的物体）所需的标记数量。

2. “差异性”道路（捕捉激动人心的内容）

类比：现在，想象同一群人，但突然气球爆了，所有人都跳了起来。

ST-SimDiff 的做法：它观察帧与帧之间的“边缘”。如果画面在一秒到下一秒之间发生剧烈变化（相似性急剧下降），它就会大喊："停！这是一个关键事件！"
结果：它迫使 AI 保留捕捉这些突然变化的特定标记（如车祸、新角色入场或场景转换）。这些就是视频的“剧情转折”。

如何协同工作

该系统构建了一个巨大的时空图。将其想象成一张社交网络地图，视频中的每一个视觉片段都是一个人。

相似性连接那些站在一起或看起来相同的人。
差异性寻找连接断裂或发生剧烈变化的时刻。

然后，AI 运行两个并行过滤器：

过滤器 1：“从每个长相相似的人群中保留一个人。”（压缩静态内容）。
过滤器 2：“保留那些刚刚做了完全不同事情的人。”（保留动作）。

最后，它将这两份列表合并。结果是一个微小且高效的标记集合，其中包含所有稳定的上下文和所有关键动作，同时丢弃了重复的噪音。

结果

该论文声称，这种方法是无需训练的（它不需要学习新事物；它只是利用数学对数据进行排序）。

性能：在视频理解测试中，它的表现实际上优于其他顶级方法。在某些情况下，即使它只查看了 30% 到 50% 的数据，其表现也与观看整个视频的 AI 相当。
速度与内存：由于丢弃了大量不必要的数据，AI 运行速度快得多（高达 30%），并且使用的计算机内存显著减少（高达 31%）。

简而言之：ST-SimDiff 教会 AI 忽略视频中无聊、重复的部分，同时确保它绝不会错过任何一个剧情转折。它在“保持不变的内容”与“发生变化的内容”之间取得平衡，使 AI 能够高效地理解长视频。

技术摘要：ST-SimDiff

问题陈述

多模态大语言模型（MLLMs）在处理长视频时面临显著的计算和存储瓶颈。标准范式涉及将视频采样为帧序列，并将每一帧转换为数百或数千个视觉令牌。随着视频时长和分辨率的增加，令牌数量呈爆炸式增长，导致自注意力机制的二次复杂度（ $O(N^2)$ ）带来难以承受的计算成本。

现有的令牌压缩方法通常分为两类：

基于重要性的剪枝：移除注意力分数低的令牌（例如 FastV, FasterVLM）。
基于相似性的合并/选择：根据帧内或相邻帧之间的高相似度来合并或选择令牌（例如 FrameFusion, VisionZip）。

作者指出了当前方法存在的两个关键局限性：

缺乏联合时空建模：现有方法往往孤立地处理空间和 temporal 相关性，未能捕捉依赖两个维度相互作用的复杂动态事件。
忽视“差异”：当前方法高度关注信息共性（相似性和重要性）以减少冗余。然而，它们往往忽略了关键的变化、转折点和动态转变。由于视频叙事通常由这些事件驱动，仅寻求相似性的模型可能会平滑掉突然的动作，导致误判。

方法论：ST-SimDiff

本文提出了 ST-SimDiff，这是一个无需训练的框架，旨在平衡时空相似性（用于识别冗余）和时间差异（用于捕捉关键事件）。该方法在由视觉令牌构建的时空图上运行，并采用并行双重选择策略。

1. 时空图构建

视觉令牌 $T = \{t_1, \dots, t_N\}$ 被建模为图 $G=(V, E)$ 中的顶点。边集 $E$ 是以下两者的并集：

空间边 ( $E_S$ )：连接同一帧内空间相邻的令牌。
时间边 ( $E_T$ )：连接相邻帧中相同空间位置的令牌。
边权重由相连令牌特征向量的余弦相似度定义。

2. 双重选择策略

该框架执行两个并行的选择过程：

A. 基于相似性的代表性令牌选择 (SRTS)

目标：压缩静态和冗余内容。
过程：
1. 对图进行阈值处理，仅保留权重高于相似度阈值 $\tau_{sim}$ 的边。
2. 应用社区检测算法（具体实现中为连通分量）来识别高度相似令牌的簇。
3. 在每个社区内，根据令牌与其簇内其他令牌的平均相似度计算其中介中心性得分。
4. 从每个社区中保留中心性得分最高的令牌，形成集合 $T_{rep}$ 。

B. 基于差异的事件令牌选择 (DETS)

目标：保留捕捉关键动态转变和转折点的令牌。
过程：
1. 分析图中的时间边 ( $E_T$ )。
2. 识别相似度急剧下降（即权重低于差异阈值 $\tau_{diff}$ ）的 temporally 相邻令牌对。
3. 将此类对中的后续令牌标记为关键事件令牌，形成集合 $T_{trans}$ 。

3. 最终缩减

最终的令牌子集是代表性令牌和事件令牌的并集 ( $T_{candidate} = T_{rep} \cup T_{trans}$ )。如果该集合的大小超过目标预算（由压缩率 $r$ 确定），则执行最终剪枝步骤，移除基于浅层 LLM 层注意力分数最低的令牌，以严格满足令牌数量约束。

主要贡献

新视角：作者提出在视频令牌压缩中，相似性和差异应被赋予同等重要性，认为相似性用于识别冗余，而差异用于捕捉关键时刻。
时空图框架：一个用于复杂时空关系的统一模型，能够同时筛选代表性令牌和关键事件令牌。
双重选择策略：一种新颖机制，结合社区检测用于静态压缩，以及时间差异分析用于动态保留。
无需训练的高效性：该方法不需要额外训练，在保持或提升性能的同时实现了显著的计算节省。

实验结果

该方法在三个长视频理解基准测试上进行了评估：VideoMME、LongVideoBench 和 EgoSchema，使用的基座模型为 LLaVA-Video-7B 和 NVILA-8B。

性能：在所有配置中，ST-SimDiff 的表现始终优于最先进（SOTA）的基线方法（包括 FastV, PruMerge, FasterVLM, VisionZip 和 FrameFusion）。值得注意的是，在 50% 的令牌保留率下，ST-SimDiff 在某些基准测试上的表现达到甚至超过了原始未压缩模型（100% 令牌）。
消融研究：
- 添加相似性模块（+Sim）相比基线提升了性能。
- 联合时空建模比单独的空间或时间建模更有效。
- 添加差异模块（++Diff）带来了显著的性能飞跃，特别是在高压缩率（30%）下，证实了其作为保留叙事关键事件的安全网作用。
计算效率：
- 推理时间：对于 128 帧视频，ST-SimDiff 相比基线将推理时间减少了高达 30.2%。
- 内存使用：对于 128 帧视频，峰值 GPU 内存使用量减少了 31.7%，使得在内存有限的硬件上处理更长视频成为可能。
- 复杂度：该框架以线性复杂度 $O(Nd)$ 运行，显著低于自注意力机制的二次复杂度。

意义

本文声称 ST-SimDiff 解决了现有视频理解研究中的一个关键盲点：即倾向于优先考虑相似性而忽视驱动视频叙事的“差异”。通过构建时空图并采用双重选择策略，该方法在压缩冗余静态信息与保留关键动态事件之间实现了稳健的平衡。这种方法为高效视频理解提供了一种原则性且自适应的解决方案，证明了在大幅减少令牌预算的情况下仍能保持高质量的视频理解能力。