💻 computer science

Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition

本文提出了一种名为相似性体积聚合（SimVA）的新框架，该框架从局部视觉 - 文本对应关系构建并细化稠密的四维时空相似性体积，以克服全局特征聚合的局限性，从而在零样本、少样本及基础到新颖的设置中实现开放词汇动作识别的竞争性性能。

原作者： Yerim So, Jiyeong Kim, Jiwon Yoon, Dongbo Min

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yerim So, Jiyeong Kim, Jiwon Yoon, Dongbo Min

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教计算机识别视频中的人类动作，比如“刷牙”或“挥动球棒”，但你希望它能理解任何动作，甚至是它从未见过的动作。这被称为开放词汇动作识别。

本文介绍了一种名为SimVA（相似性体积聚合）的新方法，旨在解决计算机目前执行此类任务时存在的一个特定问题。以下是使用简单类比进行的分解说明：

问题：“模糊的集体照”

目前，大多数人工智能方法的工作流程如下：它们将视频切分成微小的片段（patch），然后立即将所有这些片段压缩成一个巨大的、模糊的摘要（即“全局表示”），然后再尝试将其与文本描述进行匹配。

类比：想象一下，试图通过拍摄整个拥挤人群的整张照片，将其模糊化直到每个人都看起来像一个单一的颜色色块，然后问：“这个色块是足球运动员吗？”来识别体育场中特定的某个人。
结果：你丢失了精细的细节。你无法看到手臂在哪里移动，或者球棒如何挥动。你丢失了“时空”线索（运动的具体位置和时机）。

解决方案："4D 相似性图”

作者提出了SimVA，改变了策略。他们不再先模糊视频，而是保留视频的每一个微小片段，并将每个片段直接与文本描述进行比较。

类比：与其制造一个模糊的色块，不如想象创建一个巨大的 4D“热力图”（即相似性体积）。
- 维度：它映射了视频中的每一个点（空间）、时间中的每一刻（时间）以及每一个可能的动作词（词汇）。
- 工作原理：对于视频中的每一个像素，人工智能会问：“这看起来有多像‘刷牙’？”它对每一帧和每一个词都进行这样的操作。
- 结果：你得到了一张丰富、详细的地图，精确显示动作在哪里以及何时发生，而不是一个模糊的猜测。

挑战：数据量过大

为每一个可能的动作词构建这种巨大的 4D 图，对计算机来说负担太重（这就像试图同时阅读图书馆里的每一本书）。

解决方法（类别采样）：人工智能使用一个智能过滤器。它首先快速粗略地浏览整个视频，以猜测哪 100 个动作词最有可能相关。然后，它仅针对这 100 个词构建详细的 4D 图。这使得过程既快速又高效，同时不会丢失重要细节。

优化过程：通往清晰的三个步骤

一旦人工智能拥有了这个 4D 图，它就会通过三个具体步骤对其进行优化，以提高答案的准确性：

空间聚合（“上下文”步骤）：
- 作用：它查看相邻的像素，以确保它们达成一致。如果一个像素说“这是球棒”，而旁边的像素说“这是水”，人工智能会平滑处理这些差异，以理解整个物体。
- 类比：这就像侦探询问邻居：“你看到嫌疑人了吗？”以确认故事，而不是依赖单一不可靠的证人。
运动感知调制（“运动”步骤）：
- 作用：它专门寻找帧与帧之间移动的事物并将其高亮显示，同时忽略静态的背景内容（如墙壁或树木）。
- 类比：想象用荧光笔观看视频。这一步高亮显示移动的部分（挥动的手臂），并调暗静态的部分（背景），使人工智能专注于动作，而不是风景。
时间聚合（“故事”步骤）：
- 作用：它将时间线上的点连接起来。它观察“相似度”如何从一秒变化到下一秒，以理解动作的流动。
- 类比：这就像阅读连环画。你不仅仅看一个面板，而是阅读整个序列以理解故事（例如，球向上飞，然后落下）。本文使用一种名为Mamba的特殊工具来高效地阅读这个“故事”。

结果

本文声称，通过保留这些细粒度的细节并在“相似性空间”中处理它们（而不是先模糊它们），SimVA 的表现优于以往的方法。它在识别动作方面更加准确，特别是在以下情况：

零样本：从未见过的动作。
少样本：仅看到少量示例的动作。
基础到新颖：区分已知动作与新出现的相似动作。

简而言之，SimVA阻止人工智能对视频“眯着眼看”，而是迫使它同时关注精细细节、运动和时机，从而对视频中发生的事情产生更智能的理解。

技术摘要：面向开放词汇动作识别的时空相似度体积聚合

1. 问题陈述

近期的开放词汇动作识别（OVAR）方法通常依赖于将视觉特征聚合为全局表示（例如使用 [CLS] 令牌），然后再计算与文本嵌入的对齐。虽然这种方法在零样本泛化方面行之有效，但该范式本质上丢弃了每帧内丰富的局部图块信息。因此，细粒度的时空线索——如运动轨迹、局部交互以及视觉模式随时间的演变——被掩盖了。现有利用局部令牌的尝试（例如 TC-CLIP、BDC-CLIP）往往仍将在文本对齐之前将结构化的时空交互压缩为单一的全局向量，未能显式建模随时间演变的局部视觉模式与文本动作语义之间的对应关系。

2. 方法论：相似度体积聚合（SimVA）

作者提出了SimVA，这是一个将范式从特征聚合转变为相似度聚合的框架。SimVA 并非首先合并视觉特征，而是构建局部视觉令牌与文本嵌入之间致密的 4D 时空相似度体积，在整个处理流程中保留局部证据。

2.1 相似度体积构建

给定输入视频 $V$ 和动作文本提示，该框架利用预训练的 CLIP 模型提取：

视觉嵌入： $T$ 帧的图块级嵌入 $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ 。
文本嵌入： $N_C$ 个动作类别的类别嵌入 $F_{text} \in \mathbb{R}^{N_C \times D}$ 。

通过计算每个时空图块 $(t, i, j)$ 与每个类别 $c$ 之间的余弦相似度，构建 4D 相似度体积 $S \in \mathbb{R}^{T \times H \times W \times N_C}$ 。该体积表示了跨空间和时间的局部视觉 - 文本对应关系。

2.2 动作类别采样

当 $N_C$ 较大时，直接聚合整个体积在计算上是不可行的。SimVA 引入了一种类别采样策略：

通过平均帧级 [CLS] 令牌计算全局视频表示 $\bar{V}$ 。
计算全局相似度得分 $S_{global} = \bar{V}^\top F_{text}$ 。
选择前 $M$ 个类别。在训练期间，添加均匀噪声以鼓励探索，并强制将真实类别纳入子集中。
这将类别维度从 $N_C$ 减少到可处理的规模 $M$ ，将体积缩小为 $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$ 。

2.3 结构化时空聚合

该框架通过重复 $N_L$ 层的结构化流程处理采样的相似度体积：

空间聚合：使用 Swin Transformer 块，模型细化帧内相似度模式。这强制属于同一对象的图块之间保持局部一致性，并抑制背景噪声，将局部相似度置于帧内上下文中。
运动感知调制：为了注入帧间变化线索，模型利用 CLIP 图像特征估计连续帧之间的运动偏移。这些偏移被归一化以去除全局相机运动，并投影为调制信号 $\gamma_t$ 。该信号自适应地缩放空间细化后的特征，强调具有显著动态变化的区域（例如移动物体），然后再进行时间建模。
时间聚合：Mamba（状态空间模型）块处理运动感知的相似度序列。与全局注意力的 Transformer 不同，Mamba 的前向扫描机制与视频的自然时间进程相一致。它顺序积累具有转换意识的相似度模式，对特定动作证据随时间的演变进行建模，同时保持时空对齐。

2.4 训练目标

最终的视频级得分通过线性投影和时空平均池化获得。训练目标结合了：

聚合损失（ $L_{agg}$ ）：采样类别 logits 上的交叉熵损失。
分类损失（ $L_{cls}$ ）：基于全局视频 - 文本对齐（使用 [CLS] 令牌）计算的辅助损失，以防止灾难性遗忘并保留预训练先验。

3. 主要贡献

范式转变：引入了一个基于 CLIP 的 OVAR 框架，直接在相似度空间中运行，从特征聚合转向相似度聚合，以保留致密的时空对应关系。
可扩展架构：提出了一种内存高效的类别采样策略，使相似度聚合能够扩展到大型开放词汇场景，而不会产生过高的计算成本。
结构化聚合：设计了一个集成空间聚合（用于帧内一致性）、运动感知调制（用于帧间动态）和基于 Mamba 的时间聚合（用于序列演变建模）的流程。
实证验证：在零样本、少样本以及基础到新颖泛化基准测试中证明了其有效性。

4. 实验结果

该方法使用 ViT-B/16 CLIP 骨干网络在五个标准基准测试（Kinetics-400、Kinetics-600、HMDB-51、UCF-101、Something-Something V2）上进行了评估。

零样本性能：SimVA 在所有数据集上均优于强基线方法（例如 ActionCLIP、X-CLIP、ViFi-CLIP、TC-CLIP）。在 HMDB-51、UCF-101 和 K600 上，它取得了最先进或极具竞争力的结果（例如 K600 上 76.5% 的 Top-1 准确率，UCF-101 上 86.2%）。
少样本学习：在每类 $K \in \{2, 4, 8, 16\}$ 个样本的设置下，SimVA 始终优于现有方法，表明其在有限监督下对视频任务的鲁棒适应能力。
基础到新颖泛化：该模型在所有数据集上实现了最佳的基础准确率，并在 UCF-101 和 SSv2 上取得了最高的调和平均数（HM），显示出对未见类别的强大泛化能力，同时保持了对基础类别的性能。
效率：尽管构建了致密的体积，SimVA 仍保持了与其他基于 CLIP 的方法相当的计算预算（1.246 亿参数，315 GFLOPs），展示了有利的效率 - 性能权衡。

5. 意义与主张

论文声称，SimVA 通过显式建模局部视觉模式如何在与文本语义的交互中演变，有效地将 CLIP 强大的图像 - 文本对齐能力转移到了时空领域。通过维持致密的视觉 - 文本对应关系并避免过早的全局池化，该框架能够精确区分依赖于细微时间变化的细粒度动作。

作者断言，相似度空间聚合是将视觉 - 语言模型适应视频动作识别的一个有前景的方向。他们承认在固定的类别采样预算方面存在局限性，指出自适应策略可以进一步提高可扩展性，但坚持认为当前的方法在性能和计算可行性之间提供了稳健的平衡。