💻 computer science

TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition

本文介绍了 TACO，这是一个用于开放词汇视频识别的框架，它通过采用相对结构蒸馏以保持分布外对齐，并利用专门化投影将任务特定适配与测试时表示空间解耦，从而缓解了由目标不一致引起的表示偏差，并在多种基准测试中实现了最先进的性能。

原作者： Minghao Zhu, Xiao Lin, Mengxian Hu, Xun Zhou, Liuyi Wang, Xiaoyan Qi, Chengju Liu, Qijun Chen

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Minghao Zhu, Xiao Lin, Mengxian Hu, Xun Zhou, Liuyi Wang, Xiaoyan Qi, Chengju Liu, Qijun Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、见多识广的向导，名叫 CLIP。这位向导读过数百万本书，看过数百万张照片，因此仅仅通过看一张图片或读一段描述，就能识别出什么是“猫”、“日落”或“开心的狗”。由于见识过如此丰富的多样性，他们非常擅长泛化。

现在，你想教这位向导如何识别视频（即随时间移动和变化的画面），并且特别要让他们学会识别那些他们从未见过的视频类别（比如“玩火로耍杂技”或“与机器人共舞”）。这就是**开放词汇视频识别（Open-Vocabulary Video Recognition）**所面临的挑战。

问题在于，当你试图针对特定的视频示例（比如一个包含 400 种常见动作的数据集）来训练这位向导时，他们往往会变得“过于专业化”。他们会开始忘记自己原本博大精深的通用知识，而只成为刚才被教过的那些特定事物的专家。如果你随后要求他们识别一段全新的视频，他们就会感到吃力，因为他们已经失去了原有的“地图”。

这篇论文的作者们提出了 TACO，他们认为目前训练这些向导的方式是有缺陷的。目前的做法是在“已知”领地（训练数据）上训练向导，却期望他们在稍后能够驾驭“未知”领地（新类别）。这会导致向导的内在地图发生扭曲和变形。

以下是 TACO 如何解决这一问题的，它使用了两个主要的技巧：

1. “几何锚点”技巧（相对结构蒸馏）

想象一下，向导的大脑是一个巨大的 3D 地图，其中的每一个概念（如“跑步”、“游泳”或“烹饪”）都是空间中的一个点。在一个好的地图中，即使你加入了新的点（如“冲刺”），“跑步”和“走路”之间的距离和方向也应该保持一致。

当你在新的视频数据上训练向导时，地图会被挤压和拉伸。代表“跑步”和“走路”的点可能会漂移得太远，或者靠得太近，从而破坏了原始地图的逻辑。

TACO 的解决方案：
TACO 不仅仅关注已知的点，而是在地图的各个角落（包括向导尚未涉足的空白区域）投放了成千上万个隐形的、随机的“信标”（称为几何锚点）。

运作方式： 在训练过程中，系统会不断检查：“嘿，如果‘跑步’移动了，它与这些随机信标之间的距离是否与之前保持一致？”
结果： 这迫使向导保持其内在地图的形状完整。即使这些信标并不代表真实的物体（它们只是空间中的随机点），它们也能起到一种刚性支架的作用。它们防止了向导的大脑过度扭曲，确保当以后遇到新类别时，概念之间的关系仍然符合逻辑。

2. “专业化帽子”技巧（解耦空间）

想象一下，向导戴着两顶不同的帽子：

“思考”帽： 这是他们的永久大脑，用于理解世界并识别新事物。
“考试”帽： 这是一个临时的工具，仅用于解决目前正在进行的特定作业问题。

在标准训练中，向导直接把“考试”帽戴在自己的大脑上。随着他们解决作业，他们的大脑会被塑造成专门针对该作业的形式，从而导致他们忘记如何进行通用思考。

TACO 的解决方案：
TACO 在向导的大脑和考试之间放置了一个轻量级的、可丢弃的层（专业化投影）。

运作方式： 向导利用其永久大脑来理解视频，然后将这种理解通过一个临时的“适配器”传递出去，以解决特定的训练任务。训练是发生在适配器上的，而不是直接作用于大脑。
结果： 当进行真正的测试（识别新视频）时，向导脱掉“考试”帽和适配器。他们留下的是最初那颗未被扭曲的大脑，这颗大脑现在已经针对任务进行了完美调优，但并未失去识别新事物的通用能力。

总结

论文声称，通过使用这两个方法——用随机信标保持地图形状的刚性以及将训练与永久大脑分离——TACO 创建了一个在识别未见过的视频类别方面比以往方法表现得好得多的视频识别系统。

他们在许多不同的视频数据集（如 UCF-101、HMDB-51 和 Kinetics）上进行了测试，发现他们的方法始终优于现有技术，证明了你可以在教模型新技能的同时，不让它忘记原有的智慧。

技术摘要：TACO —— 面向视频识别中任务一致性的开放词汇自适应

1. 问题陈述

本文旨在解决将大规模视觉-语言模型（VLMs），特别是 CLIP，适配于开放词汇视频识别的挑战。虽然 CLIP 通过图像-文本预训练在未见过的视觉概念上具有强大的泛化能力，但将其适配到视频领域需要注入视频特有的时序知识，同时又不破坏其预训练的泛化能力。

作者指出，现有的微调范式存在一个关键的不一致性：

训练目标： 优化严格局限于**分布内（In-Distribution, ID）**空间（即微调数据集中的特定类别）。
评估目标： 模型在**分布外（Out-of-Distribution, OOD）**空间（即未见过的类别）进行评估。

现有方法试图通过正则化来平衡泛化与专业化，但忽略了在训练分布之外发生的表示偏差（deviation of representations）。论文认为，标准的微调会导致视觉嵌入和文本嵌入在 OOD 空间中向不同的方向漂移，从而破坏了预训练 CLIP 模型建立的跨模态对齐。这种“对齐偏移（alignment shift）”直接削弱了模型向未见视频类别泛化的能力。

2. 方法论：TACO 框架

为了减轻表示偏差的负面影响，作者提出了 TACO 框架，该框架由两个核心组件构建而成：

A. 相对结构蒸馏 (Relative Structure Distillation, RSD)

由于显式建模 OOD 语义（这需要昂贵的数据收集）并不现实，TACO 通过正则化整个表示空间来保留其相对几何结构。

机制： 该方法引入了从 CLIP 嵌入空间的单位超球面上采样的随机几何锚点（Random Geometric Anchors, $Z$ ）。这些锚点作为几何参考点，在空间中均匀分布，但在语义上是中性的。
蒸馏目标： 使用 Kullback-Leibler (KL) 散度损失，使学生模型的嵌入（视觉和文本）与锚点之间的相对关系，与教师模型（学生模型的指数移动平均）保持一致。
- 损失函数 ( $L_{RSD}$ ) 确保学生与教师之间由 $vZ^\top$ 和 $ZW^\top$ 定义的几何结构保持一致。
效果： 这防止了嵌入在微调过程中在 OOD 空间中发生任意漂移，有效地抑制了有害的对齐偏移，而无需显式的 OOD 监督数据。

B. 专业化投影 (Specialization Projection)

作者观察到，标准微调会将共享表示空间直接暴露在任务特定的交叉熵（CE）损失之下，从而导致过度专业化。

机制： 在视觉编码器与优化空间之间插入了一个轻量级的残差线性投影层 ( $h(\cdot)$ $h (\cdot)$ )。
- 表示空间（编码器的输出）与优化空间（CE 损失的输入）保持分离。
- 投影头以较高的学习率进行训练，并在推理阶段被丢弃。
效果： 这将表示空间与来自 CE 目标的直接压力解耦。任务特定的适配发生在“可丢弃”的投影分支中，从而保留了底层表示空间向未见类别泛化的能力。

总损失函数结合了标准的交叉熵损失 ( $L_{CE}$ ) 和相对结构蒸馏损失 ( $L_{RSD}$ )：
$L = L_{CE} + \lambda L_{RSD}$

3. 核心贡献

问题重构： 论文识别并分析了视频识别中基于 ID 的微调与基于 OOD 的评估之间的目标不一致性，证明了标准微调会诱发 OOD 空间的表示漂移和对齐偏移。
相对结构蒸馏： 一种新颖的正则化技术，利用随机几何锚点来保持嵌入空间的全局几何结构，有效地遏制了无需显式 OOD 数据的 OOD 偏差。
表示-优化解耦： 通过使用专业化投影这一通用架构策略，防止共享表示空间被训练目标直接过度专业化。
最先进的性能（SOTA）： 该框架在多个基准测试中得到了验证，展示了优于现有方法的持续改进。

4. 实验结果

作者在 Cross-Dataset 和 Base-to-Novel 设置下，使用 ViT-B/16 和 ViT-L/14 骨干网络对 TACO 进行了评估。

跨数据集性能： TACO 在 UCF-101、HMDB-51 和 Kinetics-600 上优于现有最先进方法（如 Open-VCLIP、FROSTER、MoTE）。例如，在使用 ViT-L/14 骨干网络时，TACO 在 UCF-101 上达到 91.4%，在 HMDB-51 上达到 64.2%，大幅超越了之前的最优方法（MoTE）。
Base-to-Novel 性能： TACO 在 K400、HMDB、UCF 和 Something-Something v2 上均取得了最高的调和平均值（Harmonic Mean, HM），表明其在拟合训练类别与泛化至新类别之间取得了卓越的平衡。
消融实验：
- 锚点： 从高斯分布 ( $N(0, I)$ ) 中采样的随机几何锚点优于源自 LLM 或文本语料库的语义锚点，这证实了其增益来自于几何覆盖度而非语义内容。
- 解耦： 专业化投影在不同适配类型（基于 Adapter、基于 Prompt、LoRA 和全量微调）中均表现有效，证明了该方法与底层适配机制的正交性。
- 对齐偏移： 实验证实，与标准微调相比，TACO 降低了 OOD 空间中的 KL 散度（对齐偏移），这与改进的泛化能力相关联。

5. 重要性与主张

本文声称 TACO 为开放词汇视频识别中的泛化-专业化权衡提供了一个简单且有效的解决方案。其主要意义在于，研究重点从仅仅在训练分布内增加约束，转向了保持训练分布之外的表示空间一致性。

通过通过几何正则化和架构解耦来显式处理 OOD 空间中的偏差，TACO 使模型能够在获取视频特定知识的同时，保持从 CLIP 继承的鲁棒且可迁移的对齐能力。作者强调，该方法具有可扩展性，可以轻松集成到各种适配流程中，并且无需依赖复杂的时序建模模块或昂贵的 OOD 数据收集即可实现最先进的结果。