Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding

该论文提出了“类别拆分”新任务及一种利用视频分类器潜在组合结构的零样本编辑方法，旨在无需额外数据即可将粗粒度类别细分为更精细的子类别，同时保持模型在其他类别上的性能，并通过低样本微调进一步提升了细分类别的识别精度。

要点

这篇论文提出了一种让视频识别模型“自我进化”的新方法，叫做**“类别拆分”（Category Splitting）**。

为了让你轻松理解，我们可以把视频识别模型想象成一位**“老练的图书管理员”**。

1. 现状：粗放的分类法

想象一下，这位图书管理员（视频模型）手里有一本巨大的书，里面记录了成千上万种动作。但是，他的分类标签非常粗糙。

• 比如，他把所有“打开东西”的动作都归为一类，标签就叫**“打开”**。
• 不管是“打开冰箱”、“打开抽屉”、“用力推开”还是“轻轻拉开”，在他眼里都是同一个标签。

问题来了：
随着时间推移，我们需要更细致的区分。比如，我们想知道“打开冰箱”和“打开抽屉”的区别。

• 传统做法（重训）： 找管理员重新培训。这需要收集成千上万张新照片，重新教他一遍，既花钱又耗时，就像把整个图书馆的书都搬出来重新整理一遍。
• 现有捷径（VLM）： 找一位懂很多新词的“翻译官”（视觉 - 语言模型，如 CLIP）。虽然翻译官知道“打开冰箱”和“打开抽屉”不一样，但他没看过足够多的视频，分不清细微的动作差别（比如是“推”还是“拉”），而且让他直接指挥图书管理员，效果往往不好。

2. 核心创意：给标签“做手术”

这篇论文提出了一种**“零样本编辑”（Zero-shot Editing）的方法。
核心思想是： 我们不需要重新培训整个管理员，只需要微调他手里的分类卡片（分类头）**。

作者发现，这位老管理员虽然标签粗，但他脑子里其实已经隐含了区分这些动作的“基因”。

• 比如，他虽然把“向左推”和“向右推”都叫“推”，但他脑子里其实已经知道“向左”和“向右”是两种不同的修饰语（Modifier）。

3. 具体做法：像搭积木一样拆分

论文提出了两个步骤，就像是在玩乐高积木：

第一步：提取“积木块”（Modifier Retrieval）

管理员脑子里其实藏着很多现成的“积木块”。

• 假设管理员已经学会了“把东西向左扔”和“把东西向右扔”。
• 作者通过数学方法，从管理员的脑子里把"向左"和"向右"这两个积木块（向量）提取出来。
• 现在，我们要拆分“打开”这个大类。我们只需要把提取出来的“向左”积木，拼接到“打开”这个主积木上，就得到了一个新的标签：“向左打开”。
• 神奇之处： 我们不需要看任何新视频，直接利用管理员脑子里已有的知识，就能创造出新的细分标签。

第二步：如果积木不够怎么办？（Modifier Alignment）

如果我们要拆分出一个管理员脑子里完全没有的“积木”（比如“打开” + “快速”），怎么办？

• 作者训练了一个小小的**“翻译器”**。这个翻译器能看懂文字描述（比如“快速”），然后直接把它翻译成管理员能听懂的“积木形状”（向量）。
• 这样，即使没有见过“快速打开”的视频，只要告诉管理员文字，他就能凭空造出这个新标签。

4. 进阶玩法：少样本微调（Low-Shot）

如果实在有一两个新视频（比如只有一张“快速打开”的照片），作者发现，用上面造好的新标签作为起点，再稍微看一眼这张照片进行微调，效果会好得惊人。

• 这就像给新标签先打个底稿，再稍微修饰一下，比从零开始画要快得多、准得多。

5. 结果：既快又好

作者在两个新的测试集（SSv2-Split 和 FineGym-Split）上做了实验：

• 效果： 他们的方法在细分动作上的准确率，远远超过了那些依赖庞大文本数据库的“翻译官”（VLM）。
• 副作用： 最重要的是，这种“手术”没有破坏管理员原本对其他动作的判断能力（比如他依然能准确识别“打开”这个大类，不会把“打开”误认成“关上”）。

总结

这篇论文就像给视频识别模型装了一个**“智能分类器插件”**。

• 以前： 想要更细的分类，必须推倒重来（重训）。
• 现在： 只需要从模型现有的知识里“借”一点积木，或者用文字“翻译”出新的积木，就能瞬间把一个大类拆分成无数个精细的小类。

一句话概括： 我们不需要重新教模型认识世界，只需要教它如何把脑子里已有的模糊概念，用更精细的标签重新排列组合。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《LET'S SPLIT UP: ZERO-SHOT CLASSIFIER EDITS FOR FINE-GRAINED VIDEO UNDERSTANDING》（让我们分开：用于细粒度视频理解的零样本分类器编辑）。

以下是该论文的详细技术总结：

1. 问题定义 (Problem Definition)

• 背景与挑战：现有的视频识别模型通常基于固定的分类体系（Taxonomy）进行训练。这些分类体系往往过于粗糙，将物体、方式或结果上的细微差别合并为一个标签（例如，"打开"这一标签可能掩盖了“打开橱柜”、“推开门打开”、“快速打开”或“打开一半”等细微区别）。
• 现有方法的局限：
  • 重新训练：收集新数据并重新训练模型成本高昂且耗时。
  • 视觉 - 语言模型 (VLM)：虽然可以通过文本提示在测试时添加新类别，但它们依赖大规模的视频 - 文本语料库，且在特定领域或捕捉细粒度的时间线索（temporal cues）方面表现不佳。
  • 持续学习：通常针对全新类别，而非对现有类别进行细分，且往往需要新类别的训练数据。
• 核心任务：类别拆分 (Category Splitting)：
  • 定义：编辑一个现有的分类器，将一个粗粒度类别 (Coarse Category) 细分为多个细粒度子类别 (Fine-grained Subcategories)，同时保持模型对其他所有未修改类别的预测准确性（即保持“局部性”）。
  • 目标：在极少或零样本（Zero-shot/Low-shot）的情况下，高效地实现模型适应。

2. 方法论 (Methodology)

论文提出了一种基于零样本编辑 (Zero-shot Editing) 的方法，核心思想是利用现代视频骨干网络（Backbone）中隐含的组合结构 (Compositional Structure)。

核心洞察

视频分类器的潜在特征空间中已经编码了丰富的组合信息。细粒度概念可以被视为“基础概念 + 修饰语 (Modifier)"。例如，"推东西使其旋转" = "推" (基础) + "使其旋转" (修饰语)。如果模型已经学会了区分其他动作中的类似修饰语（如“扔东西使其旋转”），那么这些修饰语的向量表示可以被提取并迁移。

具体步骤

A. 零样本编辑：修饰语检索 (Modifier Retrieval)

1. 构建修饰语字典：
   • 从现有分类器的标签空间中，找出共享同一基础概念但具有不同细粒度变体的类别组（例如：{推使其旋转，推使其倒下，推使其微动}）。
   • 计算这些细粒度类别的权重向量均值作为“伪粗粒度类别”的权重 ($v_{\tilde{c}}$)。
   • 通过减法提取修饰语向量：$v_m = w_y - v_{\tilde{c}}$。
   • 将这些向量与对应的文本描述存储在字典 $M_{mod}$ 中。
2. 迁移与编辑：
   • 当需要拆分一个新的粗类别 $c$ 时，根据目标子类别的文本描述，在字典中检索最匹配的修饰语向量 $v^*_m$。
   • 为了处理不同基础概念下修饰语视觉效果的差异，检索时同时考虑修饰语文本和基础类别文本的相似度。
   • 更新分类头：将粗类别的权重 $w_c$ 替换为 $k$ 个子类别的权重：$w_{sc_j} = w_c + v^*_m$。
   • 此过程仅修改分类头，骨干网络保持不变，无需任何视频数据。

B. 零样本编辑：修饰语对齐 (Modifier Alignment)

• 目的：解决字典中不存在的新修饰语（Unseen Modifiers）问题。
• 方法：训练一个轻量级的对齐模块 $g_\psi$（MLP），将文本嵌入映射到分类器的权重空间。
• 监督信号：利用上述构建的修饰语字典（修饰语文本 $\to$ 修饰语向量）以及现有类别的文本 $\to$ 权重向量对进行训练。
• 推理：对于未见过的修饰语文本，直接通过 $g_\psi$ 生成对应的权重向量，从而合成新的子类别权重。

C. 少样本微调 (Low-shot Fine-tuning)

• 当有少量标注数据（如每个子类别 1 个视频）时，仅对扩展后的分类头进行微调，冻结骨干网络和其他类别的权重，以防止灾难性遗忘。
• 混合策略：使用零样本方法（检索或对齐）初始化新的子类别权重，再进行微调，效果显著优于随机初始化或仅基于粗类别初始化。

3. 数据集与基准 (Datasets & Benchmarks)

由于缺乏现成的基准，作者构建了两个新的数据集：

1. SSv2-Split：基于 Something-Something V2，包含 54 个粗类别，细分为 2-19 个子类别。侧重于日常动作中的空间关系、状态变化和物体交互。
2. FineGym-Split：基于 FineGym288，包含 42 个粗类别。侧重于体操动作中的身体姿态、运动模式和重复次数。

• 评估指标：
  • 通用性 (Generality)：在新拆分出的细粒度子类别上的准确率。
  • 局部性 (Locality)：在非目标类别（未修改的类别）上保持原有性能的能力（理想值为 1.0，表示无负面影响）。

4. 实验结果 (Results)

• 对比基线：与多种视觉 - 语言模型 (VLMs) 如 CLIP, VideoCLIP-XL, VideoPrism 等进行对比。
  • 结果：VLMs 虽然局部性完美（因为是外部模块），但在通用性上表现较差（例如在 SSv2-Split 上仅约 27-30%）。
  • 本文方法：在 SSv2-Split 上通用性达到 46.3%，在 FineGym-Split 上达到 34.2%，且局部性保持在 98% 以上。这表明利用分类器内部的潜在结构比依赖外部 VLM 更有效。
• 消融实验：
  • 零样本组件：修饰语检索和对齐显著提升了通用性。
  • 少样本策略：仅微调扩展头（Isolated Finetuning）比全量微调更能保持局部性；使用零样本初始化能进一步提升少样本性能。
  • 骨干网络：视频专用预训练模型（如 MVD, SIGMA）优于纯图像 - 文本模型（CLIP），但即使是从头训练的模型，该方法依然有效。
• 定性分析：
  • 方法在基于方向、空间位置和状态变化的拆分上表现最好。
  • 在涉及物体数量、动作成功与否或复杂物体交互时表现稍弱。
  • 即使没有现成的类比（Analogies），方法依然有效，证明了其泛化能力。

5. 主要贡献 (Key Contributions)

1. 定义了新任务：提出了“类别拆分 (Category Splitting)"任务，旨在解决视频理解中分类体系僵化和细粒度区分困难的问题。
2. 提出了零样本编辑方法：利用分类器权重的组合结构，通过修饰语检索和修饰语对齐，在不重新训练骨干网络、无需额外数据的情况下，将粗类别动态拆分为细粒度子类别。
3. 验证了少样本有效性：证明了在极少数据（如 1-shot）下，结合零样本初始化的微调策略能显著提升性能，同时避免灾难性遗忘。
4. 构建了基准：发布了 SSv2-Split 和 FineGym-Split 两个基准数据集及相应的评估指标。
5. 实证发现：证明了纯视频分类器内部蕴含了丰富的组合知识，利用这些知识进行编辑比依赖大规模视频 - 文本预训练模型更有效。

6. 意义与影响 (Significance)

• 资源效率：提供了一种低成本、高效率的模型更新方案，无需收集大量标注数据即可适应新的细分场景。
• 模型可编辑性：推动了视频模型编辑（Model Editing）领域的发展，展示了如何在不破坏原有知识的前提下扩展模型能力。
• 细粒度理解：为视频理解中的细粒度动作识别提供了新的思路，即通过解耦“基础动作”和“修饰语”来构建更灵活、更细粒度的分类体系。
• 未来方向：该方法不仅适用于视频，其关于组合结构和模型编辑的思路也可扩展至图像、音频及多模态领域，甚至支持增量式的持续学习。

总结来说，这篇论文通过挖掘视频分类器内部的“组合性”潜力，提出了一种巧妙的“编辑”而非“重训”的方法，成功实现了视频分类器在零样本或少样本条件下的细粒度升级，显著优于当前的视觉 - 语言基线模型。