技术摘要：VISCOP（视觉上下文探测）用于视频领域自适应

1. 问题陈述

大型视觉语言模型（VLMs）在通用视觉推理任务中表现出强大的性能，但在部署到具有显著分布偏移（例如视角变化、感知模态或任务结构变化）的新领域时，性能会大幅下降。目前的领域自适应策略面临着一个关键的权衡：

• 冻结视觉编码器并仅更新轻量级连接器可以保留预训练知识，但限制了模型学习领域特定视觉特征的能力。
• 全量或部分微调视觉编码器可以实现专门的视觉理解，但往往会导致预训练所获得的广泛能力的灾难性遗忘。

此外，现有方法通常依赖于冻结的视觉编码器的最后一层表示，丢弃了编码多层级视觉结构的中间层特征。本文指出，抽象的最后一层表示对于显著的视觉领域偏移是不够的，并提出了一个问题：如何在不引起灾难性遗忘的情况下，让 VLM 利用冻结编码器深度中的领域特定信号？

2. 方法论：VISCOP

作者提出了 VISCOP（视觉上下文探测），这是一种轻量级的自适应机制，旨在使 VLM 实现领域专业化，同时保留通用知识。

核心架构

VISCOP 通过一组紧凑的可学习视觉探测器（$P \in \mathbb{R}^{M \times d_v}$）和一个交互模块来增强冻结的视觉编码器。与重新解释固定特征或在最后一层进行压缩的方法不同，VISCOP 创建了一个平行的参数化路径：

1. 逐层探测： 该方法从冻结视觉编码器的中间层（$\ell = 1, \dots, L$）提取领域相关的信号。
2. 交互模块 ($\Phi^\ell$)： 在每一层，一个可学习的交互模块通过视觉-探测器交叉注意力将探测器与层级视觉表示（$X^\ell$）进行条件化处理。
   • 探测器的更新方式为：$P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$。
   • 这使得探测器能够关注视频中的所有帧，学习特定于目标领域的复杂时空关系，即使在基础编码器被冻结的情况下也是如此。
3. 投影至 LLM： 在最后一层之后，更新后的探测器（$P^L$）通过专门的连接器（$C_{probe}$）投影到语言嵌入空间。
4. 训练目标： VLM 使用标准的自回归下一标记预测损失进行训练，该损失以原始视觉嵌入（$E$）和探测器嵌入（$Z$）为条件。

训练策略

• 冻结组件： 预训练的视觉编码器参数保持冻结。
• 可训练组件： 仅更新视觉探测器、交互模块、视觉-语言连接器以及（可选的）LLM 中的 LoRA 参数。
• 机制： 通过将更新限制在低秩的、由探测器定义的视觉子空间内，VISCOP 使学习偏向于领域相关的结构，同时避免了由于直接梯度流经视觉编码器而导致的“崩溃”（灾难性遗忘）。

3. 核心贡献

1. 新型自适应策略： 引入了 VISCOP，它通过对冻结编码器的逐层探测来学习领域特定的视觉表示，从而实现有效的迁移而不破坏预训练的表示。
2. 全面评估： 建立了一个涵盖三个具有挑战性的自适应场景的严格评估设置：
   • 跨视角： 外视角 $\to$ 第一视角（Exocentric $\to$ Egocentric）。
   • 跨模态： RGB $\to$ 深度图（RGB $\to$ Depth）。
   • 跨任务： 人类理解 $\to$ 机器人控制（Human understanding $\to$ Robot control）。
3. 经验优越性： 证明了 VISCOP 在目标领域性能方面持续优于现有策略（包括全量微调和部分微调），同时保留了卓越的源领域能力。

4. 实验结果

作者在三个领域中将 VISCOP 与基线模型（Base VLM、全量微调、部分微调、Q-Former 风格、Prompt Tuning）进行了对比评估：

• 第一视角视频理解（外视角 $\to$ 第一视角）：

  • VISCOP 在目标领域取得了最高的提升（$\Delta_{target} = +3.53$），同时在源领域保留能力上也实现了提升（$\Delta_{source} = +1.77$）。
  • 相比之下，全量微调虽然略微提升了目标领域性能（$\Delta_{target} = +0.57$），但导致了源领域能力的下降（$\Delta_{source} = -0.50$）。

• 深度视频理解（RGB $\to$ 深度图）：

  • RGB 与深度图之间的视觉差异导致标准微调方法出现了严重的遗忘（$\Delta_{source} = -3.87$）。
  • VISCOP 实现了最大的目标领域收益（$\Delta_{target} = +19.27$），同时保持了源领域性能（$\Delta_{source} = +1.84$）。

• 机器人控制（人类理解 $\to$ 机器人控制）：

  • 由于存在极大的领域差距（视觉和语言空间），Base VLM 的准确率为 0%。
  • 与其他遭受显著遗忘的专家模型（$\Delta_{source} \approx -8.87$）相比，VISCOP 实现了最佳的目标性能（$\Delta_{target} = +67.82$），并保留了最多的源知识（$\Delta_{source} = -4.58$）。

• 泛化性： VISCOP 还通过音频理解（频谱图输入）进行了测试，显示出与基线模型相当的目标性能，但显著减少了源领域遗忘，表明该方法并不局限于视觉偏移。

效率

VISCOP 仅引入了极小的计算开销（参数量增加 2%，显存增加约 3.4GB），并且值得注意的是，由于更集中的标记生成，其推理延迟低于基础 VLM。

5. 重要性与主张

本文声称 VISCOP 解决了 VLM 领域自适应中的根本权衡问题：即无法在学习新视觉特征的同时擦除预训练知识。通过充当一个“交通警察”，将梯度流从冻结的编码器引导至另一条路径，VISCOP 实现了：

• 有效的领域迁移： 学习预训练表示中不存在的领域特定线索（例如，第一视角的运动、深度结构、机器人操作）。
• 保留通用能力： 维持在源领域上的能力，这对于需要处理多样化输入的实际应用场景至关重要。
• 利用中间层特征： 证明了冻结编码器的中间层包含有价值的、领域特定的信号，如果仅使用最终层表示，这些信号将会丢失。

作者得出结论，认为 VISCOP 提供了一种简单且有效的方法，用于处理具有显著视觉差距的视频领域自适应，且无需修改预训练的视觉编码器参数，而这是现有方法所无法实现的。