SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding

1. 研究背景与问题 (Problem)

视频时间定位 (Video Temporal Grounding, VTG) 旨在根据自然语言查询，在未剪辑的视频中定位特定的时间片段。虽然多模态大语言模型 (MLLMs) 在此任务上展现了潜力，但直接应用或简单微调存在以下核心问题：

• 细粒度时间理解不足：通用 MLLM 缺乏细粒度的时间感知能力，导致在零样本 (Zero-shot) 设置下表现不佳。
• 过拟合与捷径学习 (Shortcut Learning)：为了提升性能，通常需要对 MLLM 进行特定任务微调。然而，由于 VTG 数据集规模有限且存在偏差（如时间位置偏差、查询文本偏差、外观偏差），微调后的模型倾向于记忆数据集特有的捷径，而非真正理解视觉内容。
• 域外泛化能力差 (Poor OOD Generalization)：当模型在训练集（In-Domain, ID）上表现良好时，一旦面对分布外（Out-of-Domain, OOD）的视频数据，性能会急剧下降。实验表明，微调后的模型在 OOD 数据上甚至不再关注真实的视觉内容，而是依赖统计规律进行猜测。

2. 核心方法 (Methodology)

作者提出了 SlotVTG，这是一个参数高效 (Parameter-Efficient) 的框架，旨在将以对象为中心 (Object-Centric) 的表示学习引入预训练的 MLLM 中，以最小成本实现泛化能力的提升。

2.1 整体架构

SlotVTG 在 MLLM 的解码器早期层中插入一个轻量级的 Slot Adapter，并配合 Slot Alignment Loss 进行训练。

• 输入：视频帧被编码为视觉 Token，与时间 Token 和文本查询 Token 交错排列输入 LLM。
• 处理流程：
  1. Slot Adapter 插入：位于解码器的早期层（如第 1-7 层），负责处理视觉 Token。文本 Token 绕过该适配器。
  2. Slot Adapter 内部机制：
     • 下投影 (Down Projection)：将高维视觉 Token 投影到低维瓶颈空间。
     • Slot Attention：利用一组可学习的 "Slot" 查询，通过迭代竞争机制（Iterative Competitive Attention）将视觉 Token 分解为离散的、抽象的实体级表示（Slots）。这迫使模型将场景分解为语义实体（如人、物体、背景）。
     • Token 重建 (Token Reconstruction)：通过交叉注意力机制 (Cross-Attention)，利用原始 Token 作为 Query 从最终的 Slots 中检索信息，重建原始序列长度，以便后续层处理。
     • 残差连接：重建后的 Token 与原始 Token 相加，初始化为零，确保训练稳定性。
  3. 后续处理：重建后的 Token 进入深层解码器，配合 LoRA (Low-Rank Adaptation) 进行时间推理和答案生成。

2.2 Slot Alignment (SA) Loss

为了防止 Slots 形成任意聚类，作者引入了基于自监督视觉先验的约束：

• 原理：利用预训练的 DINOv2 模型提取的“对象性先验 (Objectness Priors)"。
• 计算：计算 Slot Attention 权重导出的 Token 对相似度矩阵，并与 DINOv2 特征导出的 Token 对相似度矩阵进行对齐。
• 目的：鼓励语义上连贯的 Token 被分配到同一个 Slot 中，确保分解出的实体具有语义一致性。

2.3 训练目标

总损失函数由两部分组成：
$$L_{total} = L_{CE} + \lambda L_{SA}$$
其中 $L_{CE}$ 是标准的自回归交叉熵损失，$L_{SA}$ 是 Slot 对齐损失，$\lambda$ 控制先验强度。

3. 主要贡献 (Key Contributions)

1. 问题诊断：通过实证分析揭示了微调后的 MLLM 在 OOD 设置下失效的根本原因——模型不再关注视觉内容，而是过度依赖数据集特定的捷径。
2. SlotVTG 框架：提出了一种参数高效的解决方案。无需从头训练整个视觉 - 语言对齐流程，仅需在现有微调模型上添加轻量级 Slot Adapter 和 SA Loss。
3. 显著的性能提升：
   • 在保持 ID 性能竞争力的同时，显著提升了 OOD 鲁棒性。
   • 证明了以对象为中心的分解能有效缩小源域和目标域之间的分布差距 (Domain Gap)。

4. 实验结果 (Results)

实验在 Charades-STA (Cha.)、QVHighlights (QVH.) 和 ActivityNet Captions (ANet) 等标准基准上进行，采用交叉域评估（例如在 Cha. 上训练，在 QVH. 或 ANet 上测试）。

• OOD 泛化能力：
  • 在 Cha. $\to$ ANet 设置下，SlotVTG (3B) 相比基线 Chrono-Qwen (3B) 的 R1@0.5 提升了 2.4%，且 ID 性能未受损。
  • 在 Cha. $\to$ QVH 设置下，R1@0.5 提升了 4.3%。
  • 即使是 3B 参数的 SlotVTG，在 OOD 设置下的表现也超过了部分 7B 参数的零样本模型。
• 消融实验：
  • Slot Adapter：相比仅使用 LoRA 或普通 Self-Attention Adapter，Slot Attention 机制对提升 OOD 性能至关重要。
  • SA Loss：移除 SA Loss 会导致 OOD 性能下降（R1@0.5 从 28.7 降至 28.0），证明对象性先验的引导作用。
  • 插入层位置：将 Adapter 插入早期层（1-7）效果最好，符合早期层处理跨帧交互的假设。
• 可视化分析：可视化显示，Slots 能够成功将视频分解为语义连贯的区域（如人、物体、背景），且这种分解能力在不同域（ID 和 OOD）之间具有良好的泛化性。

5. 意义与总结 (Significance)

• 解决根本矛盾：SlotVTG 解决了 MLLM 在 VTG 任务中“微调导致过拟合”与“零样本理解力不足”之间的矛盾。它通过强制模型关注实体级 (Entity-level) 的视觉内容，而非数据集的统计偏差，实现了真正的跨域泛化。
• 高效性：该方法仅需微调极少量的参数（3B 模型仅增加约 0.25% 的可训练参数），无需重新训练庞大的视觉编码器或整个 MLLM，具有极高的实用价值。
• 通用性：该方法不仅适用于 VTG，其“以对象为中心分解视觉表示以增强泛化”的思路，为其他视频理解任务中的域适应问题提供了新的解决范式。

总结：SlotVTG 通过引入轻量级的 Slot Adapter 和对象性先验约束，成功引导 MLLM 从“记忆捷径”转向“理解视觉实体”，显著提升了视频时间定位任务在未知域上的鲁棒性和泛化能力。