💻 computer science

InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

本文提出了实例感知预训练框架 InstAP 及其配套的大规模双粒度数据集 InstVL，通过联合优化全局与细粒度实例级对比对齐，显著提升了视觉语言模型在时空理解中的实例推理能力，同时增强了其零-shot 全局理解性能。

原作者： Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ashutosh Kumar, Rajat Saini, Jingjing Pan, Mustafa Erdogan, Mingfang Zhang, Betty Le Dem, Norimasa Kobori, Quan Kong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 InstAP 的新系统，以及一个名为 InstVL 的超大数据集。简单来说，它的目标是教会人工智能（AI）像人类一样，不仅能“看懂”整个视频的大概内容，还能精准地“认出”视频里具体的某个人、某只狗或某个物体，并知道它们在什么时候、哪里出现了。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项技术：

1. 以前的 AI 像“模糊的广角镜头”

在 InstAP 出现之前，大多数视频理解 AI 就像是一个拿着广角镜头的摄影师。

它能看到什么？ 它能告诉你：“这是一条街道，有人在走路，还有一辆车开过去了。”
它的弱点是什么？ 如果问你：“那个穿红衣服的小孩把球扔给了哪只狗？”这个 AI 可能会晕头转向。因为它只关注“整体画面”，分不清画面里具体的“张三”和“李四”。它把所有东西混在一起，就像把一锅汤搅匀了，你尝不出哪块是肉，哪块是菜。

2. InstAP 像“拿着放大镜的侦探”

InstAP 给 AI 装上了一副超级侦探的眼镜。

它是怎么做的？ 它不再只盯着整个视频看，而是学会了把注意力集中在具体的个体上。
核心能力： 当它看到字幕说“一只金毛犬在追球”时，它不仅能理解这句话，还能在视频里精准地框出那只金毛犬，并追踪它从第 1 秒跑到第 5 秒的轨迹。它能把文字里的每一个词（如“金毛”、“球”）和画面里的具体物体一一对应起来。

3. 关键创新：InstVL 数据集（一本“双重标注”的百科全书）

为了训练这个侦探，作者们制作了一个巨大的新教材，叫 InstVL。

以前的教材： 只有一行字，比如“一个孩子在公园玩”。（这是全局描述）
InstVL 教材： 既有“一个孩子在公园玩”的大概描述，还有密密麻麻的脚注。
- 脚注 1：“那个穿蓝衬衫的孩子（ID:0）正在跑。”
- 脚注 2：“那个红色的球（ID:1）在空中飞。”
- 脚注 3：“那只棕色的狗（ID:2）在追球。”
比喻： 就像以前学画画只让你临摹整幅画，现在 InstVL 要求你不仅要画整幅画，还要给画里的每一棵树、每一只鸟都贴上标签，并描述它们的具体动作。

4. 训练方法：如何把“侦探”练成？

InstAP 的训练过程分为两步走，就像培养一个实习生：

第一步：自学成才（自我监督）
让 AI 先看大量的视频，把视频里的某些部分“遮住”（比如把画面涂黑），然后让它根据剩下的部分猜被遮住的是什么。这就像玩“大家来找茬”或“看图说话”的游戏，强迫 AI 去理解画面中物体之间的空间和时间关系。
第二步：师徒结对（实例对齐）
这是最关键的一步。系统会同时给 AI 看视频和文字，并问它：“文字里说的‘红球’，在视频里对应的是哪一块？”
- 以前的做法： 只要视频和文字大概意思对得上就行（比如视频里有球，文字里也有球，就算对）。
- InstAP 的做法： 必须精准匹配。如果文字说“红球”，AI 必须把注意力死死锁定在那个红色的球上，而不能是旁边的蓝球，也不能是背景里的树。如果匹配错了，就要受到“惩罚”（损失函数）。

5. 结果：不仅更聪明，而且更全能

实验结果显示，InstAP 非常厉害：

找东西更准： 在“根据文字找视频片段”的任务中，它比以前的最强模型强了很多。
不仅没变笨，反而更聪明了： 这是一个反直觉的发现。通常人们认为，让 AI 关注细节（微观）可能会让它忽略整体（宏观）。但 InstAP 发现，当你教会 AI 精准识别每一个小物体时，它对整个场景的理解反而更深刻了。
- 比喻： 就像你如果认识了一个城市里的每一条街道和每一栋楼（微观），你对这个城市的整体印象（宏观）反而比只看过一张地图的人更清晰、更准确。

总结

这篇论文的核心思想就是：不要只让 AI 看“面”，要让它看清“点”和“线”。

通过 InstAP 和 InstVL，我们让 AI 从只会看“热闹”（整体场景），进化到了能看懂“门道”（具体物体的时空关系）。这对于未来的自动驾驶（识别具体的行人和车辆）、视频搜索（搜索“那个穿红裙子的女孩”）、以及机器人辅助（“把那个红色的杯子拿给我”）都有着巨大的意义。

InstAP：面向时空理解的实例感知视觉 - 语言预训练技术总结

1. 研究背景与问题 (Problem)

现有的视觉 - 语言预训练（VLP）范式（如 CLIP 及其视频扩展）虽然在全局场景理解方面表现出色，但在实例级推理（Instance-level Reasoning）上存在显著缺陷。

核心痛点：现有模型主要依赖全局监督（Global-only supervision），导致模型难以将文本中的具体提及（如“红色的球”或“跳起的狗”）定位到视频或图像中的特定空间 - 时间区域。
现有局限：
- 大多数大规模视频 - 文本数据集仅提供高层描述，缺乏细粒度的实例标注。
- 现有的解决方案通常采用“事后嫁接”策略（Post-hoc grafting），即利用预训练的目标检测器或辅助头来提取实例特征。这种方法不仅依赖检测器的质量，且未能将实例感知能力内化为核心表征学习的一部分，导致实例与文本的对齐不够精确。
挑战：如何在大规模视频预训练中，直接学习同时包含全局上下文和丰富实例信息的统一表征，并解决实例级文本与视觉区域的细粒度对齐问题。

2. 方法论 (Methodology)

论文提出了 InstAP（Instance-Aware Pre-training），一个实例感知的预训练框架，并配套构建了大规模数据集 InstVL。

2.1 数据集：InstVL

规模：包含 200 万张图像和 50,000 个视频片段。
双重粒度标注（Dual-Granularity Annotations）：
1. 全局场景描述（Global Captions）：描述整个场景的宏观内容。
2. 实例轨迹描述（Trajectory Instance Captions）：针对特定的视觉实体（图像中的 2D 框或视频中的时空轨迹），提供密集的、 grounded 的细粒度描述（包括外观、属性、动作）。
构建流程：利用 AutoShot 进行场景分割，使用 GroundingDINO 进行开放词汇检测，SAM2 进行实例跟踪，最后通过大语言模型（LMM）生成自由形式的实例描述。

2.2 模型架构与训练目标

InstAP 采用**教师 - 学生（Teacher-Student）**框架，分为两个主要阶段：

阶段一：自监督掩码视频建模 (Self-Supervised Masked Video Modeling)

目标：构建强大的时空编码器。
机制：
- 使用冻结的 CLIP-ViT 作为教师网络，生成全上下文特征。
- 学生网络仅接收部分可见的 Token（通过注意力引导的掩码策略，保留高信息量 Token）。
- 损失函数：通过回归任务让学生网络重构教师网络的全上下文特征，而非像素级重建。这提高了训练效率并增强了时空表征能力。

阶段二：实例感知的全局 - 局部时空对齐 (Instance-Aware Global-Local Alignment)

这是 InstAP 的核心创新，通过联合优化全局和实例级目标：

全局对齐损失 (Global Alignment)：
- 标准的视频 - 文本对比学习（VTC）、匹配（VTM）和掩码语言建模（MLM）。
实例级对齐损失 (Instance-Aware Alignment)：
- 特征融合：通过**全局 - 局部交叉注意力（Global-Local Cross Attention）**机制，将实例裁剪（Crop）的特征与全局场景特征融合，注入全局上下文。
- 对比学习策略：
  - 将实例特征与对应的实例文本进行正样本对齐。
  - 关键创新：在处理同一视频/图像内的多个实例时，**屏蔽（Mask）**非匹配实例的文本作为负样本（即防止将同一视频中的其他物体误判为负样本），从而强制模型学习细粒度的区分能力。
- 损失函数：包含实例级的 VTC、VTM 和 MLM 损失。
总损失函数： $L = L_{rec} + L_{global} + L_{inst}$ ，通过加权系数平衡各部分。

3. 主要贡献 (Key Contributions)

InstVL 数据集：首个大规模、通用领域的视频 - 语言数据集，提供自由形式的句子级标注，涵盖静态区域和完整的时空轨迹，填补了细粒度实例标注的空白。
InstAP 框架：提出了一种将实例感知直接嵌入预训练核心的方法，而非作为辅助任务。通过全局 - 局部交叉注意力和特殊的负样本掩码策略，实现了文本提及与具体实例的精确对齐。
实证发现：
- 证明了实例级预训练不仅提升了细粒度检索能力，还反向增强了全局场景理解能力。
- 在相同数据语料库上，InstAP 显著优于仅使用全局标注或简单拼接实例标注的强基线模型（如 UMT-L），证明了架构创新的有效性。

4. 实验结果 (Results)

4.1 实例级检索性能 (Instance-Level Retrieval)

在 InstVL 基准测试中，InstAP 在所有图像和视频分割上均大幅超越现有 SOTA 模型：

InstVL-1K (Video) 实例检索：T2V R@1 达到 60.63%，远超之前的最佳结果（VideoPrism 为 40.86%）。
零样本泛化：在未见过的 img-zero 分割上表现优异，证明模型未过拟合训练数据分布。
对比基线：在相同数据上训练的 UMT-L (g+i) 模型（T2V R@1 34.83）远逊于 InstAP (44.05)，证实了性能提升源于实例感知对齐框架而非单纯的数据量增加。

4.2 全局零样本性能 (Zero-Shot Global Performance)

MSR-VTT：R@1 达到 41.1（SOTA）。
DiDeMo：R@1 达到 54.0（SOTA）。
关键发现：通常引入细粒度任务会损害全局性能，但 InstAP 通过实例级预训练反而提升了全局理解能力，表现出更强的鲁棒性。

4.3 视觉定位 (Visual Grounding)

在 InstVL-1K 视频分割的 IoU@90 指标上，InstAP 从基线的 14.44% 提升至 25.13%，证明了模型能够精确编码时空坐标。

4.4 消融实验

实例损失 ( $L_{inst}$ )：是细粒度理解的关键，移除后实例检索性能大幅下降（视频实例 R@1 从 75.32 降至 57.71）。
轨迹数据：引入 50K 视频轨迹数据对时空理解贡献最大。
注意力可视化：InstAP 能精准定位文本描述的区域（如车牌号），而全局基线模型注意力往往弥散或错位。

5. 意义与影响 (Significance)

范式转变：InstAP 证明了将实例感知作为预训练的核心目标，而非事后附加任务，是解决视频理解中细粒度对齐难题的有效途径。
双重提升：打破了“细粒度与全局理解互斥”的迷思，展示了实例级对齐如何促进更鲁棒的全局表征学习。
应用前景：该框架对于需要精确时空定位的下游任务（如自动驾驶场景理解、细粒度视频检索、基于内容的视频问答、机器人交互）具有重要的应用价值。
资源开源：InstVL 数据集为社区提供了稀缺的高质量时空实例标注资源，推动了相关领域的研究发展。

总结：InstAP 通过构建大规模双重粒度数据集和创新的实例感知对齐机制，成功解决了现有 VLP 模型在视频实例理解上的短板，实现了全局与局部理解的双重突破，为下一代视频 - 语言模型树立了新的标杆。