INST-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning

这是一篇关于提升大型多模态模型（LMMs）在**实例级理解（Instance-level Understanding）**能力的学术论文《Inst-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning》的详细技术总结。

1. 研究背景与问题 (Problem)

尽管大型多模态模型（LMMs）在指令微调（Instruction Tuning）的推动下取得了显著进展，能够理解图像和视频的整体内容，但在实例级理解方面仍存在明显短板。

• 核心痛点：现有模型难以捕捉用户查询中指定的具体实例（如“穿红衣服的人”、“那辆车”）的细粒度属性、空间关系以及时空动态变化。
• 现有局限：
  • 现有的多模态数据集和基准测试主要关注图像或视频的全局理解，缺乏针对单个实例的细粒度标注。
  • 现有的实例理解研究多局限于图像领域，视频领域的实例理解（涉及空间 + 时间动态）探索不足。
  • 缺乏专门针对实例级理解的指令微调数据集和评估基准。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Inst-IT 框架，包含三个核心组成部分：

A. 实例为中心的自动标注流水线 (Instance-centric Annotation Pipeline)

为了构建高质量的实例级数据，作者设计了一个自动化流程，利用 GPT-4o 生成细粒度标注：

• 显式视觉提示 (Explicit Visual Prompts)：采用 Set-of-Marks (SoM) 技术，在图像/视频的每个实例上叠加数字 ID 标记。这能有效引导 GPT-4o 聚焦于特定实例，减少幻觉和注意力分散。
• 多粒度标注：
  • 帧级标注：针对每一帧，生成实例级描述、整体图像描述以及帧间的时间动态差异描述。
  • 视频级摘要：聚合帧级信息，生成包含时空细节的视频整体描述。
  • 开放性问题回答 (Open-ended QA)：基于实例及其关系生成多样化的问答对。

B. Inst-IT 数据集 (Inst-IT Dataset)

基于上述流水线，构建了首个包含图像和视频的实例级指令微调数据集：

• 规模：包含 51k 张图像和 21k 个视频。
• 内容：总计 207k 帧级描述、135k 时间动态描述、21k 视频级描述以及 335k 开放性问题回答。
• 来源：整合了多个视频实例分割（如 BRUST, OVIS, YoutubeVIS）和物体跟踪数据集，以及 SA-1B 图像数据集。
• 特点：所有数据均带有 SoM 视觉提示，且标注严格基于单个实例。

C. 连续指令微调范式 (Continuous Instruction Tuning Recipe)

提出了一种有效的训练策略，将实例级数据与通用指令数据相结合：

• 架构：基于 LLaVA-NeXT 架构。
• 训练策略：
  • 将 Inst-IT 数据集与开源的 LLaVA-NeXT-DATA 混合进行连续监督微调（Continuous SFT）。
  • 冻结策略：在微调阶段冻结视觉编码器的前 12 层，以防止视觉提示引入的分布偏移破坏模型原有的底层特征表示。
  • 输入处理：将细粒度标注转换为指令微调格式（如多轮对话），强调模型对实例的时空理解。

D. Inst-IT 基准测试 (Inst-IT Bench)

构建了专门用于诊断 LMMs 实例级理解能力的基准：

• 构成：包含 338 张图像和 206 个视频的 2000 个问答对（开放式和多项选择题）。
• 特点：经过人工严格验证，专注于实例属性、关系及时间变化，填补了视频实例理解基准的空白。

3. 主要贡献 (Key Contributions)

1. Inst-IT 数据集：构建了首个同时涵盖图像和视频、带有显式实例级视觉提示和细粒度标注的指令微调数据集。
2. Inst-IT Bench：提出了首个经过人工验证的、专门评估 LMMs 在图像和视频上实例级理解能力的基准测试。
3. 训练范式：提出了一种连续指令微调方法，利用实例级数据显著增强了模型的实例理解能力，同时提升了通用图像和视频理解能力。

4. 实验结果 (Results)

实验在多个基准测试中进行了广泛评估：

• Inst-IT Bench 表现：
  • 在 Inst-IT Bench 上，经过 Inst-IT 微调的模型（如 LLaVA-NeXT-Inst-IT）相比基线模型（LLaVA-NeXT）平均得分提升了近 20%。
  • 在多项选择题（MC）和开放式问答（OE）任务上均取得了 SOTA 或极具竞争力的成绩。
• 通用基准表现 (General Benchmarks)：
  • 图像任务：在 AI2D（图表理解）和 ChartQA 上分别提升了 4.4% 和 13.5%。
  • 视频任务：在 Egoschema 和 NExT-QA 上分别提升了 7.8% 和 11.8%。
  • 这表明增强实例理解能力不仅没有损害通用能力，反而通过细粒度对齐强化了整体理解。
• 零样本泛化能力：
  • 在 ViP-Bench 和 RefCOCOg 等外部实例理解基准上，模型展现了强大的零样本泛化能力，甚至超越了专门在同类数据上微调的模型（如 ViP-LLaVA）。

5. 意义与影响 (Significance)

• 填补空白：解决了 LMMs 在视频和图像中“实例级理解”这一长期被忽视的难题，特别是视频中的时空实例动态。
• 方法论创新：证明了通过显式视觉提示（SoM）结合高质量实例级指令数据，可以有效引导大模型关注细粒度细节，而非仅停留在整体语义。
• 通用性提升：打破了“专用数据会损害通用能力”的迷思，展示了实例级理解能力的提升能反哺通用的时空理解任务。
• 应用前景：为需要精细操作（如机器人视觉、视频内容检索、医疗影像分析）的多模态应用提供了更强的基础模型支持。

总结：Inst-IT 通过构建高质量的数据集、基准和训练范式，成功地将 LMMs 从“整体理解”推向了“细粒度实例理解”的新高度，且这种提升具有显著的通用性和泛化性。