All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

1. 研究背景与问题 (Problem)

核心痛点：
训练用于视频理解的多模态大语言模型（MLLMs）需要大规模、多样化的标注数据（涵盖物体计数、视觉问答 VQA、分割等任务）。然而，现实世界数据的收集与标注存在以下严重瓶颈：

• 成本高昂且耗时： 视频数据需要帧级标注、物体跟踪和时序一致性标签，人工标注极其昂贵。
• 多样性与覆盖度受限： 真实数据集往往存在偏差，难以覆盖复杂的推理模式、空间 - 时间关系和长尾场景。
• 隐私与可用性限制： 涉及敏感信息（如医疗、个人数据）时，数据可用性受限。
• 现有合成数据的不足： 早期的合成数据方法（如 SMOTE）难以建模复杂依赖；现有的多模态模型仍主要依赖人工标注的图像 - 文本对或字幕，缺乏对复杂时空推理的深层监督。

目标：
构建一个统一的、可扩展的合成数据生成流水线，能够自动产生无限量的、具有丰富结构化监督信号的多模态视频数据，以替代或补充昂贵的人工标注数据。

---

2. 方法论 (Methodology)

作者提出了一种名为 "All-in-One" 的统一合成数据生成流水线。该流程从单张静态图像出发，通过级联的条件生成机制，逐步扩展出文本、视频、掩码（Mask）甚至音频。

2.1 核心流水线架构

该流程采用**级联条件生成（Sequential Conditioning）**策略，确保各模态间的语义一致性和结构连贯性：

1. 图像模态 (Input Image)：

   • 作为整个流程的锚点，提供具体的视觉细节（物体形状、颜色、布局）。
   • 在后续生成中作为参考，防止物体身份或场景结构发生不合理的改变。

2. 文本模态 (Text Generation)：

   • 工具： 使用大型语言模型（如 ChatGPT）。
   • 任务： 基于输入图像生成“未来 plausible 的标题（Future-plausible Caption）”。
   • 作用： 不仅描述当前画面，还推断潜在的未来事件或场景演变，为视频生成提供高层语义指导和时序意图。

3. 视频模态 (Video Generation)：

   • 工具： 使用 Wan 2.2（基于扩散 Transformer 的视频基础模型）。
   • 输入： 原始图像 + 生成的文本标题。
   • 机制： 利用图像保持视觉一致性，利用文本指导运动类型和事件进展。
   • 输出： 生成具有时序连贯性的动态视频序列，将静态帧转化为视觉故事。

4. 音频模态 (Audio Generation - 可选)：

   • 工具： 使用 VTA-LDM。
   • 输入： 生成的视频 + 文本标题。
   • 输出： 同步的音轨（如海浪声、人声），实现全音视频生成（论文中主要聚焦视觉模态）。

2.2 掩码生成 (Mask Generation)

为了支持视频分割任务，流水线集成了自动掩码生成模块：

• 初始掩码： 使用 SAM2 (Segment Anything Model 2) 从输入图像中提取高精度的物体分割掩码。
• 时序传播： 使用 MUG-VOS 将初始掩码传播到生成的视频帧中，确保物体在运动、遮挡和外观变化下的时序一致性。
• 结果： 生成带有帧级分割标签的视频序列，无需人工标注。

2.3 监督信号构建 (LLM-Guided Annotations)

利用 LLM 从生成的视频/图像中提取三种关键监督信号，构建结构化数据集：

1. 图像/视频标题 (Captions)： 描述场景和动作。
2. 物体计数 (Object Counting)： 自动统计图像/视频中各类物体的数量及总数。
3. 视觉问答 (VQA)： 基于图像和标题，生成“问题 - 答案”对。
   • 创新点： 不同于传统的指令微调或纯字幕训练，VQA 策略强制模型关注特定的视觉证据，进行计数、比较、时序推断和因果推理，从而增强**组合推理（Compositional Reasoning）**能力。

---

3. 关键贡献 (Key Contributions)

1. 统一的合成数据流水线：
   提出了一种从单张图像自动生成多模态数据（文本、视频、掩码、音频）的框架。该框架支持无限量的数据生成，显著降低了对真实世界数据的依赖。

2. 基于 VQA 的微调策略：
   摒弃了传统的基于指令或字幕的微调方式，提出利用**视觉问答（VQA）**作为核心监督信号。这种方法迫使模型进行深层的视觉定位和逻辑推理，显著提升了模型在复杂视频理解任务中的表现。

3. 全面的任务评估与实证：
   在三个具有挑战性的视频任务上进行了验证：

   • 视频物体计数 (Video Object Counting)
   • 基于视频的视觉问答 (Video-based VQA)
   • 视频物体分割 (Video Object Segmentation)
     实验证明，仅使用合成数据微调的模型在真实世界基准测试中表现优异，甚至超越了传统训练方法。

---

4. 实验结果 (Results)

实验基于 InternVideo2.5 作为基座模型，使用从 MSCOCO 数据集生成的约 5K 个合成视频进行微调。

• 视频物体计数 (Video Object Counting)：

  • 在 MS-COCO、LV-VIS 和 YouTube-VIS 数据集上，使用 VQA 监督微调的模型表现最佳。
  • 例如在 MS-COCO 上，VQA 微调将平均绝对误差 (MAE) 从基线的 5.46 降低至 3.18，均方误差 (MSE) 从 75.38 降低至 27.21。
  • 结果表明，合成数据能有效提升模型对物体数量的感知能力。

• 视频视觉问答 (Video-VQA)：

  • 在 MS-COCO 和 LV-VIS 上，VQA 微调显著提升了 CLIP-Score 和 WUP（单词理解精度）。
  • 在 MS-COCO 上，VQA 微调的 CLIP-Score 达到 90.23，远超基线 (87.37) 和仅使用字幕微调的模型 (85.32)。
  • 证明了 VQA 策略能有效增强模型的推理和语义对齐能力。

• 视频分割 (Segmentation)：

  • 使用合成视频微调 SAM 模型，在 MS-COCO 上的平均交并比 (mIoU) 提升了 +5.28%。
  • 数据规模效应： 将训练数据从 2K 增加到 5K，mIoU 进一步提升（从 0.4694 到 0.5239），证明了合成数据规模的可扩展性。
  • 尽管存在少量类别性能下降（归因于域偏移或跟踪误差），但整体趋势显著正向。

• 泛化能力：

  • 模型仅在合成数据上训练，但在真实世界数据集（如 LV-VIS, YouTube-VIS）上取得了竞争性甚至超越传统训练方法的结果，证明了合成数据能有效弥合“合成 - 真实”差距。

---

5. 意义与结论 (Significance & Conclusion)

• 成本效益与可扩展性： 该流水线提供了一种低成本、高效率的替代方案，能够以极低的边际成本生成大规模、多样化的训练数据，解决了多模态视频理解中数据标注的瓶颈。
• 提升推理能力： 通过引入 VQA 形式的结构化监督，模型不再仅仅学习表面描述，而是学会了深层的视觉 grounding 和逻辑推理（如计数、时序推断），这对于复杂的视频理解至关重要。
• 打破数据偏见： 合成数据可以精确控制物体配置、场景布局和推理复杂度，从而覆盖真实数据中稀缺的长尾场景和推理模式，提升模型的泛化性。
• 未来展望： 该框架展示了合成数据不仅是真实数据的补充，更是训练大规模多模态模型的关键组件。未来计划扩展至全音视频场景，进一步丰富多模态推理能力。

总结： 这篇论文提出了一种革命性的“全在一体”合成数据生成范式，通过自动化流水线生成高质量、多模态、带结构化监督的视频数据，并配合 VQA 微调策略，成功证明了合成数据在提升多模态视频理解模型性能方面的巨大潜力，为未来大规模视频 AI 模型的训练提供了新的范式。