Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLM）通过思维链（Chain-of-Thought, CoT）在文本推理任务中取得了显著进展，但将其扩展到视频理解（Video Understanding）领域仍面临巨大挑战。现有的视频多模态大模型（Video LLMs）在推理过程中存在以下主要局限性：

• 缺乏时间对齐的推理：现有的 CoT 方法通常生成通用的文本推理，未能明确将推理步骤与视频中的具体帧（Frames）或时间段进行对齐。这导致模型容易产生“时间幻觉”（Temporal Hallucinations），即推理逻辑与视频实际发生的时间顺序不符。
• 复杂的推理流程：许多现有方法依赖多阶段管道（Multi-stage pipelines），需要辅助网络来提取关键帧、生成场景图或进行帧选择。这不仅增加了计算开销，还破坏了端到端的推理流程，导致推理过程不透明且难以泛化。
• 数据获取成本高：训练高质量的视频推理数据通常需要昂贵的人工标注或复杂的 LLM 迭代修正过程，且难以大规模扩展。
• 上下文丢失：为了减少计算量，多阶段方法往往只将部分关键帧输入模型，导致模型丢失了视频的全局时间上下文信息。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Chain-of-Frames (CoF)，一种针对视频大模型的单阶段、帧感知的推理方法。

核心思想

CoF 将 NLP 中的思维链范式自然地扩展到视频领域。模型在生成最终答案之前，会生成一段包含显式帧引用（Explicit Frame References）的推理文本（例如：“在第 7 帧中，文字显示……"）。

关键组件

1. CoF 推理结构：

   • 推理过程以自然语言书写，但强制要求引用具体的帧 ID（如 "Frame 5", "Frame 12"）。
   • 这种表示法与视频时长和采样频率无关（使用帧索引而非时间戳），具有更好的鲁棒性。
   • 推理过程是单阶段的：模型直接输入视频帧序列和提示词，一次性输出包含帧引用的推理和答案，无需辅助模块。

2. COF-DATA 数据集构建：
   为了训练 CoF 模型，作者构建了包含 16.4 万样本的大规模数据集 COF-DATA，包含真实视频和合成视频两部分：

   • 真实视频部分 (COF-DATA_real)：基于 VideoEspresso 数据集。利用其已有的帧级描述（Captions），通过 LLM（Llama-3.1-8B）生成包含帧引用的问题、推理和答案三元组。
   • 合成视频部分 (COF-DATA_synth)：基于 CLEVRER 数据集。利用合成视频中物体精确的物理属性（位置、速度、碰撞等）和固定的模板，自动生成高质量的定量推理数据（如物体计数、出现顺序、相对距离）。
   • 优势：合成数据的引入极大地降低了数据生成成本，且提供了极高精度的时间对齐信息。

3. 模型微调：

   • 在 InternVL2.5-4B、InternVL3-8B 和 Phi-3.5-Vision 等开源视频 LLM 上，使用 COF-DATA 进行监督微调（SFT）。
   • 微调过程中，模型学习如何根据问题检索并引用相关的帧 ID 来支持其推理逻辑。

3. 主要贡献 (Key Contributions)

1. 提出了 Chain-of-Frames (CoF) 范式：
   这是首个将显式帧引用直接整合到单阶段推理文本中的视频理解方法。它消除了对复杂多阶段推理框架和辅助模块的依赖，显著提高了推理的可解释性和时间一致性。

2. 构建了大规模 CoF 数据集 (COF-DATA)：
   提出了一种高效的数据生成管道，结合了真实视频描述和合成视频模板。特别值得注意的是，研究发现仅使用合成数据（尽管与真实测试集分布不同）也能显著提升模型在真实基准测试中的表现，证明了合成数据在训练时间感知推理能力方面的有效性。

3. 实现了 SOTA 性能：
   在五个主流视频理解基准测试（VSI-Bench, Video-MME, MVBench, VidHal, EventHall）上，CoF 微调后的模型（CoF-InternVL）在参数量远小于许多闭源模型（如 GPT-4o, Gemini-1.5）的情况下，取得了最佳或次优的性能，特别是在需要精细时间推理的任务上。

4. 揭示了合成数据的价值：
   实验表明，合成数据不仅成本低廉，而且能帮助模型学习到通用的时间推理逻辑，并成功迁移到真实世界的视频理解任务中。

4. 实验结果 (Results)

• 基准测试表现：

  • CoF-InternVL3-8B 在 VSI-Bench（视觉空间推理）和 MVBench（多任务视频理解）上取得了所有模型中的最高分，超越了 GPT-4o 和 Gemini-1.5-Pro 等闭源模型。
  • 在 Video-MME 和 VidHal（幻觉检测）上，CoF 模型也取得了第二好的成绩。
  • 相比基线模型（未微调的 InternVL），CoF 模型在平均准确率上提升了 3.8% - 5.1%。

• 对比分析：

  • vs. 基线模型：CoF 方法显著优于仅使用标准提示（Standard Prompting）或仅使用思维链提示（CoT Prompting）的模型。
  • vs. 现有视频 CoT 方法：虽然无法直接对比未公开的多阶段方法，但在共享基准（如 NEXTQA）上，CoF 方法（单阶段）的表现优于依赖关键帧检索的多阶段方法（如 Video-of-Thought, M-LLM）。
  • vs. 合成数据：图 6 显示，仅在合成数据上训练的模型在大多数基准测试中表现优于仅在真实数据上训练的模型，且两者结合效果最佳。

• 推理行为分析：

  • 在推理阶段，CoF 模型能够根据任务类型动态调整引用的帧数量（图 7）。例如，在检测幻觉的任务中，模型会显著减少不必要的帧引用，而在需要时间定位的任务中则增加引用。

5. 意义与影响 (Significance)

• 简化了视频推理架构：CoF 证明了无需复杂的辅助网络或分阶段处理，仅通过改进提示结构和训练数据，即可实现强大的视频时间推理能力。这使得模型更轻量、更易于部署。
• 提升了可解释性：通过显式的帧引用，用户可以清楚地看到模型是基于视频的哪一部分做出判断的，极大地增强了模型决策的透明度和可信度。
• 数据效率的新视角：该研究挑战了“必须依赖大量真实标注数据”的传统观念，展示了精心设计的合成数据在训练复杂多模态推理任务中的巨大潜力。
• 未来方向：为视频大模型的时间理解提供了新的基准，未来的工作可以探索更大规模的数据、更复杂的视频场景以及动态帧率下的适应性。

总结：这篇论文通过引入“帧感知”的推理机制，成功解决了视频理解中时间对齐难、推理黑盒化的问题，以简单、统一且高效的方法显著提升了多模态大模型的视频理解能力，是视频推理领域的一项重要进展。