GraphThinker: Reinforcing Video Reasoning with Event Graph Thinking

本文提出了 GraphThinker，一种基于强化微调的方法，通过构建显式的事件场景图作为中间推理过程并引入视觉注意力奖励，有效增强了视频中的因果理解与视觉定位，从而显著减少了视频推理中的幻觉现象。

要点

这篇论文介绍了一种名为 GraphThinker 的新方法，旨在让 AI 看视频时变得更聪明、更诚实，不再“瞎编乱造”。

我们可以把现在的 AI 看视频，想象成一个记性不太好、喜欢靠猜的“速记员”。

🎬 现状：AI 为什么会“瞎编”？

现在的多模态大模型（MLLMs）在看视频回答问题时，就像那个速记员：

• 它只看大概：它把视频当成一长串文字描述（比如“一个人飞无人机，然后跳进水里”），然后凭感觉猜事情发生的顺序。
• 容易幻觉：因为缺乏对视频里具体“事件”之间因果关系的清晰理解，它经常搞错时间顺序。
  • 例子：视频里其实是先“跳水”再“飞无人机”，但 AI 可能因为觉得“飞无人机”听起来更酷，就瞎编成“先飞无人机，后跳水”。
• 缺乏证据：它就像在黑暗中摸索，没有拿着手电筒（视觉证据）去确认每一个细节。

🚀 GraphThinker 的解决方案：给 AI 装上“思维导图”和“探照灯”

GraphThinker 做了两件事，让 AI 从“瞎猜”变成了“逻辑推理”。

1. 制作“事件思维导图” (Event-based Video Scene Graph, EVSG)

想象一下，如果你要给别人讲一个复杂的电影情节，你直接念剧本（密集的字幕）可能会让人晕头转向。

• GraphThinker 的做法：它先让 AI 把视频拆解成一个个具体的小场景（比如：0-5 秒，男人在跳水；5-8 秒，无人机在飞）。
• 画成图：然后，它把这些小场景画成一张结构化的思维导图。
  • 图上不仅写着“谁做了什么”，还画出了箭头，标明了谁在谁之前，谁导致了谁。
  • 比喻：这就像给 AI 发了一张带有时间轴和因果关系的“侦探地图”。在回答问题前，AI 必须先对照这张地图，理清线索，而不是凭空想象。

2. 强化训练：装上“探照灯” (Visual Attention Reward)

有了地图还不够，如果 AI 只看地图不看现场，还是会出错。

• GraphThinker 的做法：在训练过程中，它给 AI 设置了一个特殊的奖励机制。
• 如何奖励：如果 AI 在推理时，能够主动把注意力（探照灯）打在视频画面上的具体物体或动作上（比如真的看到了“跳水”的动作），而不是只盯着文字描述发呆，它就会得到高分奖励。
• 比喻：这就像老师教学生做题，不仅看答案对不对，还要看学生是不是真的去“看”了题目里的图表。如果学生能指着图说“因为这里有个红点，所以我选 A"，老师就给满分；如果学生闭着眼睛瞎蒙，就算蒙对了也要扣分。

🌟 效果如何？

通过这种“思维导图 + 探照灯”的组合拳，GraphThinker 在两个著名的视频理解测试中表现优异：

1. 更准：它能更精准地找到视频里事情发生的时间点（比如准确指出“跳水”是在第 3 秒到第 5 秒）。
2. 更真：它大幅减少了“幻觉”（瞎编），不再把“先飞无人机”这种错误顺序强加给视频。
3. 逻辑强：它能理解事件之间的因果关系，比如“因为男人跳进水里，所以水花四溅”，而不是把它们当成毫无关联的片段。

💡 总结

简单来说，GraphThinker 就是给 AI 看视频的能力做了一次升级：

• 以前：AI 像是一个凭印象猜谜的观众，容易记错顺序，爱瞎编。
• 现在：AI 变成了一个拿着“侦探地图”和“探照灯”的侦探，先理清事件结构，再仔细核对画面证据，最后给出一个逻辑严密、有据可依的答案。

这让 AI 在处理复杂的视频推理任务（比如教学视频分析、辅助驾驶决策）时，变得更加可靠和智能。

技术摘要

GraphThinker 技术总结

1. 研究背景与问题 (Problem)

视频推理（Video Reasoning）要求模型理解视频中事件之间的因果关系，以回答复杂的自然语言问题。然而，现有的多模态大语言模型（MLLMs）在处理此类任务时面临以下核心挑战：

• 隐式关系建模的局限性：现有模型通常依赖密集字幕（dense captions）或视频摘要来推断事件关系，这些方法缺乏显式的因果结构建模。
• 幻觉问题（Hallucinations）：由于缺乏对视频内及跨事件显式因果结构的约束，模型在推理过程中容易产生“幻觉”，即生成与视觉证据不符或时间顺序错误的结论。
• 细粒度事件缺失：现有的视频场景图（Video Scene Graphs）多关注全局对象关系，缺乏对细粒度事件边界和事件间动态依赖关系的精确表示，导致模型在事件排序和因果推理上出现混乱。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 GraphThinker，这是一种基于强化微调（Reinforcement Finetuning）的方法，旨在通过构建结构化的事件级场景图并增强视觉 grounding 来减少视频推理中的幻觉。其核心流程包含两个主要阶段：

2.1 事件级视频场景图构建 (Event-based Video Scene Graph, EVSG)

GraphThinker 首先利用 MLLM 自动生成结构化的事件图，无需人工标注：

1. 多粒度密集字幕生成：MLLM 根据预设的事件数量限制（如 5、10、15 个事件），将视频分割为不同粒度的时间段，生成粗粒度、中粒度和细粒度的密集字幕。这种多粒度对比有助于在构建图之前检测并抑制潜在的幻觉细节。
2. 自生成与自优化（Self-Generate and Self-Refine）：
   • 生成阶段：利用中粒度字幕，MLLM 提取事件的时间戳（起止时间）和关键对象交互，将其转化为标准的 <主体 - 关系 - 客体> 三元组，构建初始事件子图。
   • 优化阶段：结合粗粒度和细粒度字幕作为补充证据，对初始图进行验证和精炼。模型会移除不一致的关系，丰富有效事件，并施加时间逻辑约束（如互斥动作、因果顺序、状态保持），最终形成事件级视频场景图（EVSG）。
   • 结构特点：EVSG 包含事件子图（捕捉事件内对象交互）和基于时间戳的边（连接子图，捕捉事件间的时间依赖），形成显式的层级推理结构。

2.2 基于事件图的强化微调 (Event Graph-based Reinforcement Finetuning)

将构建好的 EVSG 作为中间思维过程（Intermediate Thinking Process）引入 MLLM 的强化学习（基于 GRPO 算法）训练中：

• 输入：视频、对应的 EVSG 以及待回答的问题。
• 奖励函数设计：为了引导模型进行视觉 grounded 的推理，设计了复合奖励函数：
  1. 准确性奖励 ($r_{acc}$)：结合时间交并比（IoU）和答案语义相似度，评估时间定位和回答的准确性。
  2. 格式奖励 ($r_{form}$)：强制模型输出符合特定格式（如 <thought> 和 <answer> 标签），确保推理过程的可解释性。
  3. 视觉注意力奖励 ($r_{attn}$)：这是关键创新点。该奖励衡量模型生成的回答 token 对视觉 token（视频帧）的注意力比例是否高于对文本图 token（EVSG）的比例。
     • 目的：防止模型过度依赖文本图而忽略视觉证据，鼓励模型在推理时主动探索视觉线索，实现“视觉 grounded"。
     • 触发条件：仅当语义和时间准确性达到一定阈值时激活。

3. 主要贡献 (Key Contributions)

1. 发现与洞察：指出当前视频 MLLM 缺乏对输入视频中显式事件关系的建模，这是导致推理不连贯和产生幻觉的主要原因。
2. 提出 GraphThinker 框架：
   • 提出了一种无需人工标注的**事件级视频场景图（EVSG）**生成方法，显式编码了事件内的语义交互和事件间的时间因果。
   • 设计了视觉注意力奖励机制，在强化微调中强制模型平衡文本图线索与原始视觉证据，有效缓解了推理漂移。
3. 性能提升：在两个基准测试（RexTime 和 VidHalluc）上，GraphThinker 显著优于现有的 SOTA 方法，特别是在时间定位精度和减少幻觉方面。

4. 实验结果 (Results)

• RexTime 数据集（事件因果推理）：
  • GraphThinker 在 mIoU（平均交并比）上提升了 11.74%，在 Accuracy@IoU≥0.5（高精度时间定位准确率）上提升了 8.86%。
  • 相比使用工具分割长视频的其他方法（如 TimeSearch, VITAL），GraphThinker 在全长视频上推理，表现出更强的时间一致性，Accuracy@IoU≥0.5 超越了 GPT-4o 和 TimeSearch-7B。
• VidHalluc 数据集（视频幻觉评估）：
  • 在动作幻觉（ACH）、时间序列幻觉（TSH）和场景转换幻觉（STH）三个维度上均取得显著提升。
  • 特别是在 TSH 和 STH 任务上，相比基线模型 Qwen2.5-VL 分别提升了 7.83% 和 7.81%。
  • 在开源模型中达到了 SOTA 水平，甚至在部分指标上接近闭源大模型（如 GPT-4o）。
• 消融实验：证明了 EVSG 本身能带来显著收益，而结合 GRPO 和视觉注意力奖励（$r_{attn}$）能进一步大幅提升性能，验证了各组件的有效性。

5. 意义与价值 (Significance)

• 解决幻觉问题：通过引入显式的结构化事件图（EVSG）作为推理的“骨架”，并配合视觉注意力奖励，有效约束了 MLLM 的生成空间，显著减少了视频推理中的幻觉现象。
• 可解释性增强：EVSG 提供了清晰的中间思维过程，使得模型的推理路径（如事件的时间顺序、因果关系）更加透明和可追溯。
• 无需人工标注：整个 EVSG 构建过程由 MLLM 自生成和自优化完成，降低了数据标注成本，具有良好的可扩展性。
• 通用性：该方法不仅提升了视频问答（VQA）的准确性，还显著改善了视频时间定位（Moment Localization）的能力，为构建更可靠的辅助 AI 系统和具身智能决策提供了技术基础。

总结：GraphThinker 通过“结构化思维（EVSG）+ 强化学习（视觉奖励）”的双重机制，成功将 MLLM 的视频推理能力从依赖隐式文本关联提升到了显式因果结构建模的新高度，显著提升了视频理解的准确性和可靠性。