VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

本文提出了 VisionCoach 框架，通过在强化学习训练阶段利用自适应视觉提示增强关键证据并抑制干扰，结合自蒸馏技术使模型在无需外部工具的情况下，直接基于原始视频实现具备精准时空定位能力的视频推理，从而在多个基准测试中取得了最先进的性能。

要点

这篇论文介绍了一个名为 VISIONCOACH（视觉教练）的新系统，它的目标是教人工智能（AI）如何更准确地“看懂”视频，并基于看到的画面来回答问题，而不是靠瞎猜或死记硬背。

为了让你更容易理解，我们可以把 AI 看视频的过程想象成一个学生在做“看图说话”的考试。

1. 现在的 AI 有什么毛病？（痛点）

目前的 AI 在看视频回答问题时，主要有两个大问题：

• “瞎编”型学生（幻觉）： 就像有些学生没看清图，却根据题目里的文字线索瞎编答案。比如题目问“直升机飞走后出现了什么车？”，AI 可能根本没看清，但因为它知道“直升机”后面常跟着“汽车”，就自信地回答“黑色轿车”，其实视频里可能是个红色的卡车。它没有真正去“看”。
• “笨拙”型学生（工具依赖）： 另一种 AI 为了看清细节，会调用外部工具，比如把视频放大、裁剪、或者逐帧检查。这就像学生做题时，每看一行字就要拿放大镜照一下，虽然看得准了，但速度极慢，而且考试时（推理阶段）不允许带这么多工具，导致效率低下。

2. VISIONCOACH 是怎么解决的？（核心创意）

VISIONCOACH 的核心思想是：“平时训练时请个教练指点，考试时自己就能发挥。”

它把训练过程分成了两个阶段，就像体育训练一样：

第一阶段：请“视觉教练”来特训（训练期）

在训练过程中，当 AI 遇到很难的题目（比如画面太乱、物体太小、或者它容易看错的时候），系统会请一位“视觉教练”（Visual Prompt Selector）出马。

• 教练做什么？ 教练会根据题目，在视频的关键帧上画个圈、把背景变暗、或者标上时间序号。
  • 比喻： 就像老师在做题时，用红笔圈出重点，或者把干扰项涂黑，告诉学生：“看这里！答案就在这儿！”
• 效果： 有了这些提示，AI 就能更容易找到正确答案，并且知道“哦，原来我要关注这个物体，而不是那个”。

第二阶段：把教练的话“内化”（自我蒸馏）

这是最精彩的部分。AI 不能永远依赖教练在旁边画圈，考试时（推理阶段）没有教练。

• 怎么做？ 系统采用了一种叫**“自我蒸馏”**的方法。
  • 比喻： 想象学生（AI）在教练的指点下做对了一道难题。做完后，学生自己把“教练当时是怎么提示我的”以及“我是怎么根据提示做对的”这个过程，默默记在心里，变成自己的直觉。
• 结果： 经过多次这样的“特训 + 内化”，AI 即使在没有教练画圈、没有外部工具的情况下，也能直接在原始视频中找到关键信息，就像它已经练就了“火眼金睛”。

3. 它是怎么保证“看准”的？（奖励机制）

为了让 AI 真的学会“看”，而不仅仅是背答案，作者设计了一套特殊的**“评分规则”**（奖励机制）：

• 不仅看答案对不对： 以前 AI 只要答案对了就行，不管过程。
• 现在要看“指得准不准”： 系统会检查 AI 在回答时，是否指出了具体的时间（几秒时）和位置（框在哪里）。
  • 比喻： 就像老师批改作文，不仅看结论对不对，还要看学生有没有引用原文证据。如果学生说“是那只狗”，但没指出是哪只狗、在哪个位置，或者指错了对象（把猫当成狗），分数就会很低。
• 身份一致性： 系统还会检查，AI 在视频不同时间点提到的“那个物体”，是不是同一个东西（比如不能上一秒说是“黑狗”，下一秒说是“白猫”）。

4. 最终效果如何？

• 更聪明： 在多个视频理解测试中，VISIONCOACH 的表现超过了目前最先进的模型（包括 GPT-4o 等），特别是在需要精准定位时间和空间的题目上。
• 更快速： 因为它把“教练”的能力内化到了自己脑子里，考试时不需要调用任何外部工具，直接看原视频就能回答，速度非常快，效率极高。

总结

VISIONCOACH 就像是一个聪明的训练师。它不直接告诉 AI 答案，而是在 AI 遇到困难时，通过画圈、高亮等视觉提示来引导它关注重点。然后，它让 AI 通过反复练习和反思，把这些“被指点”的经验变成自己的本能。

最终，这个 AI 既拥有了精准的观察力（不再瞎编），又保持了高效的反应速度（不再依赖笨重的工具），真正做到了“眼见为实”。

技术摘要

VISIONCOACH 技术总结

1. 研究背景与问题定义

核心问题：视频推理（Video Reasoning）要求模型在推理过程中定位并跟踪与问题相关的时空证据（Spatio-Temporal Grounding）。尽管基于可验证奖励的强化学习（RL）提升了准确率，但现有方法仍面临以下挑战：

1. 幻觉与定位不准：以文本为中心的模型常依赖语言先验产生幻觉，缺乏对视觉证据的忠实观察；而现有的“落地推理”模型（Grounded Reasoning）虽然尝试整合时空证据，但常产生不准确的物体引用或幻觉边界框。
2. 成本与效率矛盾：提升定位能力通常依赖两种路径，但均有缺陷：
   • 数据扩展：需要大规模昂贵的密集标注数据。
   • 推理时工具调用：依赖外部感知工具（如裁剪、缩放、时间切片），导致推理阶段计算开销巨大且流程复杂。
3. 缺乏内在感知机制：现有方法多依赖外部干预，未能将“基于证据的推理能力”内化为模型自身的感知行为。

目标：提出一种无需推理时外部工具、无需额外标注成本，却能显著提升时空定位能力的视频推理框架。

2. 方法论：VISIONCOACH

VISIONCOACH 是一个输入自适应的强化学习（RL）框架，其核心思想是**“训练时视觉提示引导，推理时自我内化”**。它通过两个主要组件协同工作：

2.1 核心组件

1. 视觉提示选择器 (Visual Prompt Selector, VP-Selector)

   • 功能：根据输入的视频和问题，预测最适合的视觉提示类型（如：高亮关键物体、暗化背景、添加帧号、注意力热力图等）。
   • 训练方式：利用代理推理器（Proxy Reasoners，如 GPT-4o, Gemini 等）构建候选数据集。通过评估不同提示对推理轨迹和答案准确性的提升，训练一个轻量级 VLM 分类器来选择最优提示。
   • 作用：在 RL 训练阶段，仅针对**困难样本（Hard Samples）**动态应用视觉提示，放大相关证据并抑制干扰项。

2. 时空推理器 (Spatio-Temporal Reasoner, ST-Reasoner)

   • 功能：执行基于视觉提示引导的推理，并学习内化这种能力。
   • 优化目标：使用 GSPO (Group Sequence Policy Optimization) 算法进行 RL 训练。
   • 关键机制：
     • 困难样本识别：基于初始奖励阈值筛选困难样本。
     • 视觉引导：对困难样本应用 VP-Selector 生成的提示，生成新的推理轨迹。
     • 自蒸馏 (Self-Distillation)：当视觉提示带来的推理轨迹奖励更高时，将这些高质量轨迹作为“教师”，通过负对数似然（NLL）损失蒸馏给策略模型。这使得模型在推理阶段无需提示也能表现出良好的定位能力。

2.2 奖励函数设计 (Reward Design)

为了强化落地推理，作者设计了包含四个部分的奖励函数，其中对象感知空间落地奖励是创新点：

1. 答案准确性奖励：基于任务类型（选择题/开放题/定位任务）计算。
2. 格式正确性奖励：确保输出包含 <obj>, <box>, <t> 等结构化标签。
3. 时间落地奖励：评估预测时间戳与真实时间窗口的 IoU。
4. 对象感知空间落地奖励 (Object-Aware Spatial Grounding Reward)：
   • 创新点：传统方法仅取最大 IoU 的边界框，忽略物体一致性。
   • 机制：
     • 时间门控：仅当时间定位准确时才计算空间奖励。
     • 对象一致性：要求预测的物体名称与真实物体进行软匹配（字符串包含或精确匹配）。
     • 多区域平均 IoU：计算所有匹配物体及其对应边界框的平均 IoU，鼓励模型定位多个相关物体而非单一区域。

2.3 训练流程

1. 冷启动：SFT 初始化。
2. RL 训练：
   • 采样初始轨迹，计算奖励。
   • 识别困难样本，调用 VP-Selector 生成视觉提示。
   • 生成提示引导的新轨迹，计算更新后的奖励。
   • 若新轨迹奖励更高，执行自蒸馏。
   • 联合优化 GSPO 损失和自蒸馏损失。
3. 推理：模型直接在原始视频上进行单次前向推理，无需任何视觉提示或外部工具。

3. 主要贡献

1. 输入自适应 RL 框架：提出 VISIONCOACH，通过训练时的视觉提示引导和自蒸馏，使模型内化落地推理能力，推理阶段保持轻量高效。
2. 对象感知空间落地奖励：设计了结合物体身份一致性和多区域边界框 IoU 的奖励机制，解决了传统方法中单区域定位和物体幻觉的问题。
3. 视觉提示选择器：构建了基于代理推理器的数据构建流程，实现了针对视频 QA 输入的自适应视觉提示预测。
4. SOTA 性能：在多个基准测试中实现了最先进的性能，且推理路径单一高效。

4. 实验结果

VISIONCOACH 在多个具有挑战性的基准上进行了评估：

• V-STAR (时空推理基准)：
  • 超越了 GPT-4o 和 Qwen2.5-VL-7B。
  • 相比 Qwen2.5-VL-7B，mAM（平均算术均值）提升 +15.0%，mLGM（平均对数几何均值）提升 +25.1%。
  • 在“什么（What）”、“何时（When）”、“何地（Where）”三个维度均显著提升。
• 通用视频理解基准 (VideoMME, WorldSense, VideoMMMU, PerceptionTest)：
  • 在感知导向的任务（如 WorldSense 的识别、VideoMMMU 的感知）上表现优异，超越了现有的开源 VideoLLM 和工具调用方法。
  • 证明了改进的时空定位能力直接转化为更强的视频问答能力。
• 时间落地基准 (Charades-STA)：
  • 在零样本设置下，R@0.5 和 mIoU 指标均优于现有的专用时间落地模型（如 GroundingGPT, Momentor 等）。
• 效率分析：
  • 推理延迟显著低于依赖外部工具（如 EgoR1, LongVT-RL）的方法，与纯文本推理模型相当，但精度更高。
  • 注意力图可视化显示，视觉提示引导显著增强了模型对关键帧和关键区域的关注，减少了背景噪声。

5. 意义与影响

• 范式转变：从依赖“推理时工具调用”或“大规模数据标注”转向“训练时感知引导 + 知识内化”。这为构建高效、高精度的多模态推理模型提供了新路径。
• 解决幻觉：通过强制模型在训练阶段关注视觉证据（通过提示和奖励），有效减少了语言先验导致的幻觉，提升了推理的可信度。
• 实用性：推理阶段无需外部工具，保持了单一前向传播的简洁性，易于部署。
• 通用性：VP-Selector 可作为即插即用模块，提升不同基座模型（如 Qwen, GPT-4o）的落地推理能力。

总结：VISIONCOACH 通过巧妙的“教练”机制（训练时提示）和“学生”内化机制（自蒸馏），成功解决了视频推理中时空定位不可靠的难题，在保持推理效率的同时大幅提升了模型的感知与推理精度。