技术摘要：推理即交集：用于视频多模态大模型视觉聚焦的共识帧对齐

1. 问题陈述

虽然强化学习（RL），特别是群体相对策略优化（GRPO），已成功增强了大型语言模型（LLMs）的推理能力，但其在视频多模态大模型（Video-MLLMs）中的应用面临着一个特定的局限性。目前的方法主要依赖于仅结果奖励（例如，答案正确性、时间一致性或定位）。虽然这些信号可以验证回答是否正确，但它们无法提供关于哪些视觉证据帧支持该答案的过程级指导。

在长视频或未剪辑视频中，模型可能会将响应锚定在在视觉上看似合理但与特定查询无关的帧上，或者可能依赖于一种无法隔离决定性证据的弥散模式。现有的过程监督方法通常侧重于文本推理步骤或图像调节的轨迹，缺乏一种机制，能够在不需要昂贵的人工时间标注的情况下，实现生成内容与时序分布的视觉证据之间的对齐。

2. 方法论：共识帧 GRPO (CF-GRPO)

作者提出了 Consensus Frame GRPO (CF-GRPO)，这是一个无需时间标注的过程级强化学习框架。其核心创新在于共识帧奖励（Consensus Frame Reward, CFR），它将模型的内部帧使用情况与从内在视频线索中构建的“共识先验”进行对齐。

2.1 共识先验构建

该方法并非使用人工标注的地面真值，而是通过融合三种互补的内在线索，构建了一个软性的、无需时间标注的先验 $P(i)$：

1. 均匀时间覆盖： 一种确保全局序列完整性的基准。
2. 场景转换线索： 通过相邻帧之间 HSV 直方图的 Bhattacharyya 距离来识别，以捕捉视觉变化。
3. 查询驱动的视觉相关性： 源自预训练的视觉-语言编码器，通过测量采样帧与用户查询之间的图文相似度来得出。

这些信号经过加权和归一化，生成一个概率分布 $P(i)$，代表可能包含有用证据的帧。

2.2 模型侧帧使用得分提取

为了使模型的行为与先验对齐，该框架从模型的内部表示中提取模型侧帧使用得分 ($\alpha(i)$)：

• 显著性感知稀疏聚合： 每个帧的视觉 Patch Token 使用通道维度的最大池化（max pooling）而非平均池化进行聚合。这保留了高响应区域，并防止被背景噪声稀释。
• 语义对齐： 将聚合后的帧向量与响应隐藏状态进行余弦相似度比较，以生成原始权重。
• 分布锐化： 对原始得分应用低温度 Softmax，以创建高对比度的分布，从而减少过度弥散的帧得分并增强策略梯度信号。

2.3 奖励机制与优化

共识帧奖励 ($R_{cf}$) 计算为共识先验 $P(i)$ 与模型侧帧使用得分 $\alpha(i)$ 之间的点积（重叠）。
总奖励函数结合了标准的输出监督与此过程信号：
$$R_{total} = R_{acc} + R_{struct} + \lambda \cdot R_{cf} + R_{temp}$$
其中 $R_{acc}$ 是答案准确性，$R_{struct}$ 强制执行格式约束，$R_{temp}$ 鼓励时间一致性，而 $R_{cf}$ 是新增的证据对齐项。模型使用 GRPO 进行优化，基于分组展开（grouped rollouts）更新策略，以最大化这一复合奖励。

3. 核心贡献

1. CF-GRPO 框架： 一种新型的视频推理强化学习框架，引入了无需人工时间标注的帧级证据对齐。
2. 共识帧奖励 (CFR)： 一种通过显著性感知稀疏聚合和分布锐化，将共识先验（涵盖覆盖度、转换、相关性）与模型侧帧使用情况进行对齐的机制。
3. 性能与可解释性： 所提出的 VideoCFR 模型在复杂的视频推理基准测试中取得了具有竞争力的表现。共识先验为训练期间强调的证据帧提供了一个可解释的视角，消融实验证实了共识先验、稀疏聚合和锐化组件的必要性。

4. 实验结果

该模型在视频推理基准测试（VSI-Bench, VideoMMMU, MMVU）以及通用视频理解基准测试（MVBench, TempCompass, VideoMME）上进行了评估。

• 主要结果： VideoCFR（32 帧设置）在 VideoMMMU 上达到了 52.4%，优于 Video-R1-7B (47.2%) 和 VideoChat-R1 (48.7%)。与代表性的 RL 基线相比，它在 VSI-Bench 和 MMVU 上也显示出改进。
• 扩展性： 将帧预算从 16 增加到 64 提高了在需要丰富时间上下文的基准测试（如 VideoMME: 55.1% $\to$ 61.1%）上的表现，尽管某些基准测试在较低帧数时达到峰值。
• 消融研究：
  • 将共识先验替换为均匀分布会显著降低推理基准测试的性能（例如，在 VideoMMMU 上下降了 3.2%）。
  • 移除稀疏聚合或分布锐化会导致多个基准测试的性能下降，证实了它们在保留任务相关信号和增强奖励判别力方面的作用。
  • 研究发现，在训练期间加入图像问答（Image QA）数据有助于保持细粒度的视觉识别能力。
• 诊断分析：
  • 训练动态： 缩放后的共识得分在训练期间从 0.47 增加到 0.62 以上，表明模型成功学会了与先验对齐。
  • 注意力对齐： 共识帧占据了 19.5% 的顶层注意力事件，而仅占 14.1% 的帧槽位（1.48$\times$ 富集），而非共识帧仍低于基准线。
  • 定性案例： 可视化显示，VideoCFR 能够成功聚焦于决定性证据（例如，手术标记、特定的生物机制），同时忽略视觉显著但无关的干扰物（例如，医学视频中的牙龈），这与基线模型不同。

5. 意义与局限性

意义：
本文认为，视频推理不仅需要答案的正确性；生成过程必须与支持答案的视觉证据相对齐。通过引入一种无需人工时间标签的过程级奖励，CF-GRPO 弥合了输出监督与模型所使用的特定视觉证据之间的鸿沟。这种方法提供了一种可解释的机制，引导 Video-MLLMs 实现更鲁棒、基于证据的推理。

局限性：

• 先验可靠性： 共识先验是基于内在线索的估计。当证据是隐性的、视觉细微的或分布在许多帧中时，其可靠性可能会降低。
• 模态覆盖： 当前的先验仅依赖于视觉和文本查询，缺乏音频、字幕或跨模态事件时序。
• 计算成本： 由于需要在分组展开过程中计算先验和帧使用得分，该方法在训练期间引入了额外的计算开销。
• 帧预算敏感性： 增加帧预算在所有任务中并不都是有益的，这表明需要针对特定任务进行适配，而非通用的缩放规则。
• 评估： 诊断分析依赖于内部统计数据，而非人工标注的时间证据标签。

作者总结道，未来的工作可以探索更长上下文的架构、更多的模态以及在线近似方法，以进一步扩大 CF-GRPO 的适用性。