💻 computer science

STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

本文提出了 STRIVE 框架，通过构建时空变体进行联合归一化并引入重要性感知采样机制，有效解决了多模态强化学习在视频问答中奖励方差低的问题，从而显著提升了模型在多个基准测试上的推理性能。

原作者： Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 STRIVE 的新方法，旨在让 AI 在回答关于视频的问题时变得更聪明、更稳定。

为了让你轻松理解，我们可以把 AI 学习回答视频问题的过程，想象成一位学生正在准备一场关于“电影剧情”的考试。

1. 以前的困境：死记硬背的“优等生”

在 STRIVE 出现之前，AI 模型（比如现在的各种大模型）学习视频问答的方式有点像死记硬背。

场景：老师（AI 的训练系统）给出一部电影（视频）和一道题。
做法：AI 会尝试写出 8 个不同的答案（比如 8 种不同的解释）。
问题：如果这 8 个答案里，大家要么全对，要么全错，老师就没办法判断哪个答案更好。这就好比全班 8 个学生都考了 100 分，或者都考了 0 分，老师就不知道谁进步了，谁该被表扬。
后果：AI 的学习信号（奖励）变得很弱，甚至消失，导致它学不到东西，或者学得很不稳定。这就叫“优势崩溃”（Advantage Collapse）。

2. STRIVE 的妙招：换个角度看世界

STRIVE 的核心思想是：不要只盯着答案看，要改变“看视频”的方式。

想象一下，如果老师不仅让 8 个学生写答案，还把电影剪辑成 2 个不同的版本给这 8 个学生看呢？

版本 A：只保留电影里“主角开车”的片段。
版本 B：只保留电影里“主角走路”的片段。
做法：现在，AI 面对的是 2 个不同的视频版本 × 4 个不同的答案（总共 8 个组合）。

这就好比：
以前，学生只看一遍电影，然后瞎猜。
现在，STRIVE 强迫学生从不同的角度（比如只看开车、只看走路、只看特写、只看远景）去观察同一部电影，然后基于这些不同的视角写出答案。

3. 三个关键“魔法”

STRIVE 之所以有效，是因为它用了三个聪明的策略：

A. 制造“视角差异” (结构化时空探索)

就像看侦探片，如果你只盯着一个镜头，可能会漏掉关键线索。STRIVE 会故意把视频“切碎”或“重组”，生成几个略有不同的版本。

比喻：就像让你看一个魔术表演，它让你分别看“正面视角”、“侧面视角”和“慢动作视角”。这样，AI 就能发现：“哦！原来在开车的那个镜头里，方向盘是动的，而走路的那个镜头里没有车。”
作用：这增加了答案之间的“差异度”，让老师（奖励系统）能清楚地分辨出哪个答案更靠谱，从而给 AI 更明确的指导。

B. 聪明的“重点标记” (重要性感知采样)

视频很长，但关键信息往往只在一瞬间。如果 AI 随机看视频，可能会错过重点。

比喻：STRIVE 就像一位聪明的剪辑师。在生成不同视频版本时，它会根据问题自动“打标签”。
- 如果问题是“主角怎么上班的？”，剪辑师就会重点保留主角上车、开车的画面，而把无关的吃饭画面剪掉或淡化。
- 但它不会只留一个画面，而是保留几个“最相关”的片段组合，确保既抓住了重点，又不会漏掉上下文。
作用：这防止了 AI 在无关紧要的画面上浪费精力，让它专注于真正能回答问题的那些瞬间。

C. 跨视角的“一致性检查” (隐式一致性正则化)

这是最精彩的部分。STRIVE 要求 AI 在看了“开车版”视频后，和看了“走路版”视频后，给出的答案在逻辑上必须是自洽的。

比喻：如果 AI 在“开车版”里说“她在开车”，但在“走路版”里又说“她在走路”，那它肯定是在胡编乱造。STRIVE 会惩罚这种“精神分裂”的行为。
作用：这迫使 AI 必须真正理解视频里的逻辑，而不是靠猜或者死记硬背某些固定的词汇。它学会了：“无论怎么看这个视频，只要看到方向盘，答案就应该是开车。”

4. 结果如何？

论文在 6 个很难的视频理解测试题上做了实验（比如问“视频里先出现门还是先出现枕头”）。

结果：用了 STRIVE 的 AI，比那些只用老方法（只变答案，不变视频）的 AI 表现好得多。
比喻：就像那个学生，以前只会死记硬背，现在学会了多角度观察、抓重点、逻辑自洽，所以在考试中不仅分更高，而且遇到没见过的难题也能推理出正确答案。

总结

STRIVE 就像给 AI 请了一位高明的教练。
这位教练不再只是让 AI 重复做题，而是：

换着花样出题（把视频剪辑成不同版本）；
教它抓重点（根据问题自动筛选关键帧）；
逼它讲逻辑（要求它在不同视角下答案一致）。

通过这种方法，AI 不再是一个只会背答案的机器，而变成了一个真正能“看懂”视频、理解时空关系的智能助手。

这是一份关于论文 STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering 的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
大型多模态模型（LMMs）在视频问答（VQA）任务上取得了显著进展。监督微调（SFT）虽然有效，但受限于标注数据规模，且未能充分利用视频的结构化特性。因此，基于强化学习（RL）的后训练（Post-training）方法（如 GRPO）成为提升模型推理能力的关键手段。

核心痛点：优势崩溃（Advantage Collapse）
现有的基于组的策略优化方法（如 GRPO）通常针对固定的视频输入采样多个文本生成答案。

低奖励方差问题： 当生成的多个文本答案在正确性上高度一致（要么全对，要么全错）时，组内的奖励方差（Reward Variance）会趋近于零。
后果： 根据 GRPO 的优势计算公式（ $A_i = (r_i - \text{mean}) / \text{std}$ ），当标准差（std）趋近于零时，优势估计会变得极不稳定（爆炸）或完全消失（为零）。这导致梯度更新失效，模型无法有效学习。
现有方案的局限： 之前的改进（如 Dr.GRPO）主要通过移除标准差项或修改奖励函数来解决，但这仅停留在文本层面，未利用视频模态本身丰富的时空结构多样性。

2. 方法论 (Methodology)

作者提出了 STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration)，一种结构化的强化学习框架。其核心思想是将多样性从“仅文本输出”扩展到“输入空间（视频变体）”，构建一个联合优化空间。

2.1 核心架构：双重分组范式 (Dual-Grouping Paradigm)

传统 GRPO： 输入固定视频 $v$ $\rightarrow$ 采样 $G$ 个文本答案 $\rightarrow$ 计算优势。
STRIVE 流程：
1. 变体构建 (Variant Construction)： 对输入视频 $v$ 应用 $M$ 种变换，生成 $M$ 个时空变体 $\{\tilde{v}_i\}$ 。
2. 联合采样： 对每个视频变体 $\tilde{v}_i$ ，策略模型生成 $G$ 个文本答案。
3. 矩阵化输出： 形成一个 $G \times M$ 的答案矩阵 $\{o_{i,j}\}$ 和对应的奖励矩阵 $\{r_{i,j}\}$ 。
4. 联合归一化： 在整个 $G \times M$ 的池化空间中计算优势值（Eq. 3），而不是仅在 $G$ 个文本中计算。
- 效果： 即使文本答案相似，不同的视频变体也会引入不同的视觉上下文，从而人为地维持较高的奖励方差，防止优势崩溃。同时，这种机制充当了隐式的一致性正则化器，迫使模型在不同时空视角下保持推理的一致性。

2.2 变体构建策略 (Variant Construction Strategies)

为了生成有意义的视频变体，STRIVE 探索了三种策略：

确定性时间分组： 使用交错偏移的均匀采样，覆盖不同时间段。
随机时空分组： 随机裁剪、步长采样结合空间增强（颜色抖动、仿射变换）。
基于重要性的语义分组 (Importance-Based Grouping)： 这是 STRIVE 的关键创新。
- 问题： 纯随机采样可能丢失对回答问题至关重要的关键帧。
- 解决方案： 计算每一帧与输入问题的相关性得分 $s_f = S(v_f, q)$ 。
- 采样机制： 将视频分为 $K$ 个时间片段，在每个片段内，不选择最高分帧（纯利用），而是使用温度缩放 Softmax (Temperature-scaled Softmax) 进行概率采样。
- 公式： $P(t) \propto \exp(s_t / \tau)$ 。温度 $\tau$ 控制探索与利用的平衡，确保既关注关键信息，又保留组内多样性。

3. 关键贡献 (Key Contributions)

解决优势崩溃： 首次提出通过结构化时空变体（而非仅文本多样性）来丰富奖励信号，从根本上解决了视频 RL 中因奖励方差低导致的优势估计失效问题。
重要性感知采样机制： 提出了一种基于跨模态嵌入相似度的帧重要性评分策略，结合温度缩放采样，实现了“有指导的探索”。既保证了模型关注与问题最相关的视觉证据，又避免了过拟合单一时空配置。
隐式一致性正则化： 通过联合优化文本生成和视觉变体，迫使模型在不同视觉视角下保持推理逻辑的一致性，减少了对语言先验的依赖，增强了对视觉证据的锚定。
即插即用的通用性： 该方法不改变底层的 RL 目标函数（如 GRPO 或 Dr.GRPO），而是作为变体构建模块，可广泛应用于现有的组策略优化算法中。

4. 实验结果 (Results)

实验设置：

基座模型： Qwen2.5-VL-7B 和 Qwen3-VL-8B。
基准测试： 6 个具有挑战性的视频推理基准（VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench, PerceptionTest）。
对比对象： 标准 GRPO、Dr.GRPO、ArrowRL、Video-R1 等。

主要发现：

性能提升： STRIVE 在两个基座模型上均显著优于标准 GRPO。
- 在 Qwen2.5-VL-7B 上，平均得分从 59.0 (GRPO) 提升至 59.8。
- 在 Qwen3-VL-8B 上，平均得分从 64.3 (GRPO) 提升至 65.2。值得注意的是，标准 GRPO 在 Qwen3 上甚至在部分基准（如 VideoMME）上出现了性能倒退，而 STRIVE 保持了稳定性并进一步提升。
稳定性分析：
- 奖励方差： STRIVE 在整个训练过程中保持了显著高于 GRPO 的奖励标准差。
- 零优势步数： STRIVE 将“零优势更新”（Zero-Advantage Steps）的比例大幅降低，避免了梯度饥饿。
- 梯度稳定性： 相比 GRPO 剧烈的梯度震荡，STRIVE 的梯度范数轨迹更加平滑稳定。
消融实验：
- 变体策略： “基于重要性的语义分组”优于纯随机或确定性分组。
- 评分模型： 使用策略模型自身（Policy Model）进行评分效果最好，但使用轻量级模型（如 LLaVA-OV-0.5B）也能取得接近效果，且计算成本更低。
- M 与 G 的平衡： 在总计算预算固定（ $M \times G = 8$ ）的情况下， $M=2$ (2 个视频变体), $G=4$ (每个变体 4 个文本) 的配置效果最佳，证明了视觉多样性对于稳定优势估计的重要性。

5. 意义与结论 (Significance)

理论意义： 论文揭示了在多模态强化学习中，仅依靠文本多样性不足以维持稳定的优化信号。引入结构化时空探索是解决视频 RL 中“优势崩溃”瓶颈的关键。
实践价值： STRIVE 提供了一种无需重新设计复杂奖励函数或引入额外价值网络即可稳定训练视频多模态模型的方法。它特别适用于需要精细时空推理的任务（如事件排序、动作识别）。
未来方向： 该框架展示了通过控制输入分布（Input Distribution）来优化 RL 训练动态的潜力，为未来更复杂的视频理解任务提供了新的优化范式。

总结： STRIVE 通过构建“文本 - 视觉”双重分组和重要性感知的变体采样，成功解决了视频强化学习中的奖励方差低和训练不稳定问题，显著提升了大模型在复杂视频问答任务上的推理能力和鲁棒性。