💻 computer science

EasyVideoR1: Easier RL for Video Understanding

本文提出了 EasyVideoR1，这是一个专为视频理解大模型设计的完整高效强化学习框架，通过离线预处理缓存、任务感知奖励系统、混合训练范式及异步多基准评估等创新，有效解决了视频模态 RL 训练中的解码开销与评估复现难题。

原作者： Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 EasyVideoR1 的新工具，它的核心目标是：让大型人工智能模型更聪明、更快速地学会“看懂”视频。

为了让你更容易理解，我们可以把训练 AI 的过程想象成培养一名“视频解说员”或“侦探”。

🎬 核心故事：从“死记硬背”到“举一反三”

以前的 AI 看视频，就像是一个刚入行的实习生，只能死记硬背看到的画面，遇到稍微复杂点的问题（比如“视频里那个穿红衣服的人最后去了哪里？”）就抓瞎。

这篇论文提出的 EasyVideoR1，就像是给这位实习生请了一位超级教练，并配备了一套高科技训练系统。这套系统通过“强化学习”（RL），让 AI 通过不断的试错、自我反思和奖励机制，自己学会如何推理视频内容。

🚀 EasyVideoR1 的五大“超能力”

为了让这个训练过程既快又好，EasyVideoR1 做了五件非常聪明的事情：

1. 📦 提前打包的“便当盒” (离线预处理与缓存)

以前的痛点： 想象一下，每次训练 AI，都要现场把视频从硬盘里读出来，像剥洋葱一样一帧一帧地解码、裁剪、调整大小。这就像厨师每次炒菜前都要现去种菜、洗菜、切菜，太浪费时间了！
EasyVideoR1 的做法： 它有一个“提前备菜”的环节。在训练开始前，先把所有视频处理成现成的“便当盒”（缓存文件）。训练时，AI 直接打开便当盒吃，不用现切菜。
效果： 训练速度直接提升了 1.47 倍。就像从“现种菜”变成了“直接上菜”，效率大增。

2. 🎓 全科辅导老师 (任务感知的奖励系统)

以前的痛点： 视频任务千奇百怪，有的要数数（“视频里有几只猫？”），有的要找时间（“爆炸发生在第几秒？”），有的要写字（“识别路牌上的字”）。以前的系统像个只会教数学的老师，遇到其他题就懵了。
EasyVideoR1 的做法： 它建立了一个“全科辅导中心”。系统能自动识别题目类型：如果是数学题，就按数学标准打分；如果是找时间，就按时间准确度打分。
效果： 无论是数数、找时间、还是写代码，AI 都能得到针对性的指导，不再“偏科”。

3. 🔄 混合训练模式 (离线 + 在线)

以前的痛点： 纯靠 AI 自己瞎猜（在线探索）来学习，刚开始效率很低，容易走弯路。
EasyVideoR1 的做法： 它采用“混合双打”。一方面，让 AI 参考人类专家整理好的“优秀笔记”（离线高质量数据）；另一方面，让 AI 自己去尝试新题（在线探索）。
效果： 既吸收了前人的智慧，又保留了探索未知的能力，特别适合学习那些很难的“压轴题”。

4. 🖼️🎥 图文混排训练 (图像与视频联合训练)

以前的痛点： 图片数据多，视频数据少。以前训练时，图片和视频往往要分开练，或者混在一起练时容易“顾此失彼”。
EasyVideoR1 的做法： 它允许 AI 同时看图片和视频。就像学生既看静态的地图（图片），又看动态的导航（视频），两者互相补充。
效果： 图片训练让 AI 看得更清楚，视频训练让 AI 理解得更连贯，两者结合，AI 的“眼力”和“脑力”都变强了。

5. 🏁 极速考场 (异步多基准评估)

以前的痛点： 考试（评估）时，CPU（负责读题）和 GPU（负责答题）经常互相等待，导致 GPU 经常“摸鱼”（闲置），考试速度慢得像蜗牛。
EasyVideoR1 的做法： 它设计了一个“流水线考场”。CPU 在后台不停地读题、准备试卷，GPU 在前方不停地答题。只要 GPU 一有空，马上就有新题进来，绝不等待。
效果： 评估速度提升了 6 到 7 倍。以前考一套卷子要一天，现在几小时就能搞定。

🏆 实战成绩：青出于蓝而胜于蓝

作者用这套系统，在 32 张顶级显卡 上训练了大约 20 小时。

主角： 一个原本就很聪明的模型（Qwen3-VL-8B-Instruct）。
对手： 官方发布的“思考版”模型（Qwen3-VL-8B-Thinking，通常这种模型推理能力更强，但速度更慢）。
结果： 经过 EasyVideoR1 训练后的普通版模型，在多个视频理解测试中，直接超过了 那个专门的“思考版”模型！

这意味着，通过更好的训练方法，普通的 AI 也能拥有甚至超越“深思熟虑”的推理能力，而且不需要额外的思考时间。

💡 总结

EasyVideoR1 就像是给 AI 视频理解领域带来了一场工业革命。它解决了“太慢”、“太贵”、“太难评估”的三大难题，让研究人员能更轻松地训练出能看懂视频、能推理、能回答复杂问题的超级 AI。

这就好比以前我们是用手工打磨来制造汽车，现在 EasyVideoR1 提供了一套全自动流水线，不仅造得快，而且造出来的车性能更好、更智能。

EasyVideoR1：面向视频理解的强化学习框架技术总结

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）向原生多模态架构演进，将可验证奖励的强化学习（RLVR）扩展至视频理解领域变得至关重要。然而，现有的开源 RL 训练框架（如 EasyR1, OneThinker 等）在应用于视频模态时面临以下核心挑战：

任务多样性与奖励设计困难：视频理解涵盖从选择题、OCR 到时间定位、空间 grounding 及密集分割等广泛任务，缺乏统一的、任务感知的奖励系统设计。
计算开销巨大：视频数据维度高，重复的解码、采样和预处理（如帧采样、调整大小）在训练流水线的各个阶段（数据加载、Rollout 生成、Actor 训练）造成严重的 CPU 瓶颈，导致吞吐量低下。
评估复现性差：视频基准测试对超参数（如采样策略、帧率、分辨率、提示词模板）高度敏感，现有框架缺乏能够忠实复现官方分数的评估代码。
混合模态训练支持不足：缺乏针对图像和视频混合训练的系统优化，难以在独立配置像素预算的同时保证 FSDP 下的梯度同步。

2. 方法论 (Methodology)

EasyVideoR1 是基于 EasyR1 构建的完整、高效的强化学习框架，专门针对视频理解任务进行了系统性优化。其核心方法论包括：

2.1 视频友好的优化策略 (Video-Friendly Optimization)

离线预处理与张量缓存 (Offline Preprocessing & Caching)：
- 将视频解码、重采样和调整大小等 CPU 密集型操作从训练循环中解耦。
- 生成基于 (video_path, fps, max_frames, max_pixels) 键值的 .pt 缓存文件。
- 机制：训练时仅加载轻量级的缓存路径字符串，各工作节点本地加载张量。通过传递 VideoMetadata 确保各阶段（vLLM, HuggingFace）跳过重复处理，保证行为一致性。
混合模态流水线适配：
- 混合前向传播：在 FSDP 下，针对仅包含图像或仅包含视频的微批次，生成零值虚拟张量以激活所有编码器分支，确保所有参数参与前向传播，避免梯度同步失败。
- 独立分辨率预算：解耦图像和视频的配置参数（image_max_pixels, video_max_pixels, video_max_frames），允许独立调整计算预算。

2.2 混合离线 - 在线训练范式 (Mixed Offline-Online Training)

扩展训练循环以支持预收集的离线轨迹与**在线策略采样（On-policy）**的混合使用。
机制：在每个训练样本中，框架生成 $n-1$ 个在线响应，并将最后一个槽位替换为高质量的离线轨迹。
优势：既利用了高质量 curated 数据解决冷启动和稀疏奖励问题，又保留了在线探索的优势，特别适用于高难度任务。

2.3 任务感知奖励系统 (Task-Aware Reward System)

构建了模块化的奖励库，涵盖 11 种 不同的视频/图像任务类型（如多选、数值回归、时间定位、空间定位、OCR、代码生成等）。
通过中央分发器根据 problem_type 路由到相应的奖励模块，支持 Jinja2 模板动态渲染提示词。

2.4 异步多基准评估框架 (Asynchronous Multi-Benchmark Evaluation)

基于 vLLM 的 AsyncLLMEngine 构建，消除 CPU-GPU 序列化瓶颈。
三阶段异步流水线：
1. IO 阶段：后台线程池从磁盘读取预计算的缓存帧。
2. Prefill 阶段：立即处理新到达的输入序列并构建 KV Cache。
3. Decode 阶段：完成 Prefill 的请求立即进入自回归生成，与后续请求的 Prefill 交错执行。
支持 22 个 主流视频理解基准测试，确保评估协议（如采样策略）与官方报告一致。

3. 关键贡献 (Key Contributions)

完整的视频 RL 训练流水线：引入离线预处理和缓存机制，消除了冗余的视频解码，在 32 张 GPU 上实现了 1.47 倍 的吞吐量提升。
全面的任务感知奖励系统：覆盖 11 种任务类型，提供统一路由和模块化扩展能力。
混合离线 - 在线数据训练：结合 curated 高质量轨迹与在线探索，显著提升复杂任务的学习效果。
联合图像 - 视频训练：支持混合批次，独立配置像素预算，并通过工程优化确保 FSDP 下的参数同步。
异步多基准评估框架：覆盖 22 个基准，评估精度与官方报告高度一致，相比原生推理框架在 LVBench 上实现了 6-7 倍 的加速。

4. 实验结果 (Results)

实验设置：使用 32 张 H200 GPU，对 Qwen3-VL-8B-Instruct 进行约 20 小时 的 RL 训练（基于约 10 万条视频样本，使用 GRPO 算法）。
性能提升：
- 训练后的模型在多个视频理解基准上超越了官方的 Qwen3-VL-8B-Thinking 变体。
- 平均准确率提升：在 10 个代表性基准上，平均准确率从 62.1% 提升至 64.4% (+2.3 分)。
- 特定任务增益：
  - 推理任务 (Video-Holmes): +6.6 分
  - 数学任务 (VideoMathQA): +6.7 分
  - 通用视频理解 (MVBench, Video-MME): 均有显著提升。
效率提升：
- 基于缓存的加载方式相比实时解码，单步训练时间从 194.5 秒降至 131.9 秒。
- Token 吞吐量从 797 tokens/s 提升至 1175 tokens/s (1.47 倍)。
- Rollout 生成时间减少 1.5 倍，参考模型前向传播时间减少 2.9 倍。

5. 意义与影响 (Significance)

填补空白：EasyVideoR1 是目前首个专门为视频理解 RL 后训练设计的完整开源框架，解决了现有框架在视频模态优化上的缺失。
降低门槛：通过提供高效的预处理、混合训练接口和复现性强的评估工具，降低了社区进行视频 RL 研究的门槛。
验证有效性：实验证明，通过 RL 微调，标准的 Instruct 模型可以在视频推理和数学任务上超越专门的 Thinking 模型，且无需额外的推理开销。
社区生态：该项目开源（GitHub: cyuQ1n/EasyVideoR1），支持主流 VLM 架构（Qwen2/2.5/3/3.5-VL）和多种 RL 算法，旨在成为视频理解 RL 研究的标准基础设施。

总结：EasyVideoR1 通过系统性的工程优化（缓存、异步评估）和算法创新（混合训练、任务感知奖励），成功将 RLVR 技术高效地应用于视频理解领域，显著提升了大模型在复杂视频任务上的推理能力。