Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 OmniVideo-R1 的新模型。简单来说，它就像给现有的 AI 视频理解能力装上了一套“超级大脑”和“敏锐的耳朵”，让它不仅能“看”视频，还能真正“听懂”声音，并把两者结合起来进行逻辑推理。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解它的核心思想：

1. 现在的 AI 有什么毛病？（“偏科”的学霸）

想象一下，现在的很多 AI 模型就像是一个偏科的学霸。

它看视频（视觉）很厉害，能认出猫、狗、汽车。
但它一旦把耳朵打开（加入音频），反而变笨了。就像一个人一边听交响乐一边解题，结果因为太在意音乐，反而把题目看错了。
现状：很多 AI 在“静音版”视频测试中得分很高，但一旦加上声音，分数反而下降。因为它没有学会如何把“看到的”和“听到的”完美融合，反而被声音干扰了。

2. OmniVideo-R1 是怎么解决的？（两个阶段的特训）

作者没有简单地给 AI 喂更多的数据，而是设计了一套两阶段的“特训营”，教 AI 如何像人类一样思考。

第一阶段：学会“带着问题找证据”（Query-intensive Grounding）

比喻：这就好比老师给学生出一道题：“视频里谁在撒谎？”
- 以前的 AI：可能会瞎猜，或者只盯着画面看，完全忽略声音里的破绽。
- OmniVideo-R1 的做法：它被训练成必须先在脑海里“圈出”关键片段。它会想：“等等，我要找证据。先看第 5 秒，那个人在说话；再看第 10 秒，背景里有玻璃破碎的声音。”
- 核心技巧：它不需要老师手把手教它“哪一秒是重点”（因为那样太贵了），而是通过自我监督来学习。它自己生成“时间 + 描述”的草稿，然后自己检查：“我描述的这段画面和声音，真的能回答这个问题吗？”如果答不上来，就自我修正。
- 效果：它学会了先定位，再思考，而不是盲目地看完全片。

第二阶段：学会“左右脑协同”（Modality-attentive Fusion）

比喻：这就好比训练一个侦探。
- 以前的 AI：可能只相信眼睛（视觉），或者只相信耳朵（听觉）。
- OmniVideo-R1 的做法：它进行了一场对比考试。
  - 考题 A：只看画面，不看声音。
  - 考题 B：只听声音，不看画面。
  - 考题 C：画面 + 声音一起看。
- 规则：如果 AI 在“考题 C"（全模态）中的表现不如单独看画面或单独听声音，它就会受到“惩罚”（奖励变少）。
- 目的：强迫 AI 明白：1+1 必须大于 2。只有当它发现“声音 + 画面”组合起来能解开谜题，而单独看哪一边都解不开时，它才会真正学会利用声音和画面的互补性。

3. 最终效果如何？（“全能型”选手）

经过这套特训后，OmniVideo-R1 变成了真正的“全能选手”：

更聪明：在需要结合声音和画面的复杂任务（比如判断视频中的意图、推理剧情）上，它的表现超过了目前市面上最顶尖的开源模型，甚至打败了一些闭源的商业巨头模型（如 Gemini 系列）。
不偏科：最厉害的是，它虽然学会了听声音，但看视频的能力并没有退步。它依然能完美地处理静音视频，没有因为加了耳朵而变笨。

总结

OmniVideo-R1 的核心贡献在于：
它不再只是把声音和画面“拼”在一起，而是教会了 AI 如何主动地、有逻辑地去寻找声音和画面中的线索，并将它们融合起来推理。

这就好比从“一个只会看图的机器人”，进化成了“一个既能看图又能听声，还能像侦探一样抽丝剥茧、逻辑严密的智能助手”。

Each language version is independently generated for its own context, not a direct translation.

OmniVideo-R1 技术总结

1. 研究背景与问题 (Problem)

尽管人类通过视觉和听觉的协同作用来理解世界，但现有的全模态（Omnimodal）视频模型在音视频理解任务上仍面临巨大挑战。论文指出了当前范式存在的核心矛盾：

模态偏差与性能下降：现有的全模态大模型（如 Qwen3-Omni 系列）在引入音频模态后，往往会出现“模态偏差”，导致其视觉推理能力不升反降。例如，Qwen3-Omni 的音视频版本在 MMStar 和 MathVista 等基准测试上的表现显著低于其纯视觉版本。
推理过程缺乏监督：现有的后训练方法（如监督微调 SFT 或标准强化学习 RL）通常只关注最终答案的正确性，缺乏对中间推理过程（如跨模态证据的定位、组合与追踪）的显式监督。
捷径学习：由于缺乏对中间过程的约束，模型倾向于忽略关键的音频或视觉线索，转而利用数据集偏差或单模态捷径来猜测答案，无法实现真正的“多模态协同推理”。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 OmniVideo-R1，这是首个旨在提升混合模态推理能力的强化学习（RL）框架。该框架基于 Group Sequence Policy Optimization (GSPO) 算法，通过两个关键阶段训练模型，使其学会“利用全模态线索进行思考”（Think with omnimodal cues）。

核心策略

OmniVideo-R1 通过两个阶段优化模型的两个基本能力：

查询密集型定位 (Query-intensive Grounding, QI)：基于自监督学习范式。
模态注意力融合 (Modality-attentive Fusion, MA)：基于对比学习范式。

具体训练流程

第一阶段：查询密集型定位 (QI Stage)

目标：训练模型在生成回答前，显式地定位与用户查询相关的音视频片段。
创新点：由于获取基于查询意图的精细定位标注成本高昂，作者设计了一种自监督学习方案。
- 模型输出结构化的 <time>...</time><caption>...</caption> 对。
- 一致性奖励 ( $r_{cons}$ )：利用一个评判模型（如 Qwen3-VL）评估生成的时间片段与其对应的文本描述是否一致。
- 完整性奖励 ( $r_{comp}$ )：评估所有定位片段的拼接内容是否足以支撑从问题到答案的推理过程，确保覆盖关键线索且无冗余。
- 格式与结果奖励：包含格式规范奖励 ( $r_{format}$ ) 和最终答案质量奖励 ( $r_{ans}$ )。
优势：无需过程级标注即可让模型学会主动提取任务相关线索。

第二阶段：模态注意力融合 (MA Stage)

目标：解决第一阶段可能存在的“过度依赖视觉、忽略音频”的问题，强制模型进行深度的音视频融合。
创新点：引入对比学习策略。
- 对同一输入，分别进行三种推理 rollout：(1) 完整音视频输入；(2) 仅静音视频输入；(3) 仅音频输入。
- 注意力奖励 ( $r_{attn}$ )：如果模型在完整音视频输入下的表现优于或等于任一单模态输入，则给予正向奖励。
机制：这种对比机制迫使模型发现视觉和听觉事件之间的协同关系，确保融合后的表征严格优于其组成部分，从而避免模型仅依赖单模态捷径。

数据准备

构建了包含 80K 高质量音视频训练样本的语料库。
通过三阶段清洗流程（质量评估、启发式过滤、类别平衡），确保数据在视频/音频依赖度、逻辑性和准确性上达到高标准。

3. 主要贡献 (Key Contributions)

首个混合模态推理 RL 框架：提出了 OmniVideo-R1，专门针对混合模态推理中的证据追踪和融合问题设计了强化学习方案。
高质量数据集构建：通过专用管道构建了 80K 条针对复杂推理任务的高质量音视频训练数据。
两阶段无标注训练范式：
- 引入了自监督定位（无需过程标注即可学习定位行为）。
- 引入了对比融合（通过对比单模态与多模态表现来强化融合能力）。
卓越的泛化性：实验证明该方法不仅提升了音视频任务，还保持了甚至在某些视觉任务上提升了单模态性能，避免了模态间的性能权衡。

4. 实验结果 (Results)

OmniVideo-R1 在多个基准测试中均取得了 State-of-the-Art (SOTA) 的表现：

音视频理解基准：
- 在 Daily-Omni 上达到 82.8，超越了参数量更大的开源模型 Video-SALMONN 2+-72B (79.4) 以及闭源模型 Gemini-3-Pro (81.1)。
- 在 IntentBench 上达到 74.2，同样优于 Gemini-3-Pro (71.5)。
- 在 OmniVideoBench 上，相比基线模型 Qwen3-Omni-30B-A3B 提升了 21.1% (44.8 vs 37.0)，突破了以往方法接近随机猜测的瓶颈。
纯视觉理解基准：
- 在 Video-MME、MLVU 和 LVBench 等纯视频任务上，模型未出现性能退化，反而在 Video-MME 上提升了 4.4%，证明了其鲁棒性。
消融实验：
- 移除 $r_{intent}$ （定位奖励）或 $r_{attn}$ （融合奖励）均会导致性能显著下降，验证了两个阶段策略的必要性。
- 对比 SFT、CoT SFT 和 Vanilla RL，OmniVideo-R1 的全流程训练策略表现最优。

5. 意义与影响 (Significance)

解决“模态诅咒”：OmniVideo-R1 证明了通过合理的强化学习设计，可以在引入新模态（音频）的同时，不损害甚至增强原有模态（视觉）的推理能力，打破了“多模态导致单模态性能下降”的魔咒。
推理过程的可解释性：通过强制模型进行“查询密集型定位”，模型能够展示其推理依据（即它关注了视频的哪一部分、听到了什么声音），提高了模型决策的透明度和可靠性。
无需昂贵标注：提出的自监督和对比学习策略，使得在缺乏昂贵的人工过程标注（Process-level Annotations）的情况下，依然可以训练出具备深度推理能力的多模态模型，为未来大规模多模态模型的训练提供了低成本、高效率的范式。
迈向通用人工智能：该工作推动了多模态大模型从简单的“感知”向复杂的“协同推理”迈进，是实现真正通用人工智能（AGI）中多感官理解的关键一步。

OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention