💻 computer science

AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers

本文提出了 AVRT 框架，通过利用单模态教师模型生成高质量音视频推理轨迹并结合监督微调与强化学习两阶段训练，成功解决了多模态推理数据稀缺的难题，在多个基准测试中实现了同规模模型的最优性能。

原作者： Edson Araujo, Saurabhchand Bhati, M. Jehanzeb Mirza, Brian Kingsbury, Samuel Thomas, Rogerio Feris, James R. Glass, Hilde Kuehne

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Edson Araujo, Saurabhchand Bhati, M. Jehanzeb Mirza, Brian Kingsbury, Samuel Thomas, Rogerio Feris, James R. Glass, Hilde Kuehne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 AVRT（音视频推理迁移）的新方法。简单来说，它的核心思想是：既然我们很难直接教 AI 同时“听”和“看”并像人类一样进行复杂的逻辑推理，那不如先分别请一位“听力专家”和一位“视觉专家”来解题，然后请一位“翻译官”把他们的思路整合起来，最后教给一个全能的学生模型。

为了让你更轻松地理解，我们可以用**“侦探破案”和“烹饪教学”**的比喻来拆解这个过程：

1. 遇到的难题：全能侦探的“失语症”

现在的 AI 就像是一个刚入行的全能侦探（多模态模型），它既能看监控录像（视觉），又能听录音（听觉）。但是，当面对复杂的案件（比如：视频里有人在笑，但背景音里有玻璃破碎声，到底发生了什么？）时，它往往只能给出一个模糊的答案，或者胡乱猜测。

为什么？ 因为市面上缺乏高质量的“破案笔记”（推理数据）。现有的数据大多只有“问题”和“答案”，缺少了中间“我是怎么一步步想出来的”这个推理过程。而且，专门教 AI 同时处理视听推理的高质量数据非常稀缺。

2. AVRT 的解决方案：组建“专家顾问团”

AVRT 不想从零开始教全能侦探，而是想了一个聪明的“借力”办法：

第一步：聘请单科专家（单模态老师）
- 视觉专家（Visual Teacher）： 只负责看视频画面。它像一位眼科医生，能精准描述画面里的人、物、动作。
- 听觉专家（Audio Teacher）： 只负责听声音。它像一位听力学家，能精准分辨背景音、语调、噪音来源。
- 比喻： 就像破案时，我们分别请了一位现场勘查员（看现场）和一位法医（听声音/分析痕迹），让他们各自独立写出详细的分析报告。
第二步：请一位“主编”来整合（LLM Merger）
- 这两位专家的报告格式可能不一样，甚至语言风格也不同。这时候，AVRT 请了一位文字编辑（纯文本大模型）。
- 编辑的任务是把“勘查员”的报告和“法医”的报告拼在一起，整理成一篇逻辑通顺、条理清晰的**“联合破案推理笔记”**。
- 比喻： 就像主编把两份独立的调查报告，整合成一份完美的《案件最终推理报告》，既包含了视觉证据，也包含了听觉证据，并且逻辑严密。
第三步：学生模型“抄作业”并“实战演练”（训练过程）
- 冷启动（SFT）： 先让全能侦探（学生模型）大量阅读这些由专家整合好的“联合推理笔记”。它不需要自己瞎猜，而是学习专家是如何把“看”和“听”结合起来思考的。这就像学生先背诵优秀的范文，学习解题思路。
- 强化学习（RL）： 在掌握了思路后，让侦探去大量的真实案件中进行实战演练。如果它推理对了，就奖励；推理错了，就调整。这就像学生参加模拟考试，通过不断的试错来巩固技能。

3. 惊人的效果：青出于蓝

实验结果显示，这个经过“专家指导”训练出来的学生模型（只有 30 亿或 70 亿参数），在解决视听结合的问题上，表现竟然超过了那些参数更大、但没经过这种特殊训练的对手。

更有趣的是，它甚至**“举一反三”**了：

原本只教它“视听结合”的推理，结果它单独做听力题或单独做看图题时，水平也大大提高了。
比喻： 就像你通过练习“双人舞”（视听配合），不仅舞跳得更好了，连独舞（单模态任务）的水平也提升了，因为你的节奏感和逻辑感变强了。

4. 总结：为什么要这样做？

这就好比你想教一个学生做复杂的数学题：

传统方法： 直接给学生看题目和答案，让他自己悟（很难，容易走弯路）。
AVRT 方法： 先找一位代数老师讲代数部分，找一位几何老师讲几何部分，然后请一位名师把两者的解题思路完美融合，写成一本“大师级解题指南”。最后，让学生反复研读这本指南，并去解题。

AVRT 的核心贡献在于： 它证明了即使没有现成的“全能推理老师”，只要我们善于利用现有的“单科专家”并巧妙整合，也能训练出强大的“全能推理专家”。这不仅解决了数据稀缺的问题，还让 AI 真正学会了像人类一样，将眼睛看到的和耳朵听到的结合起来进行深度思考。

AVRT: 通过单模态教师模型进行音视频推理迁移 (AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers) 技术总结

1. 研究背景与问题 (Problem)

近年来，基于文本的推理模型（如 o1、DeepSeek-R1）在文本领域取得了显著进展，但在多模态推理（特别是音视频结合）方面仍面临巨大挑战。主要瓶颈包括：

高质量数据匮乏：缺乏针对音视频组合的高质量推理数据（即包含详细推理链的数据）。
跨模态整合困难：现有的方法难以在大规模上有效整合不同模态（音频和视觉）的信息与推理线索。
现有方案局限：现有的音视频推理模型要么依赖全模态预训练的大模型（成本高），要么缺乏结构化的推理过程，难以显式地捕捉跨模态依赖关系。

2. 方法论 (Methodology)

论文提出了 AVRT (Audio-Visual Reasoning Transfer) 框架，旨在通过单模态教师模型生成高质量的音视频推理轨迹，并将其迁移到目标多模态学生模型中。该框架包含两个核心阶段：

2.1 推理轨迹生成 (Reasoning Trace Generation)

AVRT 不直接训练多模态教师，而是利用专门的单模态专家模型：

单模态推理提取：
- 视觉教师 ( $T_V$ )：仅接收视频帧，生成视觉推理链 ( $R_V$ )。
- 音频教师 ( $T_A$ )：仅接收音频流，生成音频推理链 ( $R_A$ )。
- 这两个模型分别针对各自的模态进行优化，能够生成高质量的单模态推理。
跨模态聚合 (Cross-Modal Aggregation)：
- 使用一个纯文本的大语言模型 (LLM Merger) 作为接口。
- 将 $R_A$ 、 $R_V$ 和原始问题 $Q$ 输入给 Merger 模型。
- Merger 模型将分散的推理链合并为统一的、结构化的跨模态推理轨迹 ( $R_{agg}$ )，显式地关联音频和视觉信息。
数据过滤：
- 仅保留两个单模态教师都回答正确的样本，以确保训练数据的高质量（从 40K 过滤至 20K）。

2.2 两阶段训练流程 (Two-Stage Training Pipeline)

生成的音视频推理轨迹用于训练目标学生模型（如 Qwen2.5-Omni）：

阶段一：监督微调 (SFT, Cold Start)
- 使用聚合后的音视频推理轨迹 ( $R_{agg}$ ) 对学生模型进行监督微调。
- 目标：让学生模型学习结构化的推理格式（<thinking>...</thinking><answer>...</answer>）以及跨模态的推理模式。
阶段二：强化学习 (RL, GRPO)
- 在更大的数据集（完整 AVQA 训练集）上使用 组相对策略优化 (GRPO) 进行训练。
- 奖励函数包含三个部分：
  - 格式奖励 ( $R_{format}$ )：确保输出符合推理格式。
  - 准确性奖励 ( $R_{acc}$ )：答案正确性。
  - 长度奖励 ( $R_{length}$ )：鼓励适中且充分的推理长度（高斯分布奖励），避免过短或过度冗长。

3. 主要贡献 (Key Contributions)

新颖的聚合方法：提出了一种通过纯文本 LLM 聚合单模态推理轨迹的方法，解决了缺乏多模态推理数据的问题。该方法适用于任何缺乏推理数据的模态组合。
首次实现基于组合单模态数据的多模态推理器训练：证明了无需原生多模态教师，仅通过组合单模态专家的知识，即可训练出具备跨模态推理能力的模型。
广泛的评估与 SOTA 性能：在 7 个基准测试（包括 OmniBench, DailyOmni, MMAR 等）上，3B 和 7B 参数量的模型均取得了同类模型中的最佳性能（State-of-the-Art）。
跨模态迁移验证：证明了在音视频数据上训练的模型，不仅能提升多模态任务表现，还能显著提升**单模态（仅音频）**任务的推理能力，证实了真正的跨模态推理迁移。

4. 实验结果 (Results)

基准测试表现：
- 3B 模型：在 OmniBench 上达到 56.3%（+6.1% 提升），DailyOmni 上达到 49.2%，MMAR（音频推理）上达到 57.3%。
- 7B 模型：在 OmniBench 上达到 57.1%，DailyOmni 上达到 54.4%，MMAR 上达到 59.1%。
- 性能超越了大多数同类大小的基线模型，甚至在某些任务上超越了更大的 30B 模型（如 Qwen3-Omni 的部分指标）。
消融实验发现：
- SFT 的重要性：仅使用 RL 训练仅提升 2.1%，而"SFT + RL"两阶段训练提升了 6.1%，证明 SFT 为模型提供了关键的推理格式和先验知识。
- 聚合策略：音视频聚合轨迹的表现显著优于仅音频或仅视频的推理轨迹，证明多视角推理的互补性。
- 教师选择：使用与学生模型同家族的 Merger 模型（Qwen2.5-14B）比使用不同家族（Gemma3）效果更好，表明架构对齐对知识蒸馏至关重要。
- 错误分析：性能提升主要来源于跨模态推理能力的增强（逻辑错误减少），而非仅仅是格式学习。

5. 意义与影响 (Significance)

降低多模态推理门槛：AVRT 提供了一种低成本、高效率的路径，利用现有的强大单模态模型（视觉和音频专家）来构建强大的多模态推理系统，无需从头训练庞大的多模态基础模型。
数据效率：通过合成高质量的推理轨迹（Chain-of-Thought），解决了多模态推理数据稀缺的痛点，使得模型能够学习“如何思考”而不仅仅是“如何回答”。
通用性：该框架不仅限于音视频，理论上可推广至任何缺乏推理数据的模态组合（如文本 + 3D 点云等），为多模态大模型的发展提供了新的训练范式。
推理能力的泛化：实验表明，通过多模态训练获得的推理能力可以反向迁移到单模态任务中，揭示了多模态交互对提升模型逻辑推理深度的潜在价值。

总结：AVRT 通过巧妙的“单模态专家 + 文本聚合器”架构，成功将文本领域的推理能力迁移到了音视频领域，在数据稀缺的情况下实现了多模态推理性能的突破，为未来多模态大模型的训练提供了新的思路。