⚡ electrical engineering

Closing the Modality Reasoning Gap for Speech Large Language Models

本文提出了名为 TARS 的强化学习框架，通过非对称奖励设计中的表征对齐与行为对齐信号，有效缩小了语音大语言模型在推理任务中语音与文本模态间的性能差距，并在 7B 规模模型上取得了最先进成果。

原作者： Chaoren Wang, Heng Lu, Xueyao Zhang, Shujie Liu, Yan Lu, Jinyu Li, Zhizheng Wu

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaoren Wang, Heng Lu, Xueyao Zhang, Shujie Liu, Yan Lu, Jinyu Li, Zhizheng Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一项名为 TARS 的新研究，旨在解决人工智能（AI）在“听”和“读”时表现不一致的问题。

想象一下，你有一个非常聪明的AI 助手。

当你打字问它问题时，它像个博学的教授，逻辑清晰，推理严密，能轻松解出复杂的数学题或科学难题。
但当你说话问它同样的问题时，它却突然变得有点“糊涂”，推理能力大幅下降，经常答非所问。

这就是论文中提到的**“模态推理差距”（Modality Reasoning Gap）**：AI 在“听”和“读”之间的智商出现了断层。

为什么会出现这个问题？

这就好比 AI 的大脑里有一条**“高速公路”（处理文字）和一条“乡间土路”**（处理语音）。

文字输入：数据在高速公路上飞驰，AI 的推理逻辑（比如一步步解题）非常顺畅，不会跑偏。
语音输入：数据在乡间土路上颠簸。虽然 AI 先把语音转成了文字，但在传输过程中，由于语音特有的噪音、语调或转换误差，导致 AI 的“思维路径”发生了漂移（Drift）。
- 就像你让一个人走直线（文字），他走得很直；但如果你让他闭着眼睛走直线（语音），他走着走着就歪了，最后虽然到了终点附近，但过程完全错了。

以前的方法试图在“起点”（输入端）修路，或者在“终点”（输出端）强行纠正答案，但效果都不够好，因为中间的“思维过程”已经歪了。

TARS 是怎么解决的？（核心创意）

作者团队提出了一个名为 TARS 的新框架，它的核心思想是：“让语音思考的过程，像文字思考的过程一样走直线。”

他们设计了一套**“双信号导航系统”**，就像给 AI 戴上了两副眼镜：

第一副眼镜：看“思维轨迹”（表示对齐）
- 比喻：想象文字推理是一条完美的“标准舞步”。当 AI 听语音时，TARS 会实时检查它的“舞步”（内部神经网络的激活状态）是否和标准舞步一致。
- 作用：如果 AI 在语音模式下开始“乱跳”（思维漂移），系统会立刻发出信号：“嘿，你的第 5 步和第 10 步歪了，快回到文字推理的轨道上来！”这确保了 AI 在思考的过程中就不跑偏。
第二副眼镜：看“最终答案”（行为对齐）
- 比喻：就像老师批改作业。不管过程多辛苦，最后的答案必须和标准答案在意思上是一致的。
- 作用：即使中间步骤有点小差异，只要最后得出的结论（语义）和文字推理的结果一样，就给予奖励。这保证了 AI 不会为了模仿过程而编造错误的结论。

他们是怎么训练的？（强化学习）

以前训练 AI 就像**“死记硬背”**：老师给一个标准答案，学生照着背。如果学生背错了，老师就扣分。但这有个问题：如果学生一开始就背错了，后面全错，老师很难告诉他“哪一步”错了。

TARS 采用的是**“强化学习”，更像是在“玩游戏练级”**：

AI 会尝试生成很多种回答（就像玩家尝试不同的走法）。
TARS 不仅看最后答案对不对，还看**“走法”对不对**。
如果 AI 在语音模式下，能像文字模式那样一步步推理，即使最后答案还没完全对，它也会得到**“过程分”**（奖励）。
这种**“过程奖励”**非常关键，因为它告诉 AI：“你现在的思考路径是对的，继续保持！”从而避免了 AI 在复杂的推理中迷失方向。

结果怎么样？

实验结果显示，TARS 非常成功：

填平了鸿沟：AI 听语音做题的能力大幅提升，几乎达到了和打字做题一样的水平（甚至超过了 100%，意味着语音推理比原来的文字推理还强了一点点，因为语音训练反过来也增强了文字能力）。
通用性强：在数学、科学、常识等各种难题上，AI 都变得更聪明了。
不伤及无辜：在提升语音能力的同时，AI 原本的文字推理能力没有下降，反而因为“教学相长”变得更强了。

总结

简单来说，这篇论文就像给 AI 装了一个**“防走神耳机”。
以前 AI 听语音时容易“走神”（思维漂移），导致推理变弱。TARS 通过实时监控思维过程和最终结果**，强行把 AI 的语音推理拉回到和文字推理一样清晰、严密的轨道上。

这不仅让 AI 听懂了人话，更让 AI 在“听”的时候，能像“读”一样聪明地思考。

这是一篇关于**语音大语言模型（Speech LLMs）中模态推理差距（Modality Reasoning Gap）**的学术论文总结。论文提出了一种名为 TARS (Trajectory Alignment for Reasoning in Speech) 的强化学习框架，旨在解决语音输入下的推理性能显著低于文本输入的问题。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

尽管语音大语言模型在自动语音识别（ASR）、语音翻译和语音问答等任务上取得了进展，但存在一个显著的模态推理差距：模型在语音输入下的推理能力远弱于文本输入。

原因分析：
- 表示漂移 (Representational Drift)：语音和文本条件在 Transformer 层中的隐藏状态表示存在差异，随着层数加深，这种差异会累积并放大。
- 长链推理行为偏差：现有的方法（如输入端融合或输出端监督）往往无法在复杂的长链推理过程中保持逻辑一致性。
- 现有方法的局限性：
  - 输入端融合：仅对齐输入层，无法解决深层网络中的漂移。
  - 输出端监督（如知识蒸馏）：通常采用离线（off-policy）方式强制模型生成与文本完全相同的 Token，这忽略了语音分布与文本分布的差异，导致目标不可达，且容易因单 Token 错误引发“暴露偏差”（Exposure Bias），导致推理轨迹发散。

2. 方法论 (Methodology)

作者提出了 TARS 框架，这是一个基于在线策略（On-policy）的强化学习（RL）框架，通过非对称奖励设计来对齐语音和文本的推理轨迹。

核心组件：

非对称奖励设计 (Asymmetric Reward Design)：
- 利用当前策略生成的**文本条件完成（Text-conditioned completions）作为动态参考（Teacher），引导语音条件完成（Speech-conditioned completions）**的优化。
- 总奖励公式： $R_{total} = R_{base} + \alpha \cdot R_{rep} + \beta \cdot R_{beh}$
- 其中， $R_{base}$ 是基础任务奖励（准确率 + 格式）， $R_{rep}$ 和 $R_{beh}$ 是新增的对齐奖励。
双重对齐信号 (Two Complementary Signals)：
- 表示对齐奖励 (Representation Alignment, $R_{rep}$ )：
  - 机制：计算语音轨迹与文本轨迹在每一层 Transformer 隐藏状态之间的余弦相似度。
  - 作用：提供稠密（Dense）的、粗粒度的反馈，减少层间表示漂移，确保内部推理逻辑的一致性。
- 行为对齐奖励 (Behavior Alignment, $R_{beh}$ )：
  - 机制：利用外部嵌入模型（如 Qwen3-Embedding）计算最终生成输出与参考文本在语义层面的一致性。
  - 作用：提供稀疏但语义明确的反馈，确保最终输出的语义正确性，允许模型在内部推理路径上保持灵活性。
训练框架细节：
- 算法：采用 GRPO (Group Relative Policy Optimization) 进行优化。
- 模态特定归一化 (Modality Specific Normalization)：由于文本基线奖励通常高于语音，直接混合归一化会导致语音样本获得负优势值。TARS 将文本和语音样本分组分别计算优势值（Advantage），确保语音模态能持续学习。
- 在线探索：利用 On-policy 机制，模型可以从自身的错误中动态修正推理轨迹，避免暴露偏差。

3. 主要贡献 (Key Contributions)

首个针对推理轨迹对齐的 RL 框架：提出了一种无需修改模型架构的在线强化学习方法，通过非对称奖励将语音推理轨迹与文本轨迹对齐。
创新的非对称稠密奖励机制：结合了表示对齐（解决内部漂移）和行为对齐（解决输出语义一致性），解决了传统离线监督中目标不可达和暴露偏差的问题。
SOTA 性能：在 7B 规模的语音大模型中，该方法在复杂推理基准上达到了最先进水平（State-of-the-Art）。

4. 实验结果 (Results)

实验在 MMSU（多领域知识推理）和 OBQA（常识推理）等基准上进行，使用了 Qwen2.5-Omni 和 Phi-4-MM 作为基座模型。

模态恢复率 (MRR)：
- 在 Phi-4-MM 模型上，TARS 将语音推理准确率提升至 79.80%，超过了原始文本准确率（78.39%），MRR 达到 100.45%（即语音推理能力完全恢复甚至超越文本）。
- 在 Qwen2.5-Omni 模型上，MRR 达到 98.89%，显著优于其他基线（如 SALAD, MiniCPM-o 等）。
对比基线：
- 优于传统的级联系统（ASR + LLM）。
- 优于监督微调（SFT）、直接偏好优化（DPO）和标准 GRPO。
- 证明了表示对齐和行为对齐的互补性：单独使用任一奖励均有提升，结合使用效果最佳。
泛化性：
- 在真实人类语音（SD-QA）和涉及副语言特征（如语调、情感）的任务中表现稳健，未出现性能退化。
- 未损害原有的文本推理能力（Text-only GRPO 与联合训练结果相当）。

5. 意义与结论 (Significance & Conclusion)

理论意义：揭示了语音推理差距的核心在于 Transformer 层间的表示漂移和长链推理的行为偏差，并证明了通过**轨迹对齐（Trajectory Alignment）**而非简单的 Token 级模仿可以有效解决这一问题。
技术价值：提供了一种通用的、无需架构修改的解决方案，利用文本模态作为稳定参考，引导语音模态学习复杂的推理逻辑。
实际应用：显著提升了语音大模型在复杂逻辑推理、数学计算和专业知识问答中的能力，使其更接近人类水平的语音交互体验。

总结：TARS 通过引入表示对齐和行为对齐的双重奖励机制，成功弥合了语音大语言模型在推理任务上的模态差距，实现了语音推理能力向文本能力的“完全恢复”甚至超越，为多模态大模型的推理能力对齐提供了新的范式。