⚡ electrical engineering

Unified Audio Intelligence Without Regressing on Text Intelligence

本文介绍了 Audex，这是一个基于强大的纯文本混合专家（MoE）骨干网络构建的统一 30B 音频-文本大语言模型，它在实现多种音频和语音任务的最先进性能的同时，能够在不产生显著退化的前提下，保留了原模型的先进推理与智能体能力。

原作者： Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamak

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamaki, Andrew Tao, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：一个不会忘记如何思考的“瑞士军刀”大脑

想象你有一位才华横溢的教授，他精通撰写论文、解决复杂的数学难题以及编写软件代码。这位教授就是你的纯文本 AI。现在，想象你想教这位教授同时也理解音乐、识别鸟鸣，并用人类的声音与你对话。

通常情况下，当你教一位天才学习一项新技能（比如杂耍）时，他们可能会在原本擅长的专业工作（比如写作）上变得有些笨拙。因为大脑正忙于学习新把戏，他们可能会开始出现语法错误或遗忘事实。

这篇论文介绍了 “Audex”，一种全新的 AI 模型，它在学习处理音频和语音的同时，并不会丧失清晰思考的能力。

研究人员在名为 Nemotron-Cascade-2 的非常聪明的纯文本大脑之上构建了 Audex。他们的目标很简单：打造一个能够听、说、理解声音，但绝不会丧失推理、解题或遵循指令能力的 AI。

工作原理：“通用翻译器”妙招

大多数处理声音的 AI 模型就像是两个手拉手的人：一个人负责听，另一个人负责说。如果他们之间的沟通不够完美，结果就会变得混乱。

Audex 则不同。它是一个统一的、单一的大脑。它是如何同时处理这一切的呢？

耳朵（音频编码器）： 当 Audex 听到一种声音（如狗吠或某人说话）时，它不会立即尝试理解原始声波。相反，它使用一个专门的“翻译器”（音频编码器），将声音转化为一组数字，这些数字看起来就像 AI 已经掌握的文字一样。
大脑（大语言模型/LLM）： 这些数字被输入到主大脑中。因为大脑将它们视为“Token”（类似于单词），所以它对待一段音频片段的方式，与对待一段文本句子完全相同。
嘴巴（音频编解码器）： 当 Audex 想要说话或发出声音时，它不仅仅是在“思考”词汇；它是在预测序列中的下一个“声音 Token”，就像它预测句子中的下一个单词一样。

类比： 想象一位通常只用文字食谱烹饪的厨师。Audex 就像是教会这位厨师使用“声音食材”进行烹饪。它不需要为声音准备一个独立的厨房，而是直接将声音食材翻译成厨师已经掌握的语言。这样，厨师就可以在不忘记如何烘焙“文字蛋糕”的情况下，烹饪出一锅“声音汤”。

秘诀：在不破坏大脑的前提下进行训练

研究人员面临着一个巨大的挑战：如果你对一个聪明的文本 AI 进行过度的音频训练，它可能会变得不再聪明。为了防止这种情况，他们使用了一套严谨的、循序渐进的训练方案：

热身阶段： 首先，他们教 AI 如何处理“声音食材”（音频 Token），而不改变其核心知识。
分层学习： 他们没有一次性把所有东西都塞给 AI。他们先教它生成声音，然后教它理解声音，最后将两者结合起来。这就像是在尝试骑单轮车之前，先学习骑带辅助轮的自行车。
“无退化”承诺： 在完成所有训练后，他们测试了 AI 的旧技能（数学、逻辑、编程）。结果令人震惊：Audex 在这些任务上的表现与原始的纯文本版本一样出色。 它在获得听觉和说话能力的同时，完全没有损失原有的“天才”智力。

Audex 究竟能做什么？

根据论文所述，Audex 是音频领域的“瑞士军刀”。它可以：

倾听与理解： 它可以回答关于它所听到内容的问题（例如：“那是狗叫还是狼嚎？”或者“这段音乐的情绪如何？”）。
转录与翻译： 它可以将口语转化为文本，并将其翻译成其他语言，即使是在嘈杂的房间里。
说话与歌唱： 它可以根据文本提示生成类人语音，甚至可以创作音乐和音效（如“下雨声”或“鸟鸣声”）。
语音对语音： 它可以接收语音输入并生成不同的语音输出（语音转语音）。

结果：两全其美

论文将 Audex 与其他顶尖 AI 模型进行了对比。

在文本方面： 它的表现与最聪明的纯文本模型一样出色，能够解决复杂的数学和逻辑谜题，性能没有任何下降。
在音频方面： 它在识别语音和理解通用声音方面超越了许多其他模型。
“思考”模式： 不同于某些在试图思考和说话时会变“笨”的模型，Audex 可以针对声音问题进行“思考”（推理），然后一次性生成音频答案。

总结

这篇论文展示了 Audex，它证明了你无需在成为“聪明的思考者”和“优秀的听者/说者”之间做选择。通过将声音视为另一种类型的语言，研究人员构建了一个单一的 AI，它能以同等的卓越水平进行听、说和推理，在掌握声音世界的过程中，完整保留了其原有的智能。

技术摘要：实现统一音频智能且不退化文本智能

问题陈述

通用人工智能（AGI）的发展需要能够理解、推理并生成音频和语音的模型。虽然近期的研究已经产生了用于理解和生成的音频大语言模型（LLMs），但一个关键挑战仍然存在：多模态退化。具备多模态输入和输出能力的模型，与其纯文本版本相比，往往在基于文本的推理、知识和对齐方面表现出显著的性能下降。现有的开源模型通常缺乏多模态生成能力，而专有模型（如 GPT-4o、Gemini 2.5）虽然集成了这些功能，但并未发布权重。此外，现有的统一模型在加入音频生成功能后，往往难以维持其纯文本骨干网络所具备的高级推理和智能体能力。

方法论

模型架构

本文介绍了 Nemotron-Labs-Audex-30B-A3B (Audex)，这是一个基于 Nemotron-Cascade-2-30B-A3B 构建的统一音频-文本 LLM。后者是一个强大的基于混合 Mamba2-Transformer 架构（总参数 30B，激活参数 3B）的纯文本混合专家（MoE）LLM。

统一设计： Audex 使用单个 Transformer 解码器。音频输入由音频编码器（经过微调的 AF-Whisper）处理，并通过 MLP 适配器投影到文本嵌入空间。
分词（Tokenization）： 词表从 131,072 扩展到 205,312 个 token，以容纳离散音频 token。
- 语音： 使用 X-Codec2（50 Hz，单层 FSQ，65,536 词表）进行分词。
- 非语音音频： 使用 X-Codec（50 Hz，4 层 RVQ，4,096 词表）进行分词。
- 生成： 模型使用标准的交叉熵损失，统一预测文本 token 和量化后的音频 token。特殊 token（例如 <speechgen_start>、<audiogen_end>）用于管理生成边界。
解码： 对于非语音音频，一种增强型 VAE（基于 BigVGAN-v2）提高了质量。对于语音，采用流式 ConvNeXt 解码器取代了非因果的 X-Codec2 解码器，以实现更快的推理速度。

训练策略

训练流程涉及精细的数据策展（157.4B 音频 token，320.5B 文本 token）和多阶段方法：

监督微调 (SFT)： 作者比较了两种策略：
- 多阶段 SFT： 一个从纯文本 SFT 开始，随后是“音频预热”（仅训练适配器/嵌入），然后是“音频生成 SFT”，最后集成“音频理解”和 ASR/AST 任务的课程学习。这种方法保留了长上下文注意力机制。
- 单阶段合并 SFT： 将所有数据类型合并在一个阶段中。虽然成本更低，但被发现会显著降低长上下文性能（NIAH 基准测试）。
- 决策： 为了保持文本推理能力，最终模型选择了 多阶段 SFT 策略。
强化学习 (RL)： 模型经历了纯文本 Cascade RL 和多领域在策略蒸馏（MOPD），这与纯文本骨干网络的训练过程一致。这一阶段提升了文本推理和对齐能力，且未导致音频能力的灾难性遗忘。
无分类器指导 (CFG)： 为了提高生成质量，模型在包含无条件样本（文本被填充 token 替换）的情况下进行训练。在推理时，应用特定的超参数进行 CFG：文本转音频 (TTA) 时 $\lambda \approx 3$ ，文本转语音 (TTS) 时 $\lambda \approx 1.5$ 。

核心贡献

无退化的统一架构： Audex 在音频理解、语音识别、翻译、TTS 和音频生成方面达到了最先进水平（SOTA），同时保留了其 30B MoE 骨干网络的文本智能。与其他统一模型不同，它在推理、知识和智能体基准测试中显示出微乎其微或没有退化。
开源发布： 作者发布了针对 30B-A3B 模型和较小的 2B 变体（Audex-2B）的模型检查点，以促进开源研究。
通用音频生成： Audex 是唯一展示了能在单一自回归 LLM 框架内同时支持通用音频生成（非语音）和语音的强大开源模型，实现了文本转音频和文本转语音的统一。
训练方案： 本文详细介绍了一种特定的课程（多阶段 SFT 结合纯文本 RL），该方案成功地将复杂的音频生成任务集成到具有推理能力的 LLM 中，而没有破坏其长上下文或推理能力。

结果

文本能力

Audex-30B-A3B 在关键基准测试上达到或略微超过了其纯文本骨干网络（Nemotron-Cascade-2）：

推理： 在 AIME 2025 上达到 91.2%，在 HMMT Feb25 上达到 92.2%，优于表现出显著退化的 Qwen3-Omni-30B-A3B-Thinking。
长上下文： 在 NIAH 上保持高性能（256K 处为 99.4%，1M 处为 83.4%），而单阶段 SFT 模型则降至接近零。
智能体与对齐： 在 $\tau^2$ -Bench 上得分为 57.2，在 ArenaHard v2 上得分为 81.6，与纯文本基线相当。

音频能力

语音识别： 在 OpenASR（平均 WER 为 6.82%）和嘈杂的 LibriSpeech 上达到了开源模型的 SOTA 水平，优于 Step-Audio-R1.1 和 Qwen3-Omni-30B-A3B-Thinking。
音频理解： 在 MMAU（75.6）上匹配了强基线，并在音频蕴含（Audio Entailment, 95.0）和 CMM 幻觉检测方面展示了卓越的可信度。
生成：
- TTS： 在 Seed-TTS-Eval（固定声音）上达到 1.70 WER。
- TTA： 在 AudioCaps（66.9 OpenL3 FD）和 SongDescriber（62.7 OpenL3 FD）上达到了公开数据模型中的 SOTA 结果，优于 AudioLDM2 和 Stable Audio Open 等扩散模型基线。

重要性

本文声称，Audex 代表了迈向 AGI 的关键一步，它证明了可以在不损害文本智能的前提下，构建具备理解和生成能力的原生多模态 LLM。通过利用精心策划的多阶段训练方案，将音频生成集成到高推理能力的 MoE 骨干网络中，Audex 弥合了专用音频模型与通用推理引擎之间的鸿沟。作者强调，其方法避免了其他统一模型中出现的“退化”现象，证明了在为前沿 LLM 添加音频能力的同时，可以保留其核心推理、知识和智能体优势。