⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

本文通过系统研究数据混合、令牌组合等设计选择，并基于 64 个模型的首次离散音频模型缩放定律分析，提出了 SODA 系列原生音频基础模型，实现了语义、声学及文本令牌的联合建模，从而支持通用音频生成与跨模态任务。

原作者： Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在教我们如何**“从零开始造一个全能型的音频大脑”**。

以前的 AI 做音频任务，要么像个“只会读稿子的播音员”（只懂文字，不懂声音细节），要么像个“只会模仿声音的鹦鹉”（只懂声音，不懂语言逻辑）。这篇论文提出了一种新方法，让 AI 能像人类一样，同时理解**“说了什么”（语义）、“怎么说的”（声音细节）以及“文字本身”**，并且把它们混在一起学习。

作者把这个新系列模型叫做 SODA（Scaling Open Discrete Audio，意为“扩展开放离散音频”）。

下面我用几个生活中的比喻来拆解这篇论文的核心发现：

1. 以前的做法 vs. 现在的做法

以前的做法（拼凑法）： 就像你想让一个只会写文章的人去唱歌。你给他装个麦克风（音频模块），但他本质上还是那个写文章的，所以唱出来的歌虽然歌词对，但没有感情，声音也很机械。或者，你给他一个录音机，让他只模仿声音，但他听不懂歌词的意思。
SODA 的做法（混合法）： 作者把文字、声音的语义（意思）和声音的细节（语调、音色、背景音）全部打碎成一个个小积木（Token），然后像串珠子一样，把文字和声音交替串在一起喂给 AI。
- 比喻： 就像教小孩学说话，不是先让他背字典再学发音，而是直接让他听故事（声音 + 文字混合），一边听一边学，自然就能既懂意思，又学会怎么模仿语气。

2. 核心发现一：怎么“喂”数据最重要？（食谱实验）

在训练这个大脑之前，作者像厨师一样试了很多“食谱”：

选什么食材？ 他们试了三种不同的语音数据（像不同的录音库）。结果发现，有些数据虽然音质好，但像“朗读课文”一样死板，AI 学了之后听不懂人话（跨模态能力差）。他们最终选用了YouTube 上的自然对话（Yodas）和自发演讲（Emilia）混合，因为这里面的声音最像真人说话。
要不要加“纯文字”？ 以前大家觉得学声音就要只学声音。但作者发现，加一点点纯文字数据（5%），就像给学说话的小孩看几本绘本，能极大地提升他的常识和逻辑能力，而且不会让他变笨（声音能力没下降）。
积木怎么搭？ 他们发现，如果只教“意思”（语义），AI 说话没感情；如果只教“声音细节”，AI 听不懂人话。必须把“意思”和“声音细节”混在一起教，AI 才能既懂内容，又能模仿出逼真的声音。

3. 核心发现二：算力和数据怎么分配？（缩放定律）

这是论文最硬核的部分。以前训练大语言模型（LLM），大家认为模型越大越好，数据也要跟着涨，比例大概是 1:1。

新发现： 对于音频模型，数据的重要性比模型大小更重要！
比喻： 想象你在教一个学生（模型）。以前大家觉得，只要给他买个大书包（大模型），他就能学更多。但作者发现，音频信息太稀疏了（就像一本全是图片的画册，信息密度低），所以必须给他看更多的书（更多数据），哪怕书包小一点也没关系。
结论： 如果你想把模型做大，数据的数量应该比模型参数增长得更快（大约快 1.6 倍）。这打破了以前“模型越大越强”的固有认知。

4. 核心发现三：是从零开始教，还是找个“学霸”来教？

冷启动（Cold-Start）： 像一张白纸，从头开始学声音和文字。
热启动（Warm-Start）： 先让一个已经精通文字的 AI（比如 LLM）来学声音。
结果： surprisingly，从零开始教（冷启动）效果更好！
比喻： 如果你让一个已经习惯了“书面语”的学霸去学“方言”，他可能会因为太习惯书面语而学不会方言的韵味，甚至把原本会说的方言给忘了。而一张白纸（冷启动）能更纯粹地学会声音和语言的结合，虽然它一开始不懂世界知识，但学声音的能力更强、更稳定。

5. 这个模型有多强？（SODA 的表现）

作者训练了一系列从 1 亿参数到 40 亿参数的模型（SODA）。

全能选手： 它不仅能听写（语音转文字），还能朗读（文字转语音），甚至能同声传译（把一种语言的声音直接翻译成另一种语言的声音，还保留原说话人的音色）。
举一反三： 最厉害的是，它不需要为了每个任务重新设计架构。就像同一个大脑，换个指令就能做翻译、做听写、做朗读。
保声翻译： 作者演示了一个很酷的功能：把一段中文语音翻译成英文，但保留中文说话人的声音特征（比如那个人的嗓音、语气）。这就像你让一个人用英语说中文内容，但听起来还是他本人的声音。

总结

这篇论文就像是一份**“音频 AI 的烹饪指南”**：

食材要新鲜： 用自然对话数据，别只用朗读课文。
加点佐料： 混入少量纯文字数据，提升逻辑。
火候要足： 数据量要比模型大小增长得更快。
从零开始： 别依赖现有的文字大模型，从头训练声音能力更强。

最终，他们造出了一个SODA，它证明了只要方法对，用“下一个词预测”这种简单的方法，就能训练出既能听懂、又能说话、还能翻译的通用音频大脑。这对未来的语音助手、无障碍设备、实时翻译工具都是巨大的进步。

这是一篇关于**扩展离散音频基础模型（Discrete Audio Foundation Models）**的学术论文，题为《Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens》。该研究由斯坦福大学等机构合作完成，提出了一种名为 SODA (Scaling Open Discrete Audio) 的模型系列，旨在通过统一的 Next-Token Prediction（下一词预测）框架，同时建模语义、声学细节和文本。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

当前的音频语言模型主要分为三类，但都存在局限性：

以 LLM 为中心的架构 (LLM-Centric)：如 SALMONN、Qwen3-Omni。它们在预训练文本 LLM 基础上添加音频模块。
- 缺陷：存在“语义瓶颈”，压缩或丢失了细粒度的声学细节，难以进行原生的端到端音频生成（Audio-to-Audio）。
仅语义模型 (Semantic-Only)：如 TWIST、SpiritLM。仅使用离散语音的语义 Token（如 HuBERT 单元）。
- 缺陷：丢弃了声学细节，无法进行高保真的音频理解和生成。
原生音频模型 (Native Audio)：如 Moshi、Llama-Mimi。直接建模声学 Token。
- 缺陷：通常专注于特定任务（如 TTS），缺乏与文本的深度融合，且缺乏系统的训练配方和扩展规律研究。

核心问题：如何构建一个统一的、原生的音频基础模型，能够同时处理语义、声学细节和文本，并具备跨模态能力（如 ASR、TTS、语音翻译），同时缺乏针对此类模型的扩展规律（Scaling Laws）和最佳训练配方。

2. 方法论 (Methodology)

2.1 模型架构与 Token 设计

架构：采用 Decoder-only Transformer（基于 Qwen3 架构，引入 QK-Norm 以提高稳定性），随机初始化（Cold-start）。
Tokenizer：使用 Mimi 神经编解码器（12.5 Hz，8 个 RVQ 码本）。
- 第 1 个码本：语义内容。
- 第 2-8 个码本：声学细节。
Token 交织策略 (Interleaving)：
- 在话语级别 (Utterance-level) 将音频 Token（语义 + 声学）与文本 Token 进行交织。
- 支持两种格式：Text-first（文本在前）和 Audio-first（音频在前）。
- 这种设计避免了词级对齐错误，并允许模型学习四种能力：(1) 音频续写，(2) 文本续写，(3) 音频→文本 (ASR)，(4) 文本→音频 (TTS)。

2.2 数据策略

语音数据：主要使用 Yodas (YouTube 来源，多语言) 和 Emilia (自发语音)。排除了 MLS（有声书），因其转录格式不匹配且缺乏长度多样性。
文本数据：引入 Nemotron-CC 高质量文本数据。
混合比例：通过消融实验确定最佳比例为 5% 文本 + 95% 语音。这能在不显著损害音频性能的前提下，大幅提升文本知识和推理能力。

2.3 扩展规律研究 (Scaling Laws)

IsoFLOP 分析：在 64 个不同规模的模型（3×10^18 到 3×10^20 FLOPs）上进行了系统研究。
验证损失 (NLL) 的可靠性：发现验证集上的负对数似然 (NLL) 与下游任务（ASR、TTS、语义理解）表现具有强相关性（Spearman $\rho \approx 0.95$ ），可作为可靠的代理指标。
最佳扩展公式：
- 对于离散音频模型，数据量 ( $D^*$ ) 的增长速度快于模型参数量 ( $N^*$ )。
- 推导出的扩展规律为： $N^* \propto C^{0.367}$ ， $D^* \propto C^{0.579}$ 。
- 这意味着最优的 Token 与参数比例 ( $D^*/N^*$ ) 随计算量增加而增加（从 $10^{20}$ FLOPs 时的 ~13 增加到 $10^{23}$ FLOPs 时的 ~58），这与 Chinchilla 定律（文本模型中 $N$ 和 $D$ 等比例增长）不同，反映了音频 Token 的信息密度较低。

3. 关键贡献 (Key Contributions)

SODA 模型系列：训练了从 1.35 亿到 40 亿参数的 SODA 模型，在 500B tokens 上进行训练。这是首个在大规模上系统研究原生离散音频模型扩展规律的尝试。
训练配方 (Training Recipe)：确立了最佳实践：
- 使用语义 + 声学 + 文本的交织 Token。
- 5% 文本数据混合比例。
- Cold-start (从头训练) 优于 Warm-start (基于文本 LLM 初始化)，特别是在跨模态任务（ASR）的稳定性上。
扩展规律发现：首次为离散音频模型建立了 Scaling Laws，发现数据量需要比模型规模增长得更快（ $D^*$ 指数 0.579 > $N^*$ 指数 0.367），归因于音频 Token 的信息密度低于文本 Token。
统一架构的灵活性：证明了同一个模型可以通过微调（Fine-tuning）轻松适应多种任务，包括语音到语音翻译（S2ST），无需修改架构。

4. 实验结果 (Results)

4.1 性能表现

SODA 在多个基准测试中展现了竞争力：

跨模态能力：
- ASR (语音识别)：4B 模型在 LibriSpeech-clean 上达到 5.0% WER，显著优于 SpiritLM 等模型。
- TTS (语音合成)：4B 模型达到 6.1% WER 和 0.56 SIM (说话人相似度)，实现了高保真且保留说话人声音的生成。
语义与声学理解：
- Salmon (声学一致性)：达到 ~70.4%，表明模型能捕捉声学细节。
- sWUGGY/sBLIMP (语义)：随着规模扩大表现出涌现 (Emergence) 特性，4B 模型在 sWUGGY 上达到 61.8%。
文本知识：HellaSwag 准确率从 135M 的 28.7% 提升至 4B 的 52.6%，显示出文本知识的显著增长。

4.2 对比分析

vs. 语义-only 模型：SODA 牺牲了少量的纯语义理解（相比 SpiritLM），但获得了至关重要的声学细节和跨模态能力（SpiritLM 无法进行 TTS 或 ASR）。
vs. 纯音频模型：相比 Llama-Mimi，SODA 通过引入文本 Token 实现了 ASR/TTS 能力，且声学性能（Salmon）未受显著影响。
Cold-start vs. Warm-start：Cold-start 在 ASR 任务上表现更优且训练更稳定；Warm-start 在文本知识上有初始优势，但无法完全通过音频训练恢复，且容易导致 ASR 性能下降。

4.3 语音到语音翻译 (S2ST)

通过简单的 Next-Token Prediction 微调（格式：源音频→源文本→目标文本→目标音频），SODA 在 CVSS-T 数据集上实现了语音到语音翻译，且能保留源说话人的声音（SIM ~0.47），证明了其作为通用音频骨干网络的灵活性。

5. 意义与结论 (Significance)

填补空白：该研究填补了原生音频基础模型在大规模扩展规律和统一训练配方方面的空白。
范式转变：证明了通过简单的 Next-Token Prediction 和 Token 交织，可以构建一个统一的、通用的音频基础模型，替代复杂的专用架构（如单独的编码器/解码器/声码器）。
开源贡献：作者开源了模型检查点、离散音频数据、训练代码和实验日志，极大地降低了音频基础模型研究的门槛。
未来方向：指出了音频 Token 的信息密度对扩展规律的影响，并建议未来研究探索不同 Tokenizer 和采样率下的扩展行为。

总结：SODA 项目通过系统性的实证研究，确立了离散音频基础模型的最佳训练策略和扩展规律，证明了“语义 + 声学 + 文本”的统一建模是构建通用音频 AI 的有效路径，为未来的多模态音频生成和理解奠定了坚实基础。