💬 NLP

UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception

通过引入用于结构化监督的语义-声学原语（Semantic-Acoustic Primitives）以及用于恢复声学细节的语义-声学平衡门控机制（Semantic-Acoustic Equilibrium gating mechanism），UniAudio-Token 通过增强语义语音分词器的通用音频感知能力，从而实现了一个在理解和生成任务上均优于现有单码本基准模型的统一音频接口。

原作者： Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人（人工智能）如何理解并运用声音的世界。为了做到这一点，机器人需要一本“字典”，将声波翻译成它能阅读的文字。这本字典被称为分词器（tokenizer）。

长期以来，这些字典都有一个重大问题：它们就像是只懂“人类语言”的专业翻译员。它们非常擅长理解人类说了什么，但如果你播放一段狗吠、海浪拍岸或警笛鸣响的声音，它们就会变得“耳聋”。它们会试图将这些声音强行套入语音模式，从而导致理解错误或完全忽略细节。这就是论文中所说的**“声学盲视”（acoustic blindness）**。

另一方面，还有一些旨在“听见一切”的字典（就像高保真麦克风一样），但它们却很难理解文字背后的含义。它们能听出声音的精确音高，却无法告诉你这个人是在开心还是难过，或者他们到底在说什么。

UniAudio-Token 是一个解决这一问题的新型全能字典。作者们（来自北京大学和腾讯）构建了一个系统，它充当了所有声音（不仅是人类语言）的通用翻译器。

他们是通过两个主要的“超能力”来实现这一目标的：

1. “三层三明治”（语义-声学原语）

想象一下你在向朋友描述电影场景。

旧方法： 你只说：“一个男人正在走。”（这是语言部分）。你忽略了他是在雨中行走、穿着红外套以及神情忧郁的事实。
UniAudio-Token 的方法： 他们发明了一种描述声音的新方式，称为语义-声学原语（Semantic-Acoustic Primitives, SAP）。它就像一个三层三明治：
- 第一层（剧本）： 在说什么？（文字内容）。
- 第二层（演员）： 是怎么说的？（声音是低沉的吗？说话的人是在愤怒吗？是一个孩子还是长辈？）。
- 第三层（舞台）： 周围发生了什么？（是在下雨吗？有汽车引擎的轰鸣声吗？还是有门砰然关闭的声音？）。

通过迫使 AI 同时学习这三个层面，它就不再忽略那些“噪音”（如雨声或音乐），而是将其视为重要的信息。

2. “智能混合器”（语义-声学均衡）

即使有了优秀的描述，技术上仍存在一个问题。随着 AI 在大脑中处理声音的深度增加，它往往会丢弃“精细细节”（如声音的质感或房间的回声）以专注于主要含义。这就像是过快地总结一本书，结果把优美的环境描写都弄丢了。

为了解决这个问题，他们构建了一个智能混合器（称为 SAE）。

把 AI 想象成一条工厂装配线。早期的工位看到的是原始、详细的声音（“浅层”层级）。后期的工位看到的是宏观的意义（“深层”层级）。
通常情况下，深层层级会忘记早期层级所看到的内容。
智能混合器是一个观察内容的“守门人”。如果 AI 正在聆听复杂的歌曲或嘈闹的街道，门就会开得很大，让详细的“原始声音”重新进入，并与“宏观意义”进行混合。如果 AI 正在聆听清晰的语音，门就会稍微关闭，以专注于文字内容。
这种过程是自动且即时的，确保 AI 在理解含义的同时，永远不会丢失声音的“韵味”。

结果：一把瑞士军刀

论文表明，这个新系统是音频领域的“瑞士军刀”：

它能听见一切： 在对狗吠、雨落或直升机飞行等声音进行测试时，它能完美地对它们进行分类。旧系统会将这些声音混淆或忽略。
它能完美表达： 尽管它要聆听所有这些非语言类声音，但它并没有在理解人类语言方面变差。事实上，它在生成人类语音方面表现得更出色，因为它学会了保留那些让语音听起来真实的微小细节（如口音和呼吸声）。
它助力“大脑”： 当他们将这个分词器接入大型语言模型（“大脑”）时，那个大脑在回答有关音乐、音效和语音的问题时变得更加聪明，性能超越了之前所有的单一字典系统。

简而言之： UniAudio-Token 是一个全新的工具，它教会 AI 去聆听整个声音世界——包括文字、声音以及背景噪音——同时不会丧失理解或清晰表达的能力。它弥合了“听觉”与“理解”之间的鸿沟。

技术摘要：UniAudio-Token

问题陈述

目前的音频大语言模型（Audio-LLMs）在音频标记化（tokenization）策略上面临着关键性的局限。现有的方法通常分为两类，且两者都存在显著的权衡：

语义语音标记器（Semantic Speech Tokenizers）： 诸如 SpeechTokenizer 和 GLM-4-Voice-Tokenizer 等模型采用单码本设计和强语言对齐（通常从 ASR 编码器初始化）。虽然这些模型在语音理解和生成方面表现出色，但表现出“声学盲目性”。通过严格优化语言内容的提取，这些模型会主动抑制语音线索和听觉场景细节（将其视为噪声），从而导致其在通用音频感知任务（如音乐、声音事件）中失效。
以声学为中心的标记器（Acoustic-Centric Tokenizers）： 诸如 WavTokenizer 等模型优先考虑波形重建和通用音频细节，使用单码本向量量化。然而，它们缺乏明确的语义引导。因此，它们的标记无法根据意义形成清晰的类别聚类，导致语义不同但声学相似的声音（例如，雨声与白噪声）发生分布重叠。

这种二分法迫使出现一种碎片化的范式，即 Audio-LLM 要么受限于纯语音任务，要么依赖于结合了用于感知的连续编码器和用于生成的离散标记器的异构架构。本文认为，一个能够同时支持高保真语音生成和高层级通用音频理解的统一单码本标记器，是一个关键的未解决问题。

方法论

为了解决现有标记器中固有的监督冲突和架构瓶颈，作者提出了 UniAudio-Token，这是一个旨在赋予语义语音标记器通用音频感知能力，且不损害语音能力的框架。该框架引入了两项核心创新：

1. 语义-声学原语 (Semantic-Acoustic Primitives, SAP)

为了解决监督冲突，作者引入了一种结构化监督协议，将原始音频分解为三个互补的层级，显式地将内容与风格解耦：

语言内容： 语音的逐字转录。
语音属性： 六个表征语音产生的归一化字段（年龄、性别、情感、口音、韵律、音色）。
听觉场景： 捕捉声学环境，包括瞬态事件（如关门声）和持续性事件（如引擎轰鸣声）。

不同于传统的 ASR 语料库，SAP 提供了低熵的监督目标，迫使模型在不干扰语义主干的情况下，为语音和声学细节分配容量。数据策展流水线利用大语言模型（LLMs）生成丰富的声学描述，并从大规模 ASR 语料库中合成结构化的 JSON 注释，随后进行严格的质量验证。

2. 语义-声学平衡 (Semantic-Acoustic Equilibrium, SAE)

为了解决深度语义编码器不可逆地丢失细粒度声学线索这一架构瓶颈，作者提出了一个内容感知门控机制。

机制： SAE 模块自适应地融合语义丰富的深层特征 ( $H_{deep}$ ) 与声学丰富的浅层特征 ( $H_{shallow}$ )。
过程： 浅层特征通过一个可学习的 MLP 投影到深层特征空间。门控机制通过将深层和浅层特征拼接并传递给一个经过 Sigmoid 激活的 MLP 来计算融合权重。
功能： 最终表示为 $H_{combined} = H_{deep} + g \odot H_{ada\_shallow}$ 。这使得模型能够根据需要动态注入细粒度的声学细节（例如在音乐或嘈杂环境中），同时保留语音的语言抽象性。

训练策略

模型从 whisper-large-v3 初始化以保留语言对齐。训练分为两个阶段：

第一阶段： 跳过向量量化（VQ）层。仅使用 SAP 预测损失来训练 SAE 模块和解码器，使连续隐空间与结构化 SAP 目标对齐。
第二阶段： 插入 VQ 层。优化码本以产生离散音频标记，同时保留与 SAP 对齐的表示。目标函数结合了 SAP 预测损失、量化损失和承诺损失（commitment losses）。

关键结果

广泛的评估表明，UniAudio-Token 成功弥合了语言对齐与通用表示之间的鸿沟：

潜空间解耦： 在 ESC-50 数据集（领域外）上，UniAudio-Token 为多样化的音频事件形成了紧凑且分离良好的聚类。定量分析显示，它是唯一在 ESC-10 和 ESC-50 上都取得正向轮廓系数（Silhouette Scores）的模型，而基准模型则表现出负值，表明存在特征纠缠。
语音生成保真度： 与“增加声学细节会损害语音”的假设相反，UniAudio-Token 在重建方面优于专门的语音标记器。在 LibriSpeech 和 SEED-TTS 上，它实现了最低的词错率（WER）和最高的平均意见得分（MOS）。作者将其归功于保留了口音特定特征和语音细节（如送气音），而过度激进的语义压缩通常会丢弃这些特征。
下游 Audio-LLM 性能： 与 Qwen2.5 主干集成后，UniAudio-Token 在理解基准测试（MMAU, MMAR, MMSU）中优于所有单码本基准模型，在声音和音乐类别中表现出显著提升。它也在可控文本转语音（TTS）合成方面展示了卓越的性能。
机制验证： 对 SAE 门的分析揭示了其自适应行为：随着信噪比（SNR）降低，门控激活会增加，且在音乐中的激活强度显著高于语音，证实了其作为内容感知控制器而非静态残差连接的角色。

重要性与主张

本文声称，UniAudio-Token 提供了一个统一的离散接口，解决了历史上语义对齐与声学保真度之间的权衡问题。通过引入语义-声学原语和语义-声学平衡，该框架证明了在不牺牲语音生成质量的前提下，赋予语义标记器通用音频感知能力是可能的。

作者将这项工作定位为迈向真正的 Audio-LLM 的关键一步，使其能够通过单一、紧凑的码本，在语音、音乐和环境音之间实现无缝交互。他们指出，尽管该模型实现了高保真的语音重建和强大的通用音频感知，但其针对复杂非语音音频的波形级重建仍逊于专门的高比特率声学编解码器，且由于数据可用性，目前的覆盖范围主要限于英文和中文。尽管如此，这项工作为统一音频标记化建立了一个新范式，避免了以往方法的架构碎片化。