⚡ electrical engineering

Audio Interaction Model

本文介绍了音频交互模型及其实现方案 Audio-Interaction，这是一个统一的流式框架，通过 SoundFlow 系统和 StreamAudio-2M 语料库，将离线任务执行与在线通用音频指令遵循相统一，从而实现了实时的、主动的音频理解与响应。

原作者： Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhifei Xie, Zihang Liu, Ze An, Xiaobin Hu, Yue Liao, Ziyang Ma, Dongchao Yang, Mingbao Lin, Deheng Ye, Shuicheng Yan, Chunyan Miao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：从“录音机”到“实时聆听者”

想象你有一个录音机。你按下录音键，等待某人讲完整个故事，停止录音，然后问录音机：“他们说了什么？”接着，录音机播放出文本。这就是目前的“大型音频语言模型”（LALMs）的工作方式。它们是离线的：它们会等待整个音频片段结束后才开始行动。

但现实生活并非如此。现实生活是一场现场广播。你在朋友说话的同时，就能听到汽车碰撞声、婴儿哭泣声或朋友的咳嗽声。你不需要等到一天结束了才做出反应；你是即时做出反应的。

这篇论文介绍了一种名为 Audio-Interaction（音频交互） 的新模型。你可以把它想象成将那个录音机升级成了一个超级聪明、始终在线的聆听者，它从不停止关注。它不会等待音频结束；它在聆听、理解的同时，会立即决定现在是该保持沉默还是开口说话。

旧模型的缺陷

作者指出了当前技术的两个主要问题：

工具过于专业化： 目前，如果你想要一个翻译语音的模型，你需要一个工具；如果你想要一个聊天的模型，你需要另一个；如果你想让它监听玻璃破碎声，你需要第三个。这就像是一个瑞士军刀，但你必须为每一种工作分别携带一把单独的螺丝刀、一把单独的刀和一把单独的剪刀。
“等待”问题： 现在的模型就像一个服务员，站在厨房里等待整个订单被完整写下来后，才开始走向餐桌。在真实的对话中，如果你等那么久，对话早就结束了。

解决方案：“感知-决策-响应”循环

作者创建了一个名为 Audio-Interaction 的新系统，它运行在一个名为 SoundFlow 的框架之上。

把这个模型想象成一个既是保安又是导游的人。

循环： 每隔一小段时间（约 0.4 秒），“保安”就会倾听声音。
决策： “保安”会问自己：“这重要吗？”
- 如果只是背景噪音（如风声或打字声），“保安”保持沉默并继续聆听。
- 如果是特定的指令（如“翻译这段话”），“保安”会开口进行翻译。
- 如果是紧急情况（如玻璃破碎或咳嗽），“保安”会立即介入并说：“小心！”或“喝点水吧。”
神奇之处： 它用一个单一的大脑完成了这一切。它不需要不同的工具来处理不同的任务。它只是聆听音频流，并根据听到的内容决定该做什么。

他们是如何构建它的（“SoundFlow”工厂）

为了教会计算机如何做到这一点，作者必须建立一种新型的训练工厂，称为 SoundFlow。

数据 (StreamAudio-2M)： 他们不能直接使用旧的录音，因为那些录音太短且太破碎。他们构建了一个庞大的库，包含 260 万个 长时间、连续的音频故事。想象一下，将成千上万个短视频片段缝合成一部无缝衔接的 30 小时长篇电影，其中角色在说话、电话在响、狗在叫，这一切都在一个过程中发生。这教会了模型如何处理真实、杂乱且连续的声音流。
训练 (理解感知型)： 他们教会了模型两项难课：
- 不要话太多： 如果你听到门关上了，不要说“门关上了”。只有在真正必要时才说话。
- 记住过去： 如果有人在 10 分钟前提到了一个名字，即使中间穿插了其他声音，模型在稍后被问及时仍需要记得它。
速度 (FIFO 推理)： 为了实现快速响应，他们使用了“先进先出”（First-In-First-Out）系统。想象一条传送带，音频从一端滑入，模型立即对其进行处理，而不会停下来等待下一段。这使得反应时间极快（比之前的方法快了约 4.5 倍）。

它能做什么？

论文展示了该模型可以完成旧模型无法完成的任务：

实时翻译： 它可以在有人说英语的同时将其翻译成中文，而无需等待对方说完整个句子。
主动帮助： 如果它听到玻璃破碎声，它不会等到人类问“那是什么声音？”之后才回答。它会立即说：“我听到玻璃破碎的声音，请小心！”
语境化聊天： 它可以进行一场对话，理解停顿、咳嗽和背景音乐，并决定何时介入以及何时让真人说话。

结果

作者在 8 个不同的挑战上测试了这个模型。

它没有失去聪明才智： 尽管它学会了以“实时模式”工作，但它在标准任务（如识别语音或回答问题）上的表现与旧的“离线”模型一样出色。
它解锁了新的能力： 它现在可以处理以前不可能完成的任务，比如在声音发生的瞬间做出反应，而不是事后反应。

总结

这篇论文呈现了从记录音频到交互音频的转变。Audio-Interaction 不再是一个等待文件传输完毕后再给出答案的模型，而是一个生活在音频流中的模型，它逐秒聆听，时刻决定何时保持沉默、何时开口说话，就像人类在真实对话中那样。

技术摘要：音频交互 (Audio-Interaction)

问题陈述

目前的语言音频大模型 (LALMs) 主要运行在离线范式下，即模型在生成响应之前需要处理完整的音频片段 ( $y = f(x, A)$ )。这种形式无法捕捉音频本质上的实时性、连续性和交互性。虽然针对特定任务（如流式 ASR 或语音聊天）存在专门的流式模型，但它们面临两个根本性的局限：

碎片化： 每种能力都需要从头开始训练一个独立的模型。
范畴狭窄： 即便是完全流式的系统（例如 Moshi），通常也只能处理单一任务，并且无法理解非语音事件（例如咳嗽或玻璃破碎声），也无法根据语义上下文决定何时做出响应。

现有方法缺乏一个统一的框架，使其能够监听连续的音频流、理解正在展开的上下文，并自主决定是保持沉默还是进行实时干预。

方法论：SOUNDFLOW 框架

作者提出了 AUDIO-INTERACTION，这是一个实现了全天候“感知—决策—响应”循环的统一流式模型。这是通过 SOUNDFLOW 实现的，该框架涵盖了数据构建、训练和推理的全过程。

1. 数据构建：StreamAudio-2M

为了训练具备连续交互能力的模型，作者构建了 StreamAudio-2M，这是一个包含 260 万个条目（30.2 万小时）的语料库，涵盖了 7 种基本能力和 28 个子任务。

层级化事件策划： 作者没有使用会导致语义冲突的随机拼接，而是利用 LLM 规划高层场景，将其细化为具体的事件，并通过检索或生成的音频片段进行落地。
时频联合预处理 (TFJP)： 该模块用于平滑边界、抑制噪声并对齐片段，以确保拼接片段之间的过渡自然。
稀疏干预线索： 样本被设计为 3–15 轮的交互，其中响应线索是稀疏且依赖于上下文的，这迫使模型学习何时不说话。

2. 训练策略

模型基于 Qwen2.5-Omni-3B 进行初始化，并使用双重损失目标进行训练：

语言模型损失 ( $L_{LLM}$ )： 标准的文本生成。
流式控制损失 ( $L_{stream}$ )： 为每个音频块预测一个特殊标记 $d_t \in \{<silent>, <response>\}$ ，以决定是发射文本还是保持沉默。
上下文保留机制：
- 历史回顾： 在序列中插入关于前序内容的提问，以防止上下文遗忘。
- 理解感知型沉默： 模型在经过验证的静音音频段（即不需要响应的片段）上进行训练，以减少因无关声音导致的误触发。

3. 推理：异步 FIFO 调度

为了实现低延迟的实时交互而不产生停顿，作者实现了一种异步推理方案：

解耦： 音频编码器持续处理音频块并将特征追加到先进先出 (FIFO) 队列中。
条件解码： 只有当最后一个生成的标记为 <silent> 或 " 时，解码器才会消耗队列中的特征。如果模型正在说话，它会进行自回归生成，而不会等待新的音频。
结果： 这消除了推理停顿，并比同步方法将首帧延迟降低了 4.5 倍。

核心贡献

音频交互模型： 一个统一的模型，它涵盖了离线任务（ASR、翻译、对话）以及流式原生能力（同声传译、主动协助）于单一架构之中。
SOUNDFLOW 框架： 一个完整的流式音频交互流水线，包括层级化数据合成、理解感知训练和异步推理。
StreamAudio-2M 数据集： 一个大规模、流式原生的语料库（260 万个条目），专为训练模型进行基于上下文的干预决策而设计。
ProactiveSound-Bench： 一个全新的评估基准，包含 644 个人工设计的事件，用于测试模型在没有明确指令的情况下进行主动干预的能力（例如，针对火警或玻璃破碎发出警告）。

实验结果

模型在 8 个基准测试中进行了评估，展示了三个关键增强点：

保留了通用的音频理解能力：
- 在 MMAU（通用音频理解基准）上，Audio-Interaction 在音频指令下的得分为 58.15，优于其离线初始化模型（Qwen2.5-Omni-3B 为 42.51），并能与更大的 7B 离线模型竞争。
- 它在语音指令下保持了鲁棒性，而离线基准模型通常会出现性能下降。
具有竞争力的核心语音性能：
- ASR： 在 LibriSpeech 上，它实现的词错误率 (WER) 为 3.17% (clean) 和 6.04% (other)，尽管受到流式约束，仍能与专门的 ASR 模型相媲美。
- 翻译： 在 CoVoST2 上，其 BLEU 分数较初始化模型分别提升了 +15.72 (En-Zh) 和 +17.04 (Zh-En)，达到了与 7B 基准模型相当的水平。
解锁了流式能力：
- 主动干预： 在 ProactiveSound-Bench 上，Audio-Interaction 在单事件决策上达到 61.2% 的准确率，在多事件序列上达到 62.8%，显著优于离线 LALMs 和其他流式基准模型。
- 长流稳定性： 当流被扩展到 5 个拼接段时，该模型仍能保持超过 91% 的准确率，而基准模型则会下降超过 30%。

重要性与主张

本文声称 AUDIO-INTERACTION 弥合了当前 LALMs 的离线范式与音频连续交互性质之间的鸿沟。通过形式化 音频交互模型 (LAIM)，这项工作证明了单一模型可以：

将不同的音频任务（识别、翻译、对话）统一在同一个流式原生范式之下。
执行主动协助，根据环境线索（如安全隐患）进行干预，而无需明确的用户指令。
通过异步推理实现低延迟、稳定的交互，从而实现实时的“感知—决策—响应”循环。

作者认为这项工作不仅是增量式的改进，更是向统一流式音频智能迈出的必要范式转变，为该领域的未来研究提供了所需的数据、框架和基准。