💬 NLP

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

本文介绍了一种无需指令、仅进行对齐的框架，用于训练通用音频-语言模型，该框架在保持音频编码器和大语言模型（LLM）均冻结的状态下，仅通过在自生成数据上学习一个轻量级投影器，证明了无需广泛的任务特定监督或微调即可实现具有竞争力的多模态性能。

原作者： Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，一种特定的计算机程序脱颖而出，它能够阅读文本、观察图像并聆听声音，然后针对这些内容回答问题。这些被称为多模态大语言模型的系统，是通过将一个强大的文本处理引擎与教导其理解音频等其他形式的数据相结合而构建的。传统上，这种教学过程既漫长又耗费人力。它通常包含三个截然不同的步骤：首先，将新的声音数据与文本引擎连接起来；第二，通过成千上万个带有真人编写指令的具体任务来训练系统；第三，根据人类的偏好对其行为进行微调，使其听起来更加自然。普遍的观点认为，如果没有这种重度、多阶段的监督，系统将无法有效地学会“倾听”。

然而，一项新的研究挑战了这一假设，提出了一个更简单的问题：如果文本引擎已经知道如何遵循指令和进行推理，它真的需要从头开始重新训练以理解声音吗？研究人员提出，繁重的教学特定任务的工作可能是不必要的。相反，他们建议，仅仅将声音数据与文本引擎现有的知识进行对齐可能就足够了。这种方法将音频视为一种呈现信息的不同方式，而非一种需要学习的新语言，只要两者之间的连接清晰明确，引擎就能够理解这种方式。

研究人员通过构建一个跳过了传统训练阶段的系统来测试这一想法。他们采用了一个预先存在的、功能强大的文本模型和一个预先存在的音频编码器（即一种将原始声波转换为计算机可以处理的格式的工具）。至关重要的是，他们冻结了这两个组件，这意味着在训练过程中，他们没有改变文本引擎或音频工具的任何内部参数。系统中唯一被允许学习的部分是一个位于音频和文本引擎之间的、轻量级的连接器（或称投影器）。这个连接器的唯一职责就是将音频特征翻译成文本引擎能够理解的语言，而从未被告知要执行任何特定的任务。

为了在没有人类指令的情况下训练这个连接器，团队开发了一种称为“自生成数据构建”的方法。他们没有要求人类为每一个音频片段编写问题和答案，而是利用文本引擎本身来创建训练材料。他们提取简单的音频描述，例如一段陈述“一只狗在吠叫”的句子，并将它们输入到冻结的文本引擎中，而不提供任何提示或指令。引擎扮演着创意作家的角色，会将那个简单的描述扩展成一段长篇的、自由形式的响应，想象如果它真的在听到那个声音时会说什么。这些生成的响应成为了目标答案。随后，系统通过仅调整这个微小的连接器，来学习让音频听起来像那些描述，从而有效地教导音频去使用与文本引擎内部思维相同的语言进行表达。

在针对语音、音乐和环境音进行的各种基准测试中，这种无需指令的方法表现得非常出色。尽管使用的训练数据显著减少，该模型仍能达到甚至超越了那些经过传统的、昂贵的多阶段训练的系统。在衡量遵循复杂指令能力的测试中，由于该引擎从未被更改，新模型保留了原文本引擎遵循命令的自然能力，并超越了许多开源竞争对手。这项研究表明，构建此类音频系统的瓶颈不在于缺乏大规模的指令集，而在于声音与文本引擎之间连接的质量。

研究人员还探讨了哪些因素会影响结果。他们发现，系统的性能受限于两个主要因素：音频工具从声音中提取信息的能力，以及文本引擎进行推理的能力。如果音频工具擅长捕捉声音细节，但文本引擎推理能力较弱，那么系统表现就不会好；反之亦然。他们发现，仅仅增加数据并不总是有效；对于需要识别特定声音的任务，系统很快就会遇到性能瓶颈。然而，对于需要开放式推理或创意描述的任务，更多的数据则会持续提升结果。这表明，系统的潜力是由其核心组件的能力定义的，而非仅仅取决于训练样本的数量。

一个有趣的发现是，当用于生成训练答案的文本引擎与用于最终聆听任务的引擎相同时，系统的效果最好。如果研究人员使用不同的引擎来创建训练数据，性能就会大幅下降。这表明系统不仅是在学习识别声音，还在学习如何与特定文本引擎的内部逻辑相对齐。此外，研究表明，通过仅重新训练微小的连接器，该系统就可以适应更新一代的文本引擎，而无需重新训练庞大的引擎本身。这意味着，随着文本模型的进步，音频模型可以通过仅仅更换连接器来实现即时升级，而不是重建整个系统。

该研究得出结论，构建一个具有竞争力的音频语言模型并不需要已经成为标准的复杂、多阶段流水线。通过冻结核心组件并专注于将音频与文本引擎现有的知识相对齐，研究人员可以创建出高效、灵活且高度胜任的系统。这种方法保留了文本引擎的原有优势，例如其遵循指令的能力，而这种能力在模型针对特定任务进行重度微调时往往会丢失。研究结果表明，通往更先进音频理解之路，不在于教导模型学习新技能，而在于寻找让它能够最有效地利用已有技能的方法。

技术摘要：对齐即一切：通用音频-语言模型

问题陈述

当前的通用多模态大语言模型（MLLM），包括大型音频-语言模型（LALM），通常依赖于多阶段训练流水线：跨模态对齐、针对特定任务指令的有监督微调（SFT）以及偏好优化（如 DPO）。这种范式假设将预训练的大语言模型（LLM）适配到新模态需要大量的特定任务监督。然而，这种方法有两个主要缺陷：

泛化能力的侵蚀： 大规模的 SFT 和偏好优化会将 LLM 适配到特定的指令分布，这可能侵蚀其原生的、通用的指令遵循能力，并导致模型过拟合于训练模板而非底层输入信号。
效率与可扩展性问题： 每代新的 LLM 都需要针对全新的骨干网络重新运行昂贵的后训练流水线，这使得适配过程在计算上非常沉重且缓慢。

作者提出的核心问题是：仅靠对齐是否足以构建一个具有竞争力的多模态模型，从而利用 LLM 现有的推理和指令遵循能力，而无需重新训练 LLM 或音频编码器。

方法论

本文提出了一种**无指令对齐（Instruction-Free Alignment-Only）**训练框架。其核心理念是，一个设计良好的投影器可以将冻结的音频编码器连接到冻结的 LLM，使 LLM 能够像解释文本一样解释音频，而无需针对特定任务进行重训练。

1. 架构

该模型由三个部分组成：

冻结的音频编码器 ( $E$ )： 将原始音频 $x$ 映射为特征向量。本文评估了三种范式下的五种编码器：判别式（AudioSet-Zipformer）、ASR 监督式（Whisper-large-v2）以及联合音频-语言预训练式（Qwen 系列）。
冻结的 LLM ( $L$ )： 一个预训练的自回归模型（例如 Qwen2.5-7B-Instruct），作为通用解码器。
可训练的投影器 ( $P_\theta$ )： 一个轻量级的、可学习的模块（一个简单的两层 MLP），负责将编码器的输出映射到 LLM 的输入嵌入空间。仅更新投影器的参数。

2. 自生成数据构建

为了避免指令诱导的偏差，作者消除了显式的任务指令和问答对（QA pairs）。相反，他们利用了一个自生成数据构建流水线：

语义代理（Semantic Surrogate）： 自然语言描述 $c$ （来自真实标签或由描述生成器合成）作为音频 $x$ 的语义代理。
响应扩展（Response Expansion）： 一个冻结的 LLM 扩展器 $g$ 获取描述 $c$ ，并生成一个自由形式的响应 $r = g(c)$ ，仿佛它直接感知到了音频。
训练目标： 生成的数据集由对 $(x, r)$ 组成，其中 $r$ 是从描述代理生成的响应目标。

3. 无指令对齐训练

训练目标是最小化给定音频前缀 $h = P_\theta(E(x))$ 时，在响应标记 $y$ （源自 $r$ ）上的因果语言建模损失：
$\mathcal{L}_{align}(\theta) = -\mathbb{E}_{(x,y) \sim \mathcal{D}_{align}} \sum_{t=1}^{n} \log p_L(y_t | y_{<t}, P_\theta(E(x)))$
至关重要的是，在训练期间不添加任何指令。音频前缀本身必须能够触发期望的响应。用于训练的 LLM 实例必须与作为扩展器 $g$ 的实例完全一致，以确保分布的一致性。

4. 理论基础

该方法基于这样一个假设：现代 LLM 是通用解码器。如果投影器实现了完全对齐（即在缺乏指令的情况下，音频前缀能引发与文本描述相同的响应分布），则模型可以泛化到任何测试时的指令。其性能在理论上受限于 $\min(I(E), C(L))$ ，其中 $I(E)$ 是编码器保留的信息量， $C(L)$ 是冻结 LLM 的响应空间。

核心贡献

无指令对齐驱动的 LALM： 作者证明，通过仅训练一个轻量级投影器并保持音频编码器和 LLM 完全冻结，即可构建具有竞争力的 LALM。这种方法使用的训练数据远少于经过重度后训练的基准模型。
保留指令遵循能力： 通过冻结 LLM，模型保留了其原生的指令遵循能力，在无需 SFT 或偏好优化的情况下，在指令遵循基准测试中达到了开源 LALM 的领先水平。
全自动流水线： 该工作将语音领域的自生成数据构建框架扩展到了通用音频领域，实现了一个无需人工策划 QA 对、任务模板或指令分类体系的训练流程。
消融实验与缩放洞察： 研究提供了广泛的消融实验，表明性能受编码器表示和 LLM 能力的共同约束。研究发现，扩展对齐数据主要有助于开放式推理任务，而闭集识别任务则会根据编码器的限制迅速达到饱和。

实验结果

模型在四个基准测试上进行了评估：MMAU、MMAR、MMSU 和 MMAU-Pro。

性能对比基准： AudioSet-Zipformer 变体（7B 参数，基于约 57.6 万样本训练）在 MMAU (Sound) 上达到了 80.8/77.4，超过了此前使用 46 倍数据量的开源最优模型 (Audio-Flamingo 3)。在 MMAU-Pro 上，其得分平均为 52.8，超越了其他开源模型（如 Qwen2.5-Omni: 52.2, Kimi-Audio: 46.6），并媲美 GPT-4o-Audio 等私有系统。
指令遵循： 该模型在 MMAU-Pro 的指令遵循拆分部分取得了 62.9 的成绩，是所列出的开源 LALM 中最高的，验证了其对冻结 LLM 能力的保留。
编码器敏感度： 判别式 AudioSet-Zipformer 在声音和音乐任务中表现出色，而 ASR 监督式的 Whisper-large-v2 在以语音为中心的任务（MMSU, MMAU Speech）中表现更好。
缩放行为： 将训练数据从 40 万增加到 400 万样本对闭集基准（MMAU）呈现出收益递减现象，这些任务会迅速饱和。然而，对于开放式推理任务（MMAU-Pro Open-ended, MMAR），随着数据的增加，性能持续提升。
描述来源： 由 LLM 生成的合成描述在处理以语音为中心的任务时，其表现与真实描述相当，尽管真实描述在某些编码器下仍略占优势。

意义与主张

论文声称，仅靠对齐就足以构建具有竞争力的多模态模型，挑战了大规模 SFT 和偏好优化的必要性。通过将多模态扩展简化为一个轻量级投影器训练问题，该方法提供了：

高效性： 与全参数微调相比，收敛速度更快，计算成本显著降低。
可移植性： 该方案可以无缝迁移到新一代 LLM，只需重新训练投影器，即可保留 LLM 的通用解码行为。
泛化性： 模型避免了指令诱导的偏差，使其在推理时能够泛化到任意指令，而无需进一步适配。

作者承认了局限性，指出性能从根本上受限于基础编码器和 LLM 的能力，且目前的研究主要局限于音频领域和 7B 规模的模型。他们认为，虽然对齐能很好地捕捉语义，但更丰富的超语义信号可能仍需要专门的监督。