⚡ electrical engineering

PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs

本文介绍了 PAL，这是一个结合了紧凑型 PLITS 投影与轻量级 LAL 注入机制的混合框架，旨在将丰富的音频语义高效地传输到大语言模型（LLM）中，与现有的集成范式相比，该框架实现了卓越的性能并显著降低了计算开销。

原作者： Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个才华横溢、能言善辩的机器人（即大语言模型，LLM），它精通文本的阅读与写作，但它这辈子从未听过任何声音。你想教它理解音频——比如狗吠、音乐播放或人类说话的声音。

问题在于：如何将声音输入到一个仅限文本的大脑中，而不至于让它“宕机”或者变得极其缓慢？

这篇论文介绍了一种将音频连接到这些文本机器人的新方法，称之为 PAL（通过 LLM 探测音频编码器）。以下是使用简单类比进行的详细拆解。

旧方法：“沉重的盔甲”（PLITS）

目前，大多数研究人员使用的是一种被作者称为 PLITS 的方法。

类比： 想象你想给一位作家展示一张图片。在旧方法中，你将图片的每一个像素都变成一个微小的词汇，然后将所有这些词汇粘贴在作家的故事之前。
问题： 如果图片分辨率很高（比如一段很长的音频剪辑），你会最终粘贴成千上上万个额外的词。作家必须在写下第一个新句子之前，读完所有这些额外的词。这使得过程非常缓慢，并且需要消耗大量的内存（就像随身携带一套沉重的盔甲一样）。

新点子：“耳语”（LAL）

作者提出了一种更轻量的方法，称为 LAL（轻量级音频 LLM 集成）。

类比： 与其粘贴成千上万个词，不如想象你有一个“声音耳语者”。这个耳语者不会强迫作家去阅读新的词汇。相反，他们只是在作家思考时，直接拍拍作家的肩膀，将声音的“语境”低声传进作家的耳朵里。
工作原理： 音频信息仅被注入到大脑中决定“该关注什么”的部分（注意力机制）。它跳过了大脑中进行重度计算的部分（前馈网络）。
结果： 作家仍然可以完美地理解声音，但他们不必再背负那套沉重的“盔甲”。
- 速度： 训练速度提高了约 190%。
- 内存： 使用的内存减少了约 60%。
- 性能： 表现与旧有的沉重方法一样出色。

两全其美：“混合模式”（PAL）

作者意识到，虽然“耳语”（LAL）很快，但有时你需要一个完整声音的总结来获取全局观。因此，他们创建了 PAL，这是一种混合方法。

类比： 想象有一支由两名助手组成的团队在帮助作家：
1. 总结者 (PLITS)： 将长段音频压缩成一段简短的三句式总结，并将其粘贴在最开始。这给了作家一个“大局观”。
2. 细节耳语者 (LAL)： 获取完整的、细节丰富的音频，并在思考过程的第一阶段，直接将细粒度的细节（如人声的具体音高或特定的音效）低声传进作家的耳朵里。
为什么有效： “耳语者”处理早期的、细粒度的处理（如识别特定声音），而“总结者”则有助于后期的、高层级的推理（如理解故事内容）。
结果： PAL 比旧的沉重方法更快，使用的内存也更少，但它的表现实际上优于旧方法和仅有“耳语”的方法。

论文的核心要点

效率： 通过改变音频进入机器人大脑的方式（仅通过“注意力”触达，而非沉重的“思考”模块），他们节省了巨大的计算能力。
无需“冻结”： 即使我们将机器人的主要知识库锁定（使其无法学习新事实），这种新的音频方法依然能完美运行。这意味着你可以为现有的机器人添加音频功能，而无需重新训练它们的整个大脑。
通用性： 他们在理解语音、音乐和通用声音（如汽车喇叭声或狗吠声）方面进行了测试，并且在所有领域都表现良好。

简而言之： 论文的观点是，“不要强迫机器人去阅读一本声音词典。只需在它思考时，将声音的含义低声传进它的耳朵，并在开始时给它一个快速总结。这样更快、更便宜，也更聪明。”

技术摘要：PAL：通过 LLM 探测音频编码器

1. 问题陈述

将音频感知集成到大语言模型（LLM）中是实现机器听觉应用的关键步骤。然而，如何将音频编码器的丰富音频语义高效地传输到 LLM 中仍有待深入探索。

目前的先进集成范式（在本文中被称为 将音频预置于 LLM 输入 token 空间，即 PLITS）通常将音频编码器输出投影到 LLM 输入空间（通过 MLP 或 Q-Former），并将这些音频 token 预置在文本 token 序列之前。随后，整个拼接序列会通过所有的 LLM 层进行传播。虽然这种方法有效，但由于音频 token（其数量通常远多于文本 token， $N_a \gg N_t$ ）在每一层都要经历完整的因果自注意力（causal self-attention）和前馈网络（FFN）处理，因此产生了巨大的计算开销。这导致了二次方注意力复杂度 $O((N_a + N_t)^2)$ 和高内存占用，限制了可扩展性和推理吞吐量。

其他架构（如 Flamingo 式模型）在 LLM 层之间插入交叉注意力（cross-attention）和 FFN 模块。虽然这种方式相对于简单的拼接提高了注意力效率，但它增加了序列深度和每层的计算量，可能减慢前向传播速度。

2. 方法论

本文提出了两种新的集成策略：LAL（轻量级音频 LLM 集成）和 PAL（通过 LLM 探测音频编码器）。

2.1. LAL：轻量级音频 LLM 集成

LAL 是一种核心架构修改，旨在仅通过注意力机制注入音频表示，从而绕过音频 token 的前馈模块。

机制： 在标准的 LLM 层中，文本隐藏状态 $H^t_l$ $H_{l}^{t}$ 和投影后的音频特征 $\hat{A}_l$ $\hat{A}_{l}$ 被拼接形成 $S_l$ $S_{l}$ 。
- 查询（Queries, $Q$ ）： 仅由文本 token（ $H^t_l$ ）计算得出。
- 键（Keys, $K$ ）与值（Values, $V$ ）： 从拼接序列 $S_l$ （包含文本和音频）中计算得出。
信息流： 音频 token 调节文本 token 的注意力上下文，但不经过 FFN 子层。这使得文本 token 能够在不让音频 token 进行非线性变换的情况下，从音频中获取信息。
复杂度降低： 通过将查询限制在仅文本 token，注意力复杂度从 $O((N_a + N_t)^2)$ 降低到 $O((N_a + N_t)N_t)$ 。由于 $N_a \gg N_t$ ，这消除了 $N_a^2$ 项，从而实现了显著的效率提升。
位置编码： 为了保持时间顺序，LAL 显式管理位置 ID，在序列中预留一个空隙给音频 token，以确保旋转位置嵌入（RoPE）相对于文本能够正确运行。

2.2. PAL：混合集成

考虑到 LLM 的不同层可能受益于不同的集成风格，作者提出了 PAL，这是一种结合了 PLITS 和 LAL 的混合方法。

架构：
1. PLITS 路径（摘要）： 通过具有步长 $r$ 的一维卷积（1D convolution）从完整音频序列中提取一组紧凑的摘要 token。这些摘要 token 通过标准的 PLITS 方法进行处理（预置在文本前并经过所有层）。
2. LAL 路径（全分辨率）： 全分辨率音频 token 序列通过 LAL 注入到注意力模块中。
层分配： 实证分析表明，全分辨率声学细节在 LLM 的早期层中更为关键，而高层语义与文本的对齐在后期层中更为重要。因此，PAL 将 LAL 注入限制在 前三分之一 的 LLM 层中。超过此点后，模型仅依赖于 PLITS 摘要 token。
Token 排序： 在注意力机制中，键（Keys）和值（Values）是交错排列的，使得一个摘要 token ( $p_j$ ) 紧随其对应的全分辨率 token 块 ( $\ell_i$ ) 之后，从而保持摘要与底层细粒度上下文之间的对齐。

3. 核心贡献

LAL 集成： 引入了一种轻量级策略，将音频 token 仅作为 LLM 注意力子模块中的键和值进行整合，跳过了 FFN 处理。这降低了计算和内存成本，同时保持了与 PLITS 相当的性能。
PAL 混合架构： 提出了一种混合方法，将 PLITS 应用于紧凑的摘要 token，并将 LAL 应用于全量音频序列。该方法在保持高计算和内存效率的同时，显著优于 PLITS。
严谨的实证验证： 在多个基础 LLM（Llama-3.2-1B/3B, Qwen2.5-1.5B）和多样化任务（分类、描述、推理、语音、音乐及声音理解）上，在标准化的训练课程和数据集设置下进行了公平比较。

4. 实验结果

实验表明，与现有基线（PLITS 和 Flamingo 式模型）相比，LAL 和 PAL 提供了更优的效率-性能权衡。

效率增益：
- 内存使用： 与 PLITS 相比，LAL 将训练内存使用量降低了约 60%，推理内存降低了 83%。
- 吞吐量： 训练吞吐量增加了约 190%，推理速度提升了 1.2 倍至 1.5 倍。
- 可扩展性： 由于 LAL 相对于音频 token 数 $N_a$ 呈线性缩放，随着音频序列变长，其效率优势更加明显。
性能：
- 通用音频理解： LAL 在分类（ESC-50, DCASE, VocalSound）、描述（AudioCaps, Clotho）和推理（CompA-R）任务上的表现达到或超过了 PLITS。例如，在 Llama-3.2-3B 骨干网络上，LAL 在 ESC-50 上的准确率达到了 89.25%，而 PLITS 为 84.60%。
- 统一音频-语音-音乐理解： 在统一设置（MMAU, MMAR, MMSU 基准测试）中，混合模型 PAL 取得了最佳性能。
  - MMAU： PAL-3B 达到了 70.20% (test-mini) 和 68.20% (test)，优于 PLITS-3B (64.30% / 62.91%)。
  - MMAR： PAL-3B 达到了 45.40% 的准确率，超过了 PLITS-3B 的 41.10%。
  - MMSU： PAL-3B 的整体准确率为 46.18%，而 PLITS-3B 为 40.12%。
- 消融实验： 在 PAL-All 变体中，屏蔽 LAL 或 PLTS 路径都会导致性能下降，这证实了这两条路径提供了互补的信息（LAL 用于细粒度声学上下文，PLTS 用于高层语义对齐）。
冻结 FFN： 文中指出，即使在 LLM 的 FFN 块被冻结时，LAL 依然有效，这表明音频信息可以通过注意力机制进行集成，而无需修改 FFN 中存储的核心参数知识。

5. 重要性与主张

本文声称，LAL 和 PAL 代表了从参数高效微调（PEFT）方法（如 LoRA）向核心架构修改的转变，这种转变从根本上改变了音频 token 参与 Transformer 前向传播的方式。

可扩展性： 通过减少对音频 token 数量的二次方依赖，这些方法使得训练和部署具有更长上下文窗口和更高分辨率的音频-LLM 成为可能，且不会产生过高的计算成本。
效率与性能： 作者证明，可以在大幅降低内存占用并提高吞吐量的同时，实现顶尖的音频理解性能。
设计洞察： 这项工作为可扩展音频-LLM 的设计提供了具有实践意义的见解，特别强调了早期层受益于全分辨率声学注入（LAL），而后期层受益于紧凑的、与语言对齐的摘要（PLITS）。

作者总结道，这些效率增益可以扩大音频理解技术的应用范围，尽管他们也强调了在涉及隐私、偏见和高风险应用时进行负责任部署的必要性。