⚡ electrical engineering

Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners

本文介绍了 NAPE，这是一个极简主义的自监督学习框架，通过训练一个因果 Transformer 来预测对数梅尔频谱图（log-mel spectrogram）的下一个补丁嵌入（patch embedding），在音频和语音任务上实现了最先进的性能，证明了无需复杂的预训练方案，仅凭简单的自回归范式即可有效地学习可扩展的音频表示。

原作者： Umberto Cappellazzo, Xubo Liu, Stavros Petridis, Maja Pantic

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Umberto Cappellazzo, Xubo Liu, Stavros Petridis, Maja Pantic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

声音是一个在时间中讲述的故事。与捕捉瞬间冻结在空间中的照片不同，音频信号作为一个事件序列展开，一个接一个地进行，通过其节奏和演进传递意义。几十年来，计算机一直难以理解这个故事，通常依赖于复杂的、多步骤的“配方”来学习什么是声音或警报声。这些方法通常涉及教机器从破碎的版本中重建声音，或者将声音与老师的示例进行对比。虽然这些方法行之有效，但它们需要复杂的设置和沉重的计算工具才能发挥其全部潜力。

一条不同的路径从语言和视觉领域涌现出来，在这些领域，最强大的人工智能系统现在通过预测“下一个是什么”来学习。这些系统并不试图从头开始重建一张图片或一个句子，而是观察它们目前所见到的内容，并猜测下一个部分。这种简单的预判行为迫使模型理解数据的底层规则，无论是语言的语法还是视觉场景的结构。研究人员长期以来一直在思考，既然音频本质上是序列性的，这种直接的逻辑是否也能适用于声音。来自伦敦帝国理工学院和萨里大学的一组科学家现在用一种新方法回答了这个问题，该方法剥离了以往音频系统的复杂性，转而专注于这种单一的前瞻性预测。

研究人员引入了一个他们称为 NAPE 的框架，代表“下一音频块嵌入预测”（Next-Audio-Patch-Embedding prediction）。要理解它的工作原理，请想象将声音的视觉表示（称为频谱图）作为输入，它看起来像是一张频率随时间变化的地图。系统将这张地图分解成小的正方形瓦片。然后，它按照尊重时间流向的特定顺序，将这些瓦片逐一输入计算机模型。模型的唯一任务就是观察它已经看到的瓦片，并预测紧接着的下一个瓦片的数学表示。它并不试图重建原始声波，也不将自己的猜测与人类标记的示例进行比较。它只是试图让下一步变得准确。

这种方法是刻意追求极简主义的。大多数现代音频学习系统依赖于“教师-学生”设置，即由一个大型的、冻结的模型引导较小的模型，或者使用复杂的解码器从隐藏特征中重建原始音频。NAPE 抛弃了所有这些额外的组件。它使用单个模型同时充当观察者和预测者。为了确保模型学习的是声音的结构而非仅仅是记忆输入，系统防止模型看到未来。它还使用了一种特定的数学技巧，阻止模型通过简单地复制当前瓦片来预测下一个瓦片，从而迫使它真正理解过去与未来之间的关系。模型接收到的唯一信号是预测值与实际下一个瓦片之间的接近程度，这是通过在高维空间中比较两个数学向量的方向来计算的。

这种简单设计的实验结果出人意料地强大。研究人员在六个不同的基准测试上测试了 NAPE，范围从识别环境音（如雨声或狗吠）到识别语音命令以及检测语音中的情绪。他们在来自互联网的海量无标签音频片段数据集上训练了该系统。当他们在这些任务上测试模型时，它实现了最先进的性能，达到或超过了目前最复杂的系统。这种成功在三种不同规模的模型上都成立，从拥有约 1900 万参数的小型版本到拥有超过 3 亿参数的大型版本。随着模型规模的扩大，其表现也随之提升，这表明该方法能够有效扩展，而不会遇到收益递减的瓶颈。

该研究最具有启发性的方面之一是模型如何组织信息。由于系统仅通过预测下一段声音进行训练，它开发出了一套能够自主理解的内部音频图谱。当研究人员观察模型关注的位置时，发现它自然地将具有相似声学特性的声音归为一类，尽管它从未被告知这些声音是什么。它学会了追踪特定频率如何随时间演变，以一种镜像人类感知声音的方式将过去与现在连接起来。这表明，通过简单的预判行为，模型在不需要任何人类标签或复杂重建任务的情况下，就发现了音频的基本结构。

研究还探讨了声音瓦片呈现的顺序如何影响学习。由于声音具有强烈的轴向时间性，研究人员测试了扫描频谱图瓦片的不同方式。他们发现，以尊重时间流向的方式（例如从左到右、从下到上）扫描瓦片效果最好。这证实了音频的时间属性是使这种预测方法奏效的关键。当他们尝试以忽略时间序列的方式扫描瓦片时，模型的性能显著下降，证明了该方法依赖于声音的自然演进。

或许最重要的一点是，研究人员发现 NAPE 学习到的特征即使在模型没有针对特定任务进行完整重训练时也非常有用。在一次测试中，他们冻结了模型，仅在其之上训练一个简单的分类器，系统仍然表现出色。这表明该模型学习到了一种鲁棒且灵活的声音表示，可以轻松适应新问题。虽然该模型并非设计为完美的分类器，但它能如此有效地被使用且仅需极少的额外训练，这一事实表明，预测性方法比以往的方法更直接地捕捉到了音频的本质。

这项工作表明，多年来主导音频机器学习的复杂、多阶段配方可能并非必要。通过回归到一个简单的、因果性的目标——预测序列中的下一步——研究人员构建了一个既更容易训练又更有效地学习的系统。该模型不需要老师、解码器或大规模的辅助规则就能取得成功。它只需要向前看，并猜想接下来会发生什么。这一发现为音频人工智能开辟了一条新路径，表明教机器了解声音最强大的方式，或许是让它一步步地去聆听未来。

技术摘要：Listening Forward (NAPE)

问题陈述

自监督学习（SSL）推动了音频表示学习的显著进展，但现有方法日益依赖复杂的预训练方案。目前的方法通常依赖于重构解码器、单独训练的声学分词器（tokenizer）、采用指数移动平均（EMA）更新的学生-教师架构以及辅助正则化损失。虽然这些方法取得了具有竞争力的性能，但它们缺乏在语言建模（自回归下一标记预测）和视觉表示学习（联合嵌入预测方法）中看到的简洁性和统一接口。

在音频 SSL 领域存在一个关键差距：尽管音频固有的时间结构使其天然适合自回归预测，但尚未有方法成功将“下一嵌入预测”（next-embedding prediction）范式应用于音频。现有的音频 SSL 方法主要改编自视觉范式（例如掩码频谱图建模），这并未充分利用音频信号的序列特性。

方法论：NAPE 框架

作者引入了 NAPE（下一音频补丁嵌入预测，Next-Audio-Patch-Embedding prediction），这是一个将因果性下一嵌入预测范式适配到音频领域的自监督框架。其核心理念是将模型训练为一个预测系统，通过预测序列中的下一个元素来建模数据分布，而非仅仅作为一个静态特征提取器。

核心架构

输入表示： 将原始波形转换为对数梅尔频谱图（ $1 \times F \times T$ ）。这些频谱图被分割成非重叠的正方形补丁（ $P \times P$ ），并通过补丁嵌入层（ $f$ ）投影到 $d$ 维嵌入空间，从而生成一个二维嵌入网格。
扫描顺序： 与线性化顺序具有置换等变性的双向模型不同，NAPE 的因果公式需要特定的扫描顺序来定义“过去”与“未来”。论文评估了四种策略：
- Raster（光栅扫描）： 从左到右，从下到上（标准方式）。
- Time-major（时间主导）： 在每个时间列内从下到上，然后推进时间。
- Zigzag（之字形）： 交替的行方向。
- Diagonal（对角线）： 沿反对角线进行扫描。
- 发现： Raster 和 Diagonal 顺序表现最好，因为它们符合声学事件的时间展开过程。Time-major 表现较差。
因果 Transformer 编码器 ( $h$ )： 一个 Vision Transformer 主干网络通过因果自注意力机制处理线性化序列（防止关注到未来的补丁）。该架构包含 Pre-norm 设计、旋转位置嵌入（RoPE）、LayerScale 以及查询-键归一化（query-key normalization）。
预测头 ( $g$ )： 一个轻量级的头部（具体为 SimSiam 式的三层 MLP）将表示空间与预测空间解耦。它基于当前及过去的嵌入（ $z_{\le t}$ ）产生对下一个补丁嵌入（ $\hat{z}_{t+1}$ ）的估计。
训练目标： 模型最小化预测嵌入 $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ 与实际目标嵌入 $z_{t+1}$ $z_{t + 1}$ 之间的负余弦相似度。
- 损失函数： $L = \frac{1}{N-1} \sum D(\text{stopgrad}(z_{t+1}), \hat{z}_{t+1})$ 。
- 关键机制： 该框架依赖于三大支柱来防止平凡解（崩溃/collapse）：
  1. 因果性（Causality）： 注意力掩码将预测限制在过去上下文内。
  2. 预测偏移（Prediction Shift）： 模型在第 $t$ 步预测 $t+1$ ，防止恒等映射。
  3. 停止梯度（Stop-Gradient）： 应用于目标嵌入，以防止编码器将损失的两端都坍缩为常数。

极简设计

NAPE 刻意避免了以下内容：

重构解码器。
声学分词器（离散目标）。
学生-教师设置（EMA 教师）。
辅助正则化损失。
所有的学习信号都来自于模型预测序列中下一个嵌入的能力。

核心贡献

首个因果下一补丁嵌入音频框架： NAPE 是第一个围绕因果下一补丁嵌入预测构建的自监督音频框架，为基于重构和基于联合嵌入的方法提供了一个实质上更简单的替代方案。
设计维度的系统消融： 作者确定了音频环境下成功的关键组件：
- 扫描顺序： Raster 和 Diagonal 优于 Time-major。
- 预测头： 轻量级的 SimSiam 式 MLP 优于更重的 Transformer 预测器。
- 目标： 预测补丁嵌入（连续型）是有效的；预测原始梅尔内容效果相当，但如果不增加额外正则化，预测编码器特征会导致发散。
- 相似度： 负余弦相似度是最优的；基于距离的度量（L1/L2）会导致崩溃。
可扩展性： 该框架在三种编码器规模（Small: ~19M, Base: ~85M, Large: ~303M 参数）上表现出一致的扩展性。
结构化表示： 定性分析表明，NAPE 学习到了结构化的注意力模式，能够推理频谱上下文和时间历史，并在没有显式标签的情况下将声学相似的补丁进行分组。

实验结果

实验在六个基准测试上进行：AudioSet-2M (AS-2M)、AudioSet-20K (AS-20K)、ESC-50、Speech Commands V1 (KS1)、Speech Commands V2 (KS2) 和 IEMOCAP。

微调性能： NAPE 在多个任务上达到了最先进（SOTA）或具有竞争力的结果。
- NAPE-L (Raster) 在 AS-2M 上达到 50.2 mAP，与使用复杂学生-教师设置及重构解码器的强基线 SSLAM 相匹配。
- NAPE-L (Diagonal) 在 IEMOCAP（语音情感识别）上达到 68.8% 的准确率，比之前的最佳结果（BEATsiter3）提升了 3.5 个百分点。
- NAPE 在大多数基准测试中优于 Audio-MAE 和 A-JEPA，尤其是在较小规模下（例如，在 AS-2M 上，Small 模型比 Audio-MAE 高出 2.6 mAP）。
缩放行为： 性能随模型从小到大一致提升。在音频分类任务上的增益最为显著，而关键词检测任务的绝对增益较小，这是由于饱和现象导致的。
线性探测（Linear Probing）： NAPE 产生了强大的线性探测结果，表明所学习的表示即使在严格的特征冻结评估下也保持了判别性。最好的探测层位于网络的中间部分（例如，Base 模型的第 6 层，共 12 层），这表明顶层专门用于预测任务，而中层保留了通用的分类相关信息。

重要性与主张

论文声称，NAPE 证明了简单的因果下一嵌入预测范式足以训练出强大的音频学习器。通过移除对复杂启发式方法（如 EMA、重构解码器、分词器）的需求，NAPE 提供了一个统一且极简的预训练接口，并能有效地迁移到不同模态。

作者强调，音频的时间结构使其比视觉更独特地适合这一范式。结果表明，连续嵌入的自回归预测可以取代目前主导音频 SSL 的那些复杂的“配方”，为更简单、更具扩展性且更有效的自监督音频学习提供了一条路径。这项工作确立了模型仅通过预测频谱图中下一个补丁的目标，就能学习到有意义且结构化的特征（通过注意力模式和嵌入聚类得到证实）。