⚡ electrical engineering

Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

本文通过改进和引入生成模型，探讨了尚未得到充分研究的零样本环境声音分类挑战，并具体证明了一种以类别辅助数据为条件的创新扩散模型在多个音频数据集上的表现优于现有基准模型。

原作者： Ysobel Sims, Alexandre Mendes, Stephan Chalup

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Ysobel Sims, Alexandre Mendes, Stephan Chalup

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：教机器识别它从未见过的东西

想象一下你正在教一个孩子识别动物。你给他看狮子、老虎和熊的照片。你向他解释这些是“大猫”或“森林居民”。然后，你带孩子去动物园，并给他看一只猎豹。

这个孩子以前从未见过猎豹。然而，因为他理解“大猫”和“森林”的概念，他可以猜出：“那一定是一只猎豹！”

这就是零样本学习（Zero-Shot Learning）。它是指计算机利用它已经见过的相似事物的知识，来识别从未被明确训练过的东西的能力。

虽然计算机在处理照片（比如识别一种新类型的汽车）方面已经做得非常出色，但在处理声音方面仍然很吃力。如果你播放一段新的鸟叫声或某种特定的机器噪音，而计算机以前从未听过，它通常无法猜出那是什么。

解决方案：“声音想象力”机器

纽卡斯尔大学的研究人员想要解决这个问题。他们注意到，在图像领域，一种被称为**扩散模型（Diffusion Model）**的新型 AI（也是 AI 艺术生成器背后的技术）非常擅长从零开始创造新的图像。

他们问道：我们能否利用这种“想象力”来帮助计算机理解新的声音？

他们构建了一个名为 ZeroDiffusion 的新系统。以下是它的工作步骤：

1. 字典（嵌入/Embeddings）

首先，计算机需要一种方式来理解一个声音的“含义”，而不仅仅是它的“听起来像什么”。

类比： 想象每一个声音（比如“狗吠”或“下雨”）都被翻译成了一段由数字组成的秘密代码。
在这段代码中，相似的事物距离很近。 “狗”的代码与“狼”的代码非常接近，但远离“钢琴”的代码。
研究人员使用了一个现有的字典（Word2Vec），将声音的名称转化为这些数字代码。

2. “声音想象力”（扩散模型）

这是他们新发明中的核心部分。

类比： 想象你有一个粘土盒。你知道“狗”长什么样，“猫”长什么样。但你从未见过“狐狸”。
扩散模型就像一位研究过狗和猫之“粘土”的大师雕塑家。它根据“狐狸”的指令，从一块空白的粘土（随机噪声）中，凭空雕刻出一只假的狐狸。
在计算机的世界里，它获取随机噪声和“狐狸”的数字代码，然后生成一个虚假的音频嵌入（一个虚假的数字代码），这个代码看起来就像真实的狐狸声音的数字代码一样，尽管计算机从未听过真实的狐狸。

3. 最终测试

一旦计算机为这些未见过的声音生成了数千个这些“虚假”示例，它就会将这些示例与它原本已知的真实示例混合在一起。然后，它会在这种混合数据上训练一个最终的分类器（决策者）。

结果： 当计算机最终听到一只真实的狐狸时，它会说：“我以前见过假的狐狸！我知道这是什么！”

实验：声音奥林匹克

研究人员在 六个不同的声音数据集 上，将他们的新型“声音想象力”机器与其他三种方法进行了对比。这些数据集包括：

城市噪音（交通、警报声、电钻声）。
自然声音（鸟鸣、雨声、风声）。
音乐流派（摇滚、爵士、古典）。

他们将自己的新方法（ZeroDiffusion）与以下方法进行了比较：

旧标准 (ALE)： 一种简单、可靠的方法，不具备任何“想象”能力。
“体操运动员” (LisGAN)： 一种复杂的生成方法，虽然试图生成声音，但难以控制。
“架桥者” (CADA-VAE)： 另一种试图将声音代码与意义代码连接起来的方法。

结果：谁赢了？

冠军： ZeroDiffusion 是总冠军。它在六个数据集上的平均得分最高。
惊喜： 在计算机视觉（图像）领域，扩散模型非常有名。这篇论文证明了它们在声音方面同样有效。
代价： 虽然 ZeroDiffusion 的准确度最高，但它有点“情绪化”。有时它表现得非常出色，有时又有些不稳定（就像一个今天考 A，明天考 C 的学生）。较旧、较简单的方法 (ALE) 虽然准确度较低，但非常稳定且可靠。

为什么这很重要

在这篇论文发表之前，还没有人成功地使用“扩散”模型来帮助计算机在没有训练数据的情况下学习新声音。

首次实现： 这是第一次将这种特定类型的 AI 测试在环境声音上。
新基准： 他们为三个此前从未以此方式测试过的特定声音数据集创建了新的测试规则。
灵活性： 不同于某些仅适用于图片的 AI，这种方法可以应用于任何声音，无论是鸟叫、汽车声还是乐器声。

总结

这篇论文介绍了 ZeroDiffusion，这是一种通过让计算机在数学层面“想象”这些声音应该是什么样子，从而教计算机识别从未听过的声音的新方法。它在平均水平上优于现有方法，证明了用于 AI 艺术创作的强大“想象力”技术也是 AI 听觉的秘密武器。

技术摘要：用于零样本环境音分类的嵌入空间扩散模型

问题陈述
零样本学习（ZSL）旨在通过利用语义信息，使模型能够对未见类别进行分类，从而弥合训练集与测试集之间不相交类别集之间的差距。虽然 ZSL 在计算机视觉领域已取得显著研究进展，但在环境音频领域的应用仍处于探索阶段，且现有研究的表现较差。目前的环境音频 ZSL 方法主要依赖于非生成式方法（例如兼容性网络），或者未能利用在视觉任务中观察到的生成模型的成功。此外，现有的 ZSL 生成式方法通常依赖于与特定模态（图像和文本）绑定的预训练大模型（如 Stable Diffusion），这限制了其在音频领域的适用性，因为在音频领域可能不存在此类预训练基础模型，或者特征数据在预训练期间必须保持不可见。

方法论
本文提出了 ZeroDiffusion，一种全新的用于零样本环境音分类的生成式方法，该方法完全在嵌入空间内运行，无需依赖预训练的生成模型。该方法由三个主要阶段组成：

嵌入生成：
- 类别嵌入 ( $\sigma(z)$ )： 类别标签通过预训练的 Word2Vec 模型转换为 300 维向量。为了丰富这些嵌入，除 ARCA23K-FSD 和 GTZAN（受限于规模或流派约束）外，大多数数据集都添加了同义词。
- 音频嵌入 ( $\tau(w)$ )： 使用经过修改的 YAMNet 模型，在已见类别上进行训练，从对数 Mel 谱图中提取 128 维音频嵌入。这确保了特征提取器在预训练期间不会无意中“看到”未见类别。
扩散模型训练：
- 一个轻量级的全连接神经网络被训练为以类别辅助数据为条件的扩散模型。
- 输入： 模型接收一个噪声注入的音频嵌入 ( $\tilde{\tau}(w)$ ) 与一个抖动后的类别嵌入 ( $\tilde{\sigma}(z)$ ) 的拼接结果。
- 目标： 模型学习在类别嵌入的条件下，从噪声输入中重建原始音频嵌入。
- 损失函数： 训练目标结合了五个组件：均方误差（重建）、最大均值差异（分布对齐）、方差损失（多样性）、全局质心对齐以及余弦相似度损失（方向对齐）。
- 生成： 训练完成后，模型通过将随机噪声及其对应的类别嵌入输入模型，来生成未见类别的合成音频嵌入。
分类器训练：
- 一个基于属性标签嵌入（ALE）的非线性兼容性网络被训练，该网络结合了来自已见类别的真实音频嵌入和来自未见类别的合成嵌入。
- 分类器学习一个相似性函数 $f(w, z)$ ，用于将特征数据映射到类别标签，而无需实际接触未见类别的音频样本。

实验设置
本研究在六个数据集上评估了四种方法：ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019, 以及 GTZAN。

基线模型：
- 非线性 ALE： 一种针对环境音频的最先进的非生成式基线。
- CADA-VAE： 一种从计算机视觉领域迁移而来的、经过交叉对齐和分布对齐的变分自编码器（VAE）。
- LisGAN： 一种利用不变侧边生成对抗网络（Leveraging Invariant Side Generative Adversarial Network），已针对归纳学习设置进行了调整（移除了转导性组件）。
协议： 实验使用不同的随机种子重复进行十次。对于 ESC-50，采用了标准的非线性 ALE 分区；对于其他数据集，则创建了新的随机分区。

关键结果

性能： ZeroDiffusion 在六个数据集上的平均准确率达到了最高（34.86%），优于非线性 ALE 基线（32.27%）、CADA-VAE（31.37%）和 LisGAN（29.36%）。
数据集特性：
- ZeroDiffusion 在 ARCA23K-FSD 和 TAU Urban Acoustics 2019 上表现出显著提升。
- 它在 UrbanSound8k 和 GTZAN 上表现出与基线相当的竞争力。
- 在 ESC-50 和 FSC22 上，结果表现不一；ZeroDiffusion 并非在每个折叠（fold）中都能一致地超越所有方法，且在 FSC22 测试集上的表现明显不稳定。
稳定性： 生成式方法（包括 ZeroDiffusion）比非生成式 ALE 基线表现出更高的标准差。例如，CADA-VAE 在 UrbanSound8k 上的标准差高达 8.08%，而 ALE 则保持在 1% 左右。
数据依赖性： 作者观察到 ZeroDiffusion 的性能与数据集大小相关。每类样本量较多的数据集（如具有 1,440 个样本/类的 TAU 2019）效果更好，而较小的数据集（如具有 40 个样本/类的 ESC-50）则表现出不稳定性。

贡献与意义
本文声称其贡献如下：

首个嵌入空间扩散模型： 引入了第一个在嵌入空间内运行的扩散式零样本学习方法，无需依赖预训练生成模型（如 Stable Diffusion），使其具有模态无关性。
新的最先进水平（SOTA）： 为零样本环境音分类建立了新的 SOTA，在六个多样的音频数据集上超越或匹配了现有方法。
新基准： 提供了 FSC22、ARCA23K-FSD 和 TAU Urban Acoustics 2019 的首个零样本学习基准。
全面比较： 提供了针对零样本环境音分类的 GANs（LisGAN）、VAEs（CADA-VAE）和扩散模型的首次直接比较。

意义与局限性
作者将这项工作定位为确立扩散模型作为一种极具前景的零样本学习方法的路径，为未来的研究奠定了基础。然而，论文对于生成式方法的可靠性持谨慎态度。作者明确承认，虽然 ZeroDiffusion 提高了准确率，但与非生成式基线相比，它存在较高的方差和不稳定性，尤其是在较小的数据集上。作者指出，零样本学习中缺乏理论保证以及对数据集大小的依赖是未来需要深入理解的关键领域。这项工作并不声称解决了生成式模型的不稳定性问题，而是旨在展示它们在具备充足数据时实现更高准确率的潜力。