⚡ electrical engineering

Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

本文提出了一种半监督声音事件检测框架，该框架通过将条件混合增强（conditional mixup）与嵌入级对比损失相结合，以有效地利用丰富的无标签数据，并在 DESED 数据集上实现了最先进的性能。

原作者： Nian Shao, Xian Li, Xiaofei Li

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nian Shao, Xian Li, Xiaofei Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别嘈杂厨房里的不同声音：搅拌机的嗡嗡声、狗吠声或流水声。这个任务被称为声音事件检测（Sound Event Detection, SED）。

这种教学方式就像是仅通过展示几张闪卡就想教会一个孩子说话。你拥有大量的厨房声音录音（无标签数据），但你只有极少数的录音经过了人工细致的标注，准确记录了搅拌机何时开始和停止（有标签数据）。如果没有这些精确的笔记，机器人就会感到困惑。

本论文提出了一种新的方法，利用这些少量的“带笔记”示例和海量的“无笔记”示例来训练机器人。以下是他们实现这一目标的简单解释：

1. 起点：“老师”与“学生”

研究人员首先使用了一个已经从大规模音频库中学习了大量知识的聪明机器人（一个预训练模型，称为 ATST-Frame）。你可以把这个机器人想象成一个已经具备优秀听觉能力的学生，但它需要学习如何识别特定的事件。

为了利用“无笔记”录音来教导这个学生，他们使用了一位老师。老师是学生的一个副本，但更加稳定。老师会对无标签录音中的声音进行猜测，而学生则尝试去匹配这些猜测。这被称为“伪标签法（pseudo-labeling）”。

2. 问题所在：配料比例错误

为了让训练效果更好，研究人员使用了一种叫做 Mixup 的技术。想象你有两段音频剪辑：一段是狗吠，一段是搅拌机。

旧方法： 他们会将这两种声音混合在一起。
- 如果他们按 50/50 的比例混合，他们会告诉机器人：“这是一个同时发生狗吠和搅拌机声的新声音。”（这被称为组合 Composition）。
- 如果他们按 90/10 的比例混合（主要是狗吠，只有一点点搅拌机声），他们会告诉机器人：“这只是狗的声音，但搅拌机声只是背景噪音。”（这被称为扰动 Perturbation）。

问题在于，旧的训练系统对所有情况都使用相同的混合规则。但是，“老师”（伪标签法）需要 50/50 的混合比例来学习共存事件，而“自我检查”（对比学习）则需要 90/10 的混合比例来学习声音不应发生剧烈变化。使用错误的混合比例会让机器人感到困惑。

3. 解决方案：“条件混合（Conditional Mixup）”

作者发明了一个聪明的开关，叫做条件混合（Conditional Mixup）。

开关： 他们观察混合比例（即“lambda”值）。
如果混合比例是平衡的（50/50）： 系统将其视为组合。它告诉机器人：“嘿，这两个声音都是真实的！学习如何同时检测它们。”
如果混合比例是不平衡的（90/10）： 系统将其视为扰动。它告诉机器人：“主要声音仍然是狗；搅拌机只是一个小小的干扰。不要被它搞混了。”

通过使用这个开关，机器人可以为每一个混合后的音频片段获得正确的指令。

4. 秘诀：“嵌入层级对比损失（Embedding-Level Contrastive Loss）”

通常，机器人的训练目标是匹配它们的最终答案（例如：“这是狗吗？是/否”）。而本文增加了一个在机器人大脑内部（即“嵌入层/embeddings”）发生的第二层训练。

你可以这样理解：

标准训练： 老师说：“那是狗。”
新的对比训练： 老师说：“即使你在狗吠声中加入了一点点搅拌机的噪音，你大脑中对这种声音的‘感觉’仍然应该是狗。”

这迫使机器人建立一种非常强大的内部理解，即无论背景噪音如何，它都能识别出什么是“狗叫声”。这有助于机器人更有效地利用无标签数据。

结果

通过结合这两个想法——条件混合（智能开关）和嵌入层对比学习（内部感觉检查）——机器人的工作表现变得更加出色。

在标准测试（DESDT 验证集）中，这个新系统（称为 ATST-SEDv2）创下了该特定任务的历史最高分：

在名为 PSDS1 的评分（衡量稳定性和时间准确性）上达到了 0.645。
在名为 PSDS2 的评分（衡量识别声音类型的能力）上达到了 0.822。

简而言之，这篇论文不仅仅是给了机器人更多的数据，它还通过为每种情况使用正确的“混合配方”，教会了机器人如何更智能地解读这些数据。

技术摘要：基于条件 Mixup 与嵌入级对比损失的半监督声音事件检测

问题陈述

声音事件检测（SED）是声学环境分析的关键组成部分，但由于缺乏帧级标注数据，面临着重大挑战。虽然近期的进展利用大规模预训练音频基础模型（如 ATST-Frame、BEATs、AST）提供了鲁棒的表示，但有效地微调这些模型仍然很困难。现有的半监督方法通常依赖于一致性正则化（如 Mean Teacher）和伪标签技术。然而，对于大型预训练编码器而言，这些方法可能并不充分，因为一致性目标往往弱于原始的自监督预训练任务。此外，在 Mixup 的应用中存在特定的技术失配：

伪标签学习将 Mixup 视为组合（composition），即混合样本保留了两个源片段的内容。
对比学习将 Mixup 视为扰动（perturbation），即辅助样本仅作为对输入的扰动。
现有框架难以在单一的半监督流水线中统一这两种相互冲突的观点。

方法论

所提出的工作 ATST-SEDv2 通过在半监督微调框架中集成嵌入级自监督对比目标，对 ATST-SED 基线进行了扩展。该架构由一个 ATST-SED 编码器（结合了 CRNN 和预训练的 ATST-Frame 模型）和一个非线性 SED 分类器组成。

1. 条件 Mixup (Conditional Mixup)

为了解决 Mixup 中组合视图与扰动视图之间的语义失配，作者提出了条件 Mixup。插值系数 $\lambda$ （取自 Beta 分布）根据阈值 $\tau$ 决定 Mixup 模式：

组合模式 ( $0.5 \le \lambda \le \tau$ )： 辅助信号被视为与输入信号同时发生。混合样本通过线性插值形成，但目标标签是源标签的逻辑或（OR）运算（对于有监督学习），或伪标签之和（对于半监督学习，限制在 1 以内）。
扰动模式 ( $\tau < \lambda \le 1$ )： 辅助信号被视为一种扰动。混合样本的形成方式类似，但目标标签保持为原始输入样本的标签。

2. 损失函数

训练目标结合了三个部分：

有监督损失： 对有标签数据使用二元交叉熵（BCE）。
伪标签损失： 一个统一的损失函数 ( $L_{cp-psd}$ )，根据条件 Mixup 模式应用相应的损失函数（组合或扰动）。这包括针对未增强数据的 Mean Teacher 损失。
嵌入级对比损失 ( $L_{con}$ )： 受 ATST-Frame 预训练的启发，该损失函数用于对齐增强视图的嵌入。
- 对于扰动对，目标是最大化输入与扰动视图之间的相似度。
- 对于组合对，目标是最大化混合视图与两个源样本教师嵌入平均值之间的相似度。
- 在训练期间，编码器附带了一个投影器（projector）和预测器（predictor），以促进这种对比学习，防止表示崩溃。

总损失是 BCE、伪标签损失和对比损失的加权和。

核心贡献

条件 Mixup： 一种新颖的策略，通过根据插值系数动态选择语义视图，将组合 Mixup 和扰动 Mixup 统一在单一的半监督框架内。
统一损失设计： 设计了相应的伪标签损失和嵌入级对比损失，使得决策级监督和嵌入级监督能够在微调过程中互补。
最先进的性能（SOTA）： 该方法在不改变推理架构的情况下，在 DESED 验证集上取得了新的最佳结果。

实验结果

实验在 DESED 数据集上进行，利用了强标签、弱标签和无标签数据。

基线对比： 所提出的方法（ATST-SEDv2）将基线 ATST-SED（未使用所提方法）的性能从 0.583 提升至 0.607 (PSDS1)，从 0.810 提升至 0.817 (PSDS2)。
轻量化模型： 当应用于 CRNN 基线时，该方法同样产生了改进（PSDS1: 0.384 $\to$ 0.403），证明了其在不同模型容量下的有效性。
消融研究：
- 仅使用对比损失可以提高相对于第一阶段冻结模型的性能，但其效果不如结合伪标签损失。
- 仅使用组合分支或仅使用扰动分支在各自情况下都是有效的，但结合所有组件后效果最好。
最先进水平 (SOTA)： 结合 cSEBB 后处理，ATST-SEDv2 达到了 0.645 PSDS1 和 0.822 PSDS2，超越了包括 ATST-SED、MAT-SED 和 PMAMiter2 在内的以往 SOTA 方法。

重要性

论文声称，所提出的方法通过解决 Mixup 策略中的语义失配，有效地利用了无标签数据。通过引入嵌入级对比目标来配合伪标签技术，该方法增强了对轻量化模型和基于预训练模型的半监督微调。实验结果确立了新的 DESED 基准测试 SOTA，证明了决策级监督和嵌入级监督可以成功集成，以提高复杂多声场景中的时间稳定性（temporal stability）和标签准确性（tagging accuracy）。