📊 statistics

Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

本文介绍了 PULSE，这是一个半监督、多任务框架，它在直翅目物种分类方面显著优于最先进的通用模型，并通过自监督学习和知识蒸馏揭示了具有生态学意义的模式。

原作者： Olga Isupova, Danil Kuzin, Ella Browning, Tom Mills, Steven Reece

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Olga Isupova, Danil Kuzin, Ella Browning, Tom Mills, Steven Reece

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图在一个人声鼎沸、嘈杂不堪的房间里，从无数人的呐喊声中分辨出某一段单一的对话，而且你还不懂那门语言。这本质上就是生态学家在试图聆听昆虫时的处境。

本文介绍了一种名为 PULSE（被动声学潜空间编码器，Passive acoUstic Latent-Space Encoder）的新型计算机程序，旨在解决这一问题。以下是其工作原理的拆解，采用了简单的概念进行说明：

问题所在：“嘈杂的房间”

科学家使用麦克风记录自然界的声音（被动声学监测），以观察昆虫种群是否健康。鸟类和蝙蝠很容易识别，因为它们有独特的鸣叫声。但昆虫，特别是直翅目（Orthoptera，如蟋蟀和蚱蜢）则要难得多。

噪音： 它们通常持续不断地鸣叫，且许多物种同时鸣叫，形成了一团混乱的“声音汤”。
数据缺口： 计算机需要庞大的、带有标签的纯净昆虫鸣叫库来进行学习。与鸟类相比，这些针对昆虫的库大多是空白的。
不匹配： “教科书”里的鸣歌（纯净的库）与现实世界的录音（充满了风声、交通声和雨声）听起来非常不同。一个基于“教科书”训练的计算机在现实世界中往往会失效。

解决方案：PULSE（“超级学习者”）

研究人员构建了 PULSE，这是一个智能系统，它能同时通过三种不同的方式进行学习，就像一个学生在学习教科书的同时，还在听广播并接受教练的指导。

教科书（监督学习）： 它观察我们现有的少量带有标签的纯净昆虫鸣叫，以学习特定物种听起来是什么样的。
教练（知识蒸馏）： 它利用一个“通用专家”模型（称为 BirdNET，该模型擅长识别鸟类）作为老师。尽管 BirdNET 不是昆虫专家，但它懂得如何处理音频。PULSE 试图模仿这位专家的“思考过程”，从而理解通用的音频模式。
广播（自监督学习）： 这是其中的“魔术时刻”。PULSE 聆听了来自英国的 150 GB 未标记、杂乱的野外录音。它并不知道这些昆虫具体是什么，但它能通过自身学习来识别噪声中的模式、节奏和结构。它在学习如何掌握英国乡村的“地方口音”。

通过结合这三种方法，PULSE 变成了一个既理解昆虫“教科书”定义，又理解野外复杂现实情况的专家。

结果：击败竞争对手

团队将 PULSE 与当前最优秀的通用音频模型进行了对比测试。

得分： PULSE 碾压了竞争对手。通用模型在寻找昆虫方面表现挣扎（得分极低），而 PULSE 发现昆虫的准确度要高得多。
“主动学习”的助力： 研究人员加入了一个“人机协同”的步骤。他们让计算机挑选出最令人困惑的录音，由人类进行标注，然后重新训练计算机。这使系统变得更加敏锐，显著提高了准确性。

不仅仅是“谁在唱歌？”

论文声称 PULSE 的功能不仅仅是说出“那是一只蟋蟀”。它还创建了一张声音地图。

地图： 想象一张 3D 地图，每一个点都是一段录音。如果用物种对这些点进行着色，你会发现“蟋蟀”的点聚集在一起，而“蚱蜢”的点则聚集在别处。
分离“声音汤”： 由于计算机对声音结构的理解非常透彻，它可以观察一段有两个昆虫同时鸣叫的录音，并分辨出哪些部分属于哪只昆虫。这就像仅通过观察声波，就能将混合音轨中的小提琴声与鼓声分离出来一样。
生态学洞察： 这张地图揭示了昆虫的鸣叫会根据时间（温度影响其鸣叫速度）和特定位置发生变化。该工具帮助生态学家在无需手动聆听数千小时音频的情况下，实现这些模式的可视化。

核心结论

作者创造了一个弥合“完美”声音库与“杂乱”现实自然录音之间鸿沟的工具。通过教计算机同时从有标签的数据和海量的无标签噪声中学习，他们构建了一个能够最终“解码”昆虫鸣叫的系统，从而帮助科学家监测生物多样性并更有效地管理栖息地。

该论文并未声称：

它不声称能治愈疾病或辅助临床诊断。
它不声称能适用于全球所有的昆虫（它是专门针对英国直翅目进行训练的）。
它不声称会取代人类生态学家，而是为他们提供一个强大的工具，以处理以前无法处理的数据。

技术摘要：通过 PULSE 解码昆虫鸣叫

问题陈述

被动声学监测（PAM）是评估栖息地健康和生物多样性的关键工具，然而现有的自动化机器学习（ML）工具通常训练过于狭窄，缺乏对新环境的迁移能力。尽管在鸟类和蝙蝠的生物声学领域已取得了显著进展，但针对直翅目（Orthoptera，如蟋蟀和蚱蜢）的开源机器学习工具却明显缺失。这一差距是由两个主要挑战驱动的：

数据稀缺性： 与其他分类群相比，缺乏专门针对直翅目的大规模、开放获取的声音库。
领域偏移与信号复杂性： 直翅目的信号难以提取，因为许多物种的鸣叫近乎连续，导致频繁出现重叠鸣叫。此外，经过整理的声音库中的参考鸣叫通常具有比“杂乱”的真实野外录音更高的音频质量和更低的噪声，这导致在洁净数据上训练的模型在野外表现不佳。

方法论：PULSE 框架

为了解决这些局限性，作者提出了 PULSE（被动声学潜空间编码器，Passive acoUstic Latent-Space Encoder），这是一个专为直翅目生物声学设计的半监督、多任务框架。该框架整合了三种不同的优化目标，以利用有限的有标签数据和丰富的无标签野外录音。

1. 数据组成

有标签数据： 取自 ECOSoundSet、Xeno-canto 和 iNaturalist 的 19 种存在于或本土于英国的直翅目物种的子集。
无标签数据： 来自英国牛津郡 10 个站点的约 150 GB 大规模无标签野外录音集合。
主动学习： 使用 DIRECT 方法对无标签野外数据的极小部分进行人工标注，以迭代改进模型。

2. 架构

该框架利用 VGGish 主干网络将音频转换为梅尔谱图并生成嵌入（embeddings, $e$ ）。这些嵌入作为三个并行任务的输入：

监督分类： 一个使用二元交叉熵损失（ $L_{cls}$ ）优化的分类头（ $h_{cls}$ ），处理具有多标签特性的录音（即多个物种可能同时发声）。
生态先验（知识蒸馏）： 为了弥合整理好的库与野外数据之间的差距，模型通过将其嵌入与一个冻结的通用型 BirdNET 模型进行匹配来发挥作用。这是通过在无标签数据上执行均方 L2 损失（ $L_{mse}$ ）实现的，从而迁移通用的生态声学知识。
自监督学习 (SSL)： 为了适应局部声学特征，框架采用了 Bootstrap Your Own Latent (BYOL) 方法。一个在线网络和一个通过指数移动平均更新的目标网络被训练用于预测同一无标签野外数据（经过时间及频率掩蔽增强后的视图）的投影，从而最小化 $L_{byol}$ 。

3. 联合优化

模型通过最小化三个损失函数的加权和进行训练：
$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$
权重设定为 $\alpha_{cls} = 0.9$ ， $\alpha_{mse} = 0.1$ ，以及 $\alpha_{byol} = 0.1$ ，以适应有标签数据与无标签数据之间的显著不平衡。

核心贡献

新型框架： 引入了 PULSE，这是第一个专门为直翅目生物声学设计的半监督、多任务框架，结合了弱监督分类、自监督学习和知识蒸馏。
数据集发布： 发布了一个大规模的英国野外录音无标签数据集，以及通过主动学习收集的标签子集。
生态发现工具： 开发了一个交互式可视化工具，允许生态学家探索嵌入空间，揭示生态结构，例如物种分离、站点特异性聚类以及时间变化（例如与一天中不同时间相关的鸣叫速率）。
声源分离代理： 证明了学习到的嵌入可以通过对物种平均原型进行非负最小二乘法（NNLS）来用于“解混”重叠的鸣叫，从而识别混合录音中的组成物种。

实验结果

模型在完全排除在训练集之外的三个站点的留存测试数据上进行了评估。

性能对比通用模型： PULSE 在所有指标上均显著优于最先进的通用模型 (Perch 2.0)：
- Macro F1： 0.21 (PULSE) vs. 0.07 (Perch)。
- Macro AUC： 0.74 (PULSE) vs. 0.45 (Perch)。
- Macro AP： 0.32 (PULSE) vs. 0.19 (Perch)。
主动学习的影响： 通过引入主动学习来标注部分野外数据进一步提升了性能，将 Macro F1 提高到 0.34，将 Macro AUC 提高到 0.84。
嵌入质量： 对 1024 维嵌入空间的分析显示，891 个维度表现出显著的物种间差异。显著性图（Saliency maps）证实，高激活区域对应于关键声学特征（核心频带和振幅峰值）。
泛化能力： 当扩展到包含背景类别（人类活动声、鸟类、蝙蝠、地质声）时，PULSE 在保持对直翅目类别竞争性性能的同时，也能有效地对背景声音进行分类。

意义与主张

论文声称 PULSE 有效解决了直翅目生物声学固有的数据稀缺和领域偏移问题。通过结合整理好的库数据与无标签野外录音，该框架创建了一个比通用模型更适应局部环境的专家模型。

作者强调，学习到的嵌入编码了具有生态意义的结构，不仅有助于分类，还有助于科学发现。可视化嵌入的能力有助于生态学家理解种内行为差异（例如由于温度引起的鸣叫速度变化）以及环境驱动因素。最终，这项工作旨在促进大规模的昆虫被动声学监测，为保护和栖息地管理策略提供至关重要的信息。作者保持了谦逊的态度，指出虽然该工具推进了自动化，但它是一种支持生态推断的手段，而非解决所有保护挑战的独立解决方案。