⚡ electrical engineering

Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

本文介绍了 DSMIL-LocNet，这是一种弱监督多示例学习框架，仅需录音级别的有无标签即可在长时程生物声学录音中同时实现鲸类叫声的分类与精确时间定位，从而克服了需要详尽帧级标注的完全监督方法在可扩展性方面的局限。

原作者： Ragib Amin Nihal, Benjamin Yen, Runwu Shi, Takeshi Ashizawa, Kazuhiro Nakadai

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Ragib Amin Nihal, Benjamin Yen, Runwu Shi, Takeshi Ashizawa, Kazuhiro Nakadai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名海洋生物学家，正试图聆听鲸鱼的对话。你拥有一个水下麦克风（水听器），它已经连续数月不间断地记录着海洋的声音。这产生了海量、连续的声音磁带——高达太字节的数据。

问题：“大海捞针”的困境
海洋大部分时间只是安静的背景噪音。鲸鱼的叫声是罕见的、短暂的“针”，隐藏在数小时寂静的巨大“干草堆”中。

要研究这些鲸鱼，你需要两样东西：

“是/否”答案： 在这 30 分钟的数据块中，是否发生了鲸鱼叫声？
精确的时间戳： 叫声究竟何时开始、何时结束？

这里有个难点：

为一个 30 分钟的文件打上“是/否”标签，人类专家只需几秒钟。
找出同一文件中每一次叫声的确切开始和结束时间，则需要数小时高强度、专家级的工作。

如果你拥有数千小时的录音，要求专家标记每一个时间戳是不可能的。这既太昂贵，也太缓慢。

旧方法：“放大”的相机
以前的计算机程序（如标准人工智能）就像一台只能拍摄微小 10 秒快照的相机。要分析一段 30 分钟的录音，计算机必须将其切成数千个微小片段，逐一分析，然后试图将结果重新拼接起来。

缺陷： 当你把长录音切成微小片段时，你就失去了“全局视野”。计算机变得困惑，其在长录音上的准确率急剧下降。此外，这些旧程序仍然需要那些昂贵、耗时的专家时间戳来学习如何工作。

新解决方案：DSMIL-LocNet
作者创建了一个名为DSMIL-LocNet的新系统。把它想象成一位采用不同策略的聪明侦探。

侦探不再查看微小的快照，而是将整个 30 分钟的录音视为包含所有线索的一个单一“包”。

弱监督（线索）： 人类专家只给侦探一张便条：“这 30 分钟的包里某处有鲸鱼叫声。”他们不告诉侦探具体在哪里。
“包”的概念： 计算机将 30 分钟的录音视为一个包含数百个较小“实例”（短片段）的“包”。
注意力机制（放大镜）： 人工智能查看包内所有的小片段。它学习为每个片段分配一个“权重”或重要性分数。
- 如果片段听起来像背景噪音，它获得低分。
- 如果片段听起来像鲸鱼，人工智能给它高分。
魔法技巧： 通过学习挑选“高分”片段来回答“是/否”问题（分类），人工智能意外地学会了这些高分片段在时间上的确切位置（定位）。

这就像老师问学生：“整篇文章里有拼写错误吗？”学生通读全文，找到拼写错误并圈出来。老师事先无需指出错误在哪里；学生仅仅通过尝试寻找，就自己弄清楚了它的位置。

工作原理（双流）
该系统使用两条“流”的信息，以确保不会遗漏任何内容：

流 1（频谱图）： 像查看视觉地图（频率与时间）一样查看声音，就像观察鲸鱼声音的形状。
流 2（时序）： 查看声音的原始节奏和能量（响度、变化速度）。
通过结合这两种视角，该系统即使在嘈杂的水域中也能非常擅长发现鲸鱼。

结果：为何重要
研究人员在真实的海洋数据（长达 30 分钟）上测试了该方法。

旧人工智能（完全监督）： 当录音变长（300 秒以上）时，旧人工智能变得困惑，其准确率崩溃（降至低至 19%）。而且，由于它没有接受过精确时间戳的训练，它无法告诉你鲸鱼何时歌唱。
新人工智能（DSMIL-LocNet）： 即使在 30 分钟的录音上，它也保持了极高的准确率（88–91% 的成功率）。关键在于，尽管它仅接受简单的“是/否”标签训练，但它能够告诉你鲸鱼叫声的确切时间。

结论
这篇论文证明，你不需要昂贵、耗时的专家标注来发现和标记鲸鱼叫声的时间。你可以利用廉价、快速的“是/否”标签来训练强大的人工智能，而人工智能将自行找出确切的时间。这使得大规模分析数月的海洋录音首次成为可能。

技术摘要：鲸类叫声的弱监督检测与时间定位

问题陈述
被动声学监测（PAM）系统生成连续、长达数月的海洋声景录音，数据总量通常达太字节级。虽然检测鲸类发声对于种群监测和保护（支持可持续发展目标 14）至关重要，但自动化分析面临重大瓶颈：标注成本。当前的深度学习方法，主要是卷积神经网络（CNN），需要两种截然不同且成本高昂的标注工作：用于分类的二元存在/缺失标签，以及用于定位的精确时间边界（开始/结束时间）。

差异所在： 为一段 30 分钟的录音分配一个二元标签仅需数秒，而为该录音中的每一次单独叫声打上时间戳则需要专家数小时的努力。
现有方法的局限性： 标准 CNN 和基础模型通常在固定长度、短时长输入（例如 ≤15 秒）上运行。为了处理长时长流（数分钟至数小时），这些方法依赖时间压缩或窗口选择启发式策略，这会降低性能，且在没有帧级监督的情况下无法提供时间定位。因此，全监督模型在长输入上性能显著下降（例如，在 1800 秒录音上，F1 分数从约 0.8 降至约 0.2），且若无昂贵的实例级标注，无法实现叫声定位。

方法：DSMIL-LocNet
作者提出了DSMIL-LocNet（双流多示例学习 - 定位网络），这是一个弱监督框架，仅使用录音级（包级）的存在/缺失标签即可同时执行分类和时间定位。

多示例学习（MIL）公式化：
- 每个长时长录音被视为一个包含多个不重叠短片段的“包”（ $B_i$ ），这些片段称为“实例”（ $x^j_i$ ）。
- 模型仅接收整个包的一个二元标签 $y_i \in \{0, 1\}$ （指示是否存在任何叫声），而训练期间具体的实例标签保持未知（潜在）。
- 目标是学习注意力权重（ $\alpha^j_i$ ），将高概率分配给包含叫声的实例，将低概率分配给背景噪声。
双流架构：
- 频谱流： 使用带有残差块的 CNN 编码器处理梅尔频谱图（源自短时傅里叶变换 STFT），以捕捉频率调制。
- 时间流： 处理直接从音频波形中提取的手工时间特征，包括均方根（RMS）能量、过零率（ZCR）、峰值幅度、包络统计和时间质心。
- 融合： 融合模块动态加权并组合来自两个流的特征，以适应不同的噪声条件和叫声类型。
注意力与定位：
- 模型采用注意力机制，其中每个实例的权重 $\alpha^j_i$ 通过包上的 softmax 函数计算得出。
- 分类： 包级预测是实例嵌入的加权和。
- 定位： 通过识别注意力权重 $\alpha^j_i$ 超过特定阈值的实例来实现时间定位。这使得模型能够在训练期间从未见过帧级标签的情况下输出时间戳。
损失函数：
训练目标结合了四个组件，以解决长时长生物声学中的特定挑战：
- 焦点二元交叉熵（ $L_{BCE}$ ）： 解决类别不平衡问题（罕见的正例叫声）。
- 时间平滑性（ $L_{temp}$ ）： 鼓励相邻实例间具有一致的注意力，以反映叫声的连续性。
- 稀疏性（ $L_{sparsity}$ ）： 确保模型仅关注一小部分相关片段。
- 实例一致性（ $L_{inst}$ ）： 促进一致的特征表示。

主要贡献

弱监督公式化： 作者将长时长鲸类叫声分析公式化为一个多示例学习问题，仅需每个多分钟录音的一个二元标签，从而消除了对昂贵帧级标注的依赖。
双流架构： 他们引入了一种结合频谱 CNN 特征与手工时间特征的网络，利用多组件损失函数来处理长包中的注意力稀释、类别不平衡和时间连贯性。
同时分类与定位： 该框架证明，一组学习到的注意力权重既可以用于包级分类，也可以用于实例级时间定位。

实验结果
该方法在AcousticTrends BlueFinLibrary上进行了评估，该库包含 1,880.25 小时的南极鲸类录音，背景噪声较高（73–99.9%）。

长时长性能： DSMIL-LocNet 在 300 秒至 1800 秒的录音上实现了0.88–0.91 的 F1 分数。相比之下，全监督 CNN 基线（如 ANIMAL-SPOT、DeepWhaleNet 等）由于时间压缩导致的信息丢失，在这些时长下性能显著下降至0.19–0.64 的 F1 分数。
定位能力： 与不提供额外标注就无法进行时间定位的监督基线不同，DSMIL-LocNet 成功实现了叫声定位。
时长权衡：
- 分类： 随着包时长增加（最高至 1800 秒），性能有所提升，因为包含叫声的可能性增加。
- 定位： 精确度在较短的包时长（60–120 秒）达到峰值，并在较长时长（600 秒时为 0.5–0.6）略有下降，这是由于在更多实例间注意力被稀释。然而，作者指出，即使是精度降低的定位，也比强监督基线在长输入上提供的“无定位”更有价值。
消融研究： 移除双流设计或多组件损失会导致性能显著下降，证实了频谱/时间整合以及特定损失约束的必要性。

意义与主张
该论文声称，DSMIL-LocNet 为专家时间有限的操作级 PAM 部署提供了实用解决方案。通过利用廉价录音级标签实现检测与定位，该方法弥合了短片段模型优化与连续、长时长海洋监测现实之间的差距。

作者强调，这种方法不仅限于海洋生物声学。他们指出，其基本原理——将廉价的包级标签转化为结构化的时间预测——适用于任何具有连续数据流、稀疏目标事件和高标注成本特征的领域，例如地震学、医学声学和陆地生物多样性调查。这项工作表明，弱监督可以提供强监督配合固定输入架构所无法支持的能力（即在长输入上进行联合分类和定位）。

技术摘要：鲸类叫声的弱监督检测与时间定位

类似论文