An Open Reproducible Framework for CNN-Based Cetacean Vocalization Detection in Passive Acoustic Monitoring

本文介绍了基于卷积神经网络的鲸类发声检测开源可复现`ai-pam-pipeline`框架，并通过受控实验证明，如快速傅里叶变换窗口长度等预处理选择会显著影响跨域泛化能力，同时该框架在二分类和多分类检测任务中均实现了高性能。

要点

想象一下，你正试图在一片非常嘈杂的森林中聆听某种特定鸟类的鸣叫，但你不能用耳朵；你必须借助计算机程序在屏幕上“看见”声波。本文介绍了一种新的开源工具（就像一本免费共享的食谱书），帮助科学家为鲸鱼和海豚实现这一目标。

以下是该论文内容的拆解，采用简单的类比说明：

1. “通用食谱”（框架）

将作者的工具 ai-pam-pipeline 想象成一个主厨房。与其让每位科学家从头开始建造自己的炉灶、烤箱和搅拌碗，不如大家都使用这个相同的、预先建好的厨房。

• 优势：你只需转动一个旋钮（配置文件）即可更改设置。这意味着，如果你今天用某种设置“烹饪”了一道菜，而另一个人明天用相同的旋钮设置来“烹饪”，他们得到的结果将完全一致。不再有“在我的机器上能运行”的借口。它适用于任何种类的鲸鱼或海豚，而不仅仅是某一种特定类型。

2. 实验：镜头应该有多锐利？（实验 A）

科学家们想知道：我们将声音转换为图像的方式是否重要？

• 类比：想象给海豚的哨声拍张照片。你可以用低分辨率相机（模糊、像素大）或高分辨率相机（清晰、像素小）拍照。在本研究中，他们测试了三种不同的“相机设置”（称为 FFT 窗口长度：256、512 和 1024）。
• 在家中的结果（域内）：当他们在工具完全相同的训练环境中测试海豚时（就像在同一个房间里拍照），所有三种相机设置都完美运行。无论使用哪一种，海豚都很容易被发现。
• 在路上的结果（跨域）：当他们把工具带到新环境（具有不同背景噪声的不同海洋）时，结果发生了巨大变化。
  • “低分辨率”设置（256）是明显的赢家。
  • 为什么？ 论文用一个有趣的视觉技巧解释了这一点。当计算机将模糊的低分辨率声音图像拉伸以适配标准大小时，那些“模糊”的部分实际上变得更厚、更亮、更容易看见。这就像把一张海豚的小而模糊的素描放大到墙上；模糊的线条变成了粗犷、高对比度的形状，计算机可以轻易识别。而更锐利的设置在拉伸时，反而失去了一些这种有益的对比度。

3. “完美分数”（阈值）

科学家们担心，“低分辨率”设置看起来好，可能只是因为他们通过更改“通过/失败”线（阈值）在作弊。

• 现实核查：他们测试了从 10% 到 90% 的所有可能的通过/失败线。结果如何？无论将线设在哪里，低分辨率设置都获得了完美分数（1.000 精确度）。这证明该优势并非花招；而是声音在计算机眼中的真实改善。

4. 困难部分：分类噪声（实验 B）

该工具不仅用于判断海豚是否存在；它还能告诉你它发出了什么类型的声音。

• 挑战：他们训练该工具对五种不同类型海豚声音进行分类。总体而言，它做得很好。
• 混淆：有时，该工具会在两种特定声音之间感到困惑：“点击序列”和“脉冲爆发声”。
• 原因：这并非因为计算机“愚蠢”。这是因为从生物学角度看，这两种声音彼此如此相似，以至于即使是人类专家也可能难以瞬间区分它们。该工具实际上反映的是动物生物学的现实，而非软件的失败。

结论

主要结论很简单：你准备数据的方式比你想象的更重要。
该论文表明，一个微小且常被忽视的选择（例如在分析前如何将声音切片），可能会决定系统在尝试在新环境中工作时是成功还是失败。通过使用他们开放且可复现的框架，科学家们现在可以系统地测试这些选择，以确保他们的“鲸鱼探测器”在任何地方都能工作，而不仅仅是在实验室里。

技术摘要

技术摘要：基于 CNN 的鲸类发声检测的开放可复现框架

问题陈述
被动声学监测（PAM）对鲸类研究至关重要，但该领域往往缺乏基于卷积神经网络（CNN）的检测与分类的标准化、可复现工作流程。目前存在一个特定缺口，即难以理解预处理选择（通常被视为次要的实现细节）如何影响模型在不同声学域中的泛化能力。此外，业界亟需开源工具包，以支持系统性的参数评估，同时确保实验的完全可复现性。

方法论
本文介绍了一个六阶段的方法论框架，已实现为开源工具包ai-pam-pipeline。该框架旨在适用于不同物种，并通过单一配置文件进行完全参数化，确保实验条件可被精确复现。该方法论利用 CNN 对鲸类发声进行二值检测和多元分类。

为验证该框架，作者开展了两项主要实验：

1. 实验 A（二值检测）： 本研究调查了快速傅里叶变换（FFT）窗口长度（$N_{fft}$）对宽吻海豚（Tursiops truncatus）哨音检测的影响。研究测试了三种窗口长度：256、512 和 1024。评估在两个数据集上使用分层 10 折交叉验证进行：一个域内数据集（Oltremare，192 kHz）和一个跨域基准（DCLDE 2022）。
2. 实验 B（多元分类）： 该实验展示了该框架对五种不同T. truncatus发声类别进行分类的能力。

关键结果

• 域内性能： 在域内数据集上，所有$N_{fft}$配置下的性能均表现优异，宏观 F1 分数约为 0.98。统计分析（Wilcoxon 检验）显示，不同窗口长度之间无显著差异（$p > 0.05$）。
• 跨域性能： 当应用于跨域基准时，结果出现显著分化。$N_{fft}$为 256 被证明显著优于更大的窗口长度（$p = 0.006$，秩双列相关系数$r = 0.89$）。
• 优越性机制： 作者将较小窗口长度的优越性能归因于“上采样放大效应”。较粗的频谱箱（由较小的$N_{fft}$产生）在声谱图被双线性重采样至固定图像尺寸以作为 CNN 输入后，会产生更宽、对比度更高的频率调制（FM）轨迹。
• 阈值不变性： 发现$N_{fft} = 256$的优势具有阈值不变性。在所有配置和决策阈值（$\theta \in [0.1, 0.9]$）下，精确率均保持在 1.000，证实性能提升并非特定阈值选择的人为产物。
• 多元分类能力： 在多元分类实验中，该框架实现了 0.843 的宏观 F1 分数。分析指出，点击序列与脉冲爆发声之间的类间混淆反映了生物信号的叠加，而非分类器的失效。

意义与主张
本文主张，预处理选择（常被忽视为次要的实现细节）会显著影响 PAM 任务中的跨域泛化能力。虽然本研究将$N_{fft}$作为受控案例研究，但该工作的主要意义在于ai-pam-pipeline框架本身。作者提出，该工具包能够在统一的实验协议内，对任意预处理参数进行系统且可复现的评估。通过提供完全参数化的开源解决方案，该框架旨在规范研究人员如何评估和报告方法论变化对鲸类发声检测的影响。