Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

该论文提出了一种名为 CLICK-SPOT 的基于深度学习的图像目标检测方法，通过将鲸类回声定位点击声转换为小波变换图像（而非传统频谱图），有效解决了复杂海洋环境中信噪比低及回声干扰等问题，并成功应用于挪威虎鲸水下录音的检测与分类。

要点

这篇硕士论文讲述了一个非常有趣的故事：如何利用人工智能，像侦探一样在茫茫大海的录音中，精准地找出虎鲸发出的“咔哒”声（Echolocation Clicks），并区分哪些是虎鲸自己发出的，哪些是回声。

为了让你更容易理解，我们可以把这项研究想象成在嘈杂的派对上识别特定人的说话声。

1. 背景：为什么这很难？

想象一下，你身处一个巨大的、回声缭绕的洞穴（大海）里。虎鲸（Orca）在这里发出一种极短促、像手指弹击声一样的“咔哒”声，用来像声纳一样探测猎物或导航。

• 人工记录的噩梦：以前，科学家（生物学家）需要戴上耳机，一遍遍听这些录音，手动标记每一个“咔哒”声。这就像让你在一场持续几天的嘈杂派对录音中，手动数出某个人说了多少次“你好”。这不仅耗时（标记 1 分钟的数据可能需要 12 小时！），而且人很容易累，容易出错。
• 回声的干扰：更麻烦的是，虎鲸发出的声音碰到海底或水面会反弹回来，形成“回声”。回声和原声长得非常像，就像你在山谷里喊了一声，回声听起来也像你喊的。要把“原声”和“回声”区分开，就像要在人群中分辨出谁在说话，谁在模仿谁说话，非常困难。
• 噪音的干扰：水里还有雨声、船声、其他鲸鱼的声音，就像派对上的背景噪音，容易把真正的“咔哒”声淹没。

2. 核心挑战：传统的“听诊器”不管用了

以前的方法就像是用简单的数学公式（比如设定一个音量阈值）来寻找声音。

• 比喻：这就像设定一个规则：“只要声音超过 60 分贝，就认为是虎鲸”。
• 问题：在安静的地方，这很管用；但在嘈杂的海里，船声（大噪音）会被误认为是虎鲸，而远处的虎鲸（小声音）会被漏掉。而且，它分不清原声和回声。

3. 解决方案：给声音“拍照”并用 AI 识别

作者 Christopher Hauer 提出了一套名为 CLICK-SPOT 的新系统。这套系统不再只是“听”声音，而是把声音变成图片，然后教 AI 像识别图片里的物体一样识别声音。

第一步：把声音变成“照片”（图像转换）

普通的录音是波形图，像心电图一样。但为了看清细节，作者把声音转换成了三种不同的“照片”：

1. 波形图：声音的原始形状。
2. 频谱图：像钢琴键盘一样，显示不同频率的声音。
3. 小波图（Scalogram）：这是关键创新。
   • 比喻：传统的频谱图就像用固定焦距的相机拍照，要么看清时间（快动作），要么看清频率（细节），不能兼得。而小波变换就像是一个智能变焦镜头：对于高频的“咔哒”声（像闪电一样快），它用“广角”看清瞬间；对于低频的声音，它用“长焦”看清细节。这让 AI 能更清晰地看到虎鲸声音的微小特征。

作者把这三张“照片”叠在一起，做成一张 RGB 彩色图片（红绿蓝三个通道），就像给声音穿上了“三合一”的外衣。

第二步：YOLO 模型 —— 快速抓出“嫌疑人”

系统使用了 YOLO（You Only Look Once，一种著名的目标检测 AI，常用于识别图片里的猫、狗、汽车）。

• 比喻：YOLO 就像是一个眼疾手快的保安。它看着这些声音图片，快速圈出所有可能是“咔哒”声的地方（画个框）。
• 优点：速度极快，能发现很多目标。
• 缺点：它有时候会把“原声”和“回声”画在同一个框里，或者把两个紧挨着的声音画在一起，分不清谁是谁。

第三步：FOD 后处理 —— 精细的“手术刀”

为了解决 YOLO 画框太粗的问题，作者加入了一个叫 FOD（一阶梯度检测） 的步骤。

• 比喻：如果 YOLO 画了一个大框，里面有两个声音混在一起，FOD 就像一把精细的手术刀。它分析声音波形的陡峭程度（因为“咔哒”声像针尖一样陡峭），把混在一起的大框切开，精准地定位到每一个单独的声音点。

第四步：随机森林（Random Forest）—— 聪明的“老侦探”

这是最精彩的一步。虽然 YOLO 和 FOD 能找出声音，但它们还是分不清哪个是“原声”，哪个是“回声”。

• 比喻：这时候，我们需要一个经验丰富的老侦探（随机森林算法）。
• 侦探的推理：老侦探不会只看单个声音，他会看上下文：
  • “这个声音后面紧跟着一个声音吗？”（虎鲸通常是一连串发出的，像连珠炮）。
  • “这两个声音的时间间隔规律吗？”
  • “前面的声音是不是比后面的强？”（通常原声比回声强，但回声有时会因为反射变强，所以不能只看音量）。
  • “声音的相位（起跳方向）对吗？”
• 通过综合这些线索，老侦探就能准确地说：“这个框里是虎鲸发出的原声，那个框里是回声。”

4. 成果：从“人工苦力”到“自动助手”

• 以前的效率：人工标记 1 分钟数据需要 12 小时。
• 现在的效率：CLICK-SPOT 系统虽然目前还需要 25 分钟处理 1 分钟数据（还没达到实时，但已经快多了），而且准确率高达 82.56%，对虎鲸“咔哒”声的识别准确率更是达到了 95.93%。
• 意义：这意味着科学家不再需要花几个月去听录音，而是可以把数据交给 AI 处理，然后专注于分析虎鲸的行为（比如它们是在捕猎还是在聊天）。

5. 未来展望

虽然现在的系统还不能在船上实时运行（像手机导航那样快），但它已经证明了AI 可以学会区分复杂的海洋声音。

• 未来：作者希望优化速度，让它能实时工作。
• 扩展：这套方法不仅可以用于虎鲸，还可以教给 AI 去听海豚、抹香鲸甚至其他动物的声音，甚至分析它们的“语言”结构。

总结

这篇论文就像是在教一台机器如何在嘈杂的暴风雨中，听出一个人发出的特定口令，并分辨出哪些是口令，哪些是回声。它结合了高级的数学变换（小波）、像保安一样快的目标检测（YOLO）、像手术刀一样的精细切割（FOD），以及像老侦探一样的逻辑推理（随机森林），最终成功解决了海洋生物声学中一个困扰已久的难题。

技术摘要

这是一份关于利用基于图像的目标检测方法结合高级小波变换来检测和分类鲸类（特别是虎鲸）回声定位点击声的硕士论文技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：海洋生物声学分析中，手动标记虎鲸（Orcinus orca）的回声定位点击声（Clicks）及其回声（Echoes）极其耗时。在复杂的海洋环境中，点击声和回声往往具有相似的特征（如低信噪比、相位反转、混响），导致传统基于阈值或简单数学模型的方法难以区分。
• 现有方法的局限性：
  • PAMGuard：基于能量阈值，在低信噪比环境下表现不佳，且无法有效区分点击和回声。
  • ANIMAL-SPOT：基于 ResNet-18 的滑动窗口分类器，虽然能检测事件，但其窗口过大（20ms 或 4ms），导致多个事件被合并，无法精确分离单个点击和回声。
  • 短时傅里叶变换 (STFT) 频谱图：受限于海森堡测不准原理，在时间分辨率和频率分辨率之间存在权衡，难以同时捕捉高频点击的瞬时特性和低频特征。
• 具体难点：
  • 点击声和回声在孤立状态下极难区分（回声通常是点击的反射，具有相似的波形结构但相位可能反转）。
  • 生物学家需要区分点击声（用于导航/捕猎）和回声，以研究虎鲸的社会行为，但手动标注效率极低（标注 1 分钟数据需数小时）。

2. 方法论 (Methodology)

论文提出了一套名为 CLICK-SPOT 的自动化处理工具链，分为三个阶段，结合了信号处理、深度学习和集成学习：

A. 数据表示与预处理

• 多模态图像表示 (SCWTSPEC)：为了克服单一频谱图的局限性，将音频信号转换为 960x960x3 的 RGB 图像，三个通道分别编码：
  • 红色通道：原始波形 (Waveform)。
  • 绿色通道：连续小波变换 (CWT) 生成的 Scalogram（使用墨西哥帽小波）。小波变换提供了更好的高频时间分辨率和低频频率分辨率，且对 Dirac 脉冲（点击声）有去噪效果。
  • 蓝色通道：短时傅里叶变换 (STFT) 生成的 Spectrogram。
• 数据源：使用挪威博德（Bodø）附近采集的虎鲸水下录音，包含 3 分 12 秒的手动标注数据（约 5322 个事件），采样率 192kHz。

B. 事件检测：YOLO 模型

• 模型选择：采用 YOLOv8（You Only Look Once）作为目标检测骨干网络，替代了 ANIMAL-SPOT 的滑动窗口分类。YOLO 能够在一个图像中同时预测多个边界框（Bounding Boxes），适合处理密集的事件。
• 训练策略：将 5ms 的音频窗口直接映射为 960x960 像素图像，避免了压缩失真。
• 后处理 (FOD)：
  • 引入 一阶梯度检测 (First Order Detection, FOD) 作为后处理步骤。
  • 利用点击声具有陡峭梯度的特性，在 YOLO 合并的边界框内提取梯度峰值。
  • 通过 FOD 峰值将合并的边界框“切片”（Slicing），从而分离出重叠的点击和回声，并精确定位其时间位置。

C. 点击与回声分类：随机森林 (Random Forest)

• 问题：YOLO 仅能检测事件位置，无法区分是“点击”还是“回声”。
• 解决方案：构建一个 随机森林分类器 作为上下文分类器。
• 特征工程：不仅依赖单个事件特征，还引入上下文特征（Contextual Features）：
  • 事件的时间间隔 (Inter-arrival time)。
  • 能量差异（最小/最大/平均能量）。
  • FOD 峰值数量及方向（相位信息）。
  • 置信度差异。
  • 前后相邻事件的标签信息。
• 训练：利用 YOLO 检测出的事件及其上下文特征，训练随机森林模型将事件分类为“点击”、“回声”或“其他（误检）”。

3. 主要贡献 (Key Contributions)

1. CLICK-SPOT 工具链的提出：成功构建了一个端到端的自动化流程，集成了 YOLO 目标检测、FOD 信号处理和随机森林上下文分类，专门用于解决虎鲸点击声与回声的区分难题。
2. 多模态图像表示 (SCWTSPEC)：创新地将波形、小波变换 (Scalogram) 和频谱图融合到 RGB 图像通道中，利用小波变换在高频时间分辨率上的优势，显著提升了模型对瞬态脉冲信号的提取能力。
3. FOD 辅助的边界框优化：提出利用一阶梯度峰值来修正 YOLO 的边界框，解决了目标检测模型在处理密集、重叠事件时的合并问题，实现了毫秒级的事件分离。
4. 上下文感知的分类策略：证明了仅靠孤立事件特征无法区分点击和回声，通过引入随机森林分析事件序列的上下文（如时间间隔、能量模式），大幅提高了分类准确率。

4. 实验结果 (Results)

实验在包含 5322 个标注事件的评估集上进行，对比了多种方法：

方法	整体准确率/表现	备注
PAMGuard	~39.7%	误报率高，无法区分点击/回声。
FOD 独立检测	~53.1%	漏报率较高，但比 PAMGuard 好。
ANIMAL-SPOT	~63.9%	窗口过大导致事件合并，无法精确定位。
CLICK-SPOT (最终版)	82.56% (整体点击检测准确率)	点击标签准确率高达 95.93%。

• 关键指标：
  • 点击检测精度 (Precision)：86.32%
  • 点击召回率 (Recall)：95.93%
  • 相关性：检测到的点击率与人工标注的点击率相关性高达 98.01%。
• 性能瓶颈：目前推理速度较慢，处理 1 分钟数据需要 25 分钟实时时间（Real-time factor = 25），尚无法用于实时现场监测，但适合离线大规模数据批处理。

5. 意义与展望 (Significance & Future Work)

• 科学意义：该研究为理解虎鲸的社会行为提供了强有力的工具。通过自动化区分点击和回声，研究人员可以量化点击的使用频率，进而推断虎鲸的捕猎、导航或社交活动，而无需依赖昂贵且耗时的人工标注。
• 技术迁移性：虽然针对虎鲸设计，但 CLICK-SPOT 的方法论（小波变换 + 目标检测 + 上下文分类）具有通用性。论文已在宽吻海豚、抹香鲸和领航鲸的录音上进行了初步测试，显示出良好的迁移潜力。
• 未来工作：
  • 实时化：优化模型推理速度，使其适用于现场实时监测。
  • 频率分类：进一步区分低频 (LF)、高频 (HF) 和超声 (US) 点击声。
  • 语音结构分析：尝试将 YOLO 用于检测叫声中的音素结构，而不仅仅是脉冲信号。
  • 并行处理：利用多实例并行处理大规模数据集（如 20,000 小时录音），大幅缩短分析时间。

总结：该论文通过结合先进的信号处理（小波变换）、现代目标检测（YOLO）和集成学习（随机森林），成功解决了海洋生物声学中极具挑战性的点击声与回声自动区分问题，显著提高了分析效率，为海洋哺乳动物行为学研究开辟了新途径。