🤖 machine learning

Parameter-efficient Dual-encoder Architecture with Differentiable Choquet Integral Fusion for Underwater Acoustic Classification

本文提出了一种参数高效的双编码器架构，通过可微 Choquet 积分融合波形与频谱特征，旨在提高水声分类的准确性与可解释性，同时缓解在有限数据集上的过拟合问题。

原作者： Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Amirmohammad Mohammadi, Joshua Peeples, Alexandra Van Dine

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭听觉来识别正从身边经过的一艘特定船只。这非常困难，因为海洋是一个嘈杂且混乱的地方。声音会被波浪、气泡以及海水本身所扭曲。

这篇论文提出了一种新的“智能聆听系统”来解决这个问题。以下是该系统的运作方式，通过简单的概念进行了拆解：

1. 两只“耳朵”（双编码器）

大多数旧系统尝试只用一种方式来聆听声音：

波形耳（The Waveform Ear）： 它聆听原始声波，就像听鼓点的精确节奏和音高。它擅长捕捉突然的、杂乱的声音（比如螺旋桨搅动水流的声音），但容易被背景噪声淹没。
频谱图耳（The Spectrogram Ear）： 它将声音视为频率的可视化图谱进行聆听（就像钢琴卷轴或天气图）。它擅长观察稳定的模式（比如发动机的轰鸣声），但可能会错过快速、杂乱的细节。

论文的想法： 系统并没有在两者之间做选择，而是同时使用两者。它拥有两个“专家”，同时聆听同一种声音，但专注于不同的细节。

2. “智能门卫”（Choquet 积分融合）

现在，你有两位专家在给出他们的意见。你如何决定信任谁？

旧方法： 你可能只是取他们意见的平均值（就像询问两个人关于路线的建议，然后走在两者答案的中点）。这种方式很僵化。
论文的方法： 他们构建了一个基于 Choquet 积分 的动态门卫。你可以把它想象成一个超级聪明的裁判。
- 如果声音清晰且稳定，裁判会更信任“频谱图耳”。
- 如果声音杂乱且充满突发的溅水声，裁判会更信任“波形耳”。
- 至关重要的是，这个裁判是自主学习的。它不只是在瞎猜；它会分析特定类型的船只，并决定：“对于这类船只，波形特征更重要，”或者“对于那类船只，频谱图更好。”它会像聚光灯一样移动，将注意力转向最清晰的信号。

3. “微调”技巧（参数高效型）

通常，要教一个庞大的 AI 模型去识别船只，需要巨大的计算机资源和大量数据。如果你试图在小数据集上教它太多东西，它会变得困惑（过拟合），并忘记已经学到的知识。

论文的技巧： 他们并没有重新训练整个 AI 的“大脑”（这就像重写一整部百科全书），而是仅仅微调了边缘处极其细微、特定的笔记。

他们使用了预训练的“基础模型”（已经掌握了大量声音知识的 AI）。
他们冻结了主脑，使其保持不变。
他们只添加了一个微小的、可调节的“适配器”（就像一副眼镜），帮助 AI 更好地看清水下的声音。
结果： 该系统识别船只的能力几乎达到了大规模版本的水平，但使用的计算能力和内存仅为后者的一小部分。

4. 他们的发现

研究人员在两个真实的水下声音数据集（DeepShip 和 ShipsEar）上测试了这个系统。

更高的准确率： 拥有“智能门卫”的“两耳”系统在识别船只方面的准确度高于仅使用单耳的系统。
高效性： 通过使用“微调技巧”，他们在不需要超级计算机的情况下取得了出色的成果。
透明度： 因为“门卫”会学习特定的权重，研究人员可以观察内部，了解 AI 是如何做出决策的。例如，他们发现对于“油轮”船只，系统更多地依赖原始波形；而对于其他船只，则更多依赖频率图。这证明了该系统并非仅仅在瞎猜，而是在针对每种船只的声音特征进行适应。

总结类比

想象一下，你正试图在嘈杂拥挤的房间里识别一位朋友。

旧方法： 你要么只看脸（频谱图），要么只听声音（波形）。如果房间太吵，你可能会错过他们。
本论文的方法： 你拥有一支由两名侦探组成的团队。一名是识别人脸的专家，另一名是听辨声音的专家。他们有一个智能队长（Choquet 积分）在观察房间。如果房间太吵导致看不清脸，队长就会告诉声音专家接管主导权。如果房间太暗导致听不清声音，队长就会切换回脸部识别专家。
高效性： 与其从头开始雇佣两名全职侦探并进行培训，不如直接聘请两位已经熟悉城市的专家，然后只需给他们一个快速、廉价的简报（参数高效型微调），让他们了解这个特定的房间。

其结果是一个更聪明、更快、且更能适应混乱的水下现实世界的系统。

技术摘要：基于可微 Choquet 积分融合的参数高效型双编码器架构用于水下声学分类

问题陈述

水下声学分类对于从海事安全到环境保护等多种应用至关重要。然而，水下声学环境具有随机失真的特征，包括多径干扰、频率相关衰减和环境噪声。依赖手工特征（如 LOFAR、DEMON）的传统方法在这些多变条件下难以保持鲁棒性。虽然深度学习实现了特征提取的自动化，但单表示方法面临着固有的局限性：

谱图（Spectrograms）： 能够很好地建模谐波依赖关系，但在时频变换过程中可能会过滤掉相关的声学特征。
波形（Waveforms）： 保留了精细的相位动态和宽带事件（如空化现象），但其本身往往具有高噪声且复杂，导致模型难以直接处理。

此外，将大规模基础模型部署于此类任务中，不仅计算成本高昂，而且由于标记的水下声学数据有限，容易出现过拟合问题。对这些模型进行全量微调通常是不切实际的。

方法论

本文提出了一种参数高效的双编码器神经架构，该架构能够同时处理原始声学波形和对数梅尔谱图（log-mel spectrograms）。该框架由三个主要部分组成：

1. 带有 PEFT 的双编码器主干网络

系统采用了两个并行的分支：

波形编码器： 使用 AVES-nonbio（基于自监督学习的动物发声编码器）架构初始化，该架构因其适用于非生物、机械类船舶特征而被选中。
谱图编码器： 使用在 AudioSet 和 ImageNet 上预训练的 音频谱图 Transformer (AST) 初始化。

为了实现无需全量微调的领域自适应，预训练的主干网络参数被冻结。取而代之的是，注入了 参数高效微调 (PEFT) 模块。本研究评估了两种特定的 PEFT 策略：

低秩自适应 (LoRA)： 测试的查询秩 $r \in \{16, 32\}$ 。
基于直方图的参数高效微调 (HPT)： 测试的直方图箱数 $b \in \{16, 32, 64\}$ 。

每个编码器维护一组独立的、在内部层共享的微调参数集，从而使自适应过程更加正则化。

2. 可微 Choquet 积分融合

引入了一种新型的决策级融合机制来结合两个分支的输出。与静态融合方法（如平均法）不同，该方法使用 Choquet 积分 来建模波形和谱图表示之间的非加性相互作用（冗余或协同效应）。

为了使 Choquet 积分在端到端训练中可微，作者提出了一个 软排序门控机制 (soft-sort gating mechanism)：

通过学习模糊测度（fuzzy measures） $g_w$ 和 $g_s$ 来量化每个类别的独立贡献和显著性。
使用 Sigmoid 函数计算软排序门控向量 ( $s$ )，根据波形 ( $p_w$ ) 和谱图 ( $p_s$ ) 分支的相对置信度来进行条件路由。
融合分布通过 Choquet 积分的连续近似进行计算，使网络能够动态地将注意力转向受环境失真影响较小的表示。

3. 优化策略

模型使用复合多目标损失函数 ( $L_{total}$ ) 进行训练：
$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$
其中 $CE$ 是交叉熵损失。融合预测的权重是单个分支损失的两倍，以优先考虑协作决策，同时确保每个编码器都能学习到具有判别性的特征。

关键结果

所提出的框架在 DeepShip（4 类）和 ShipsEar（5 类 + 噪声）数据集上进行了评估。

性能对比单编码器： 在所有微调策略下，双编码器架构的表现始终优于独立的单编码器基准模型（包括仅波形和仅谱图）。
PEFT 效率：
- 使用 PEFT（LoRA 和 HPT）的双编码器模型达到了与全量微调单编码器最先进模型（如 ResNet-50、ConvNeXtV2、SSAST）相当、甚至在某些情况下超过其准确率。
- 具体而言，Dual LoRA 和 Dual HPT 框架优化了约 100k 个参数，却超越了大多数需要显著更多可训练参数（例如，单编码器需 ~85k–90k，双全量微调需 ~175k）的全量微调单编码器网络。
- 在 DeepShip 数据集中，Dual LoRA (r=16) 实现了 71.6% 的准确率，在考虑到参数量大幅减少的情况下，超越了全量微调的 AST (72.3%) 和 AVES (67.9%)。
可解释性： 对学习到的模糊测度的分析揭示了类别特定的依赖转移。例如，在 DeepShip 的 "Tanker"（油轮）类线性探测中，网络分配给波形的权重 (0.22) 高于谱图 (0.18)，而在 "Cargo"（货船）类中，则更倾向于谱图。这证实了模型能够根据特定的声学特征和环境失真，动态选择最优表示的能力。
鲁棒性： 双编码器方法在低虚警区域（pAUC0.30）表现出更优越的性能，特别是在 ShipsEar 数据集中，Dual HPT 方法在统计学上优于单模态全量微调方法。
表示对齐： 中心核对齐 (CKA) 分析表明，虽然早期层保持稳定，但深层与全量微调基准线的差异较大。波形分支与基准线的相似度低于谱图分支，这表明波形分支是一个主要的瓶颈，需要更高容量的微调。

重要性与主张

本文声称提出了一种计算高效的框架，用于高级海事声学识别，在性能与资源约束之间取得了平衡。其主要贡献包括：

双表示协同作用： 证明了融合时间（波形）和频谱（谱图）数据比单一模态能获得更高的准确率，从而有效缓解了水下信道的非平稳挑战。
参数效率： 证明了 PEFT 模块（LoRA 和 HPT）可以用极少量的可训练参数将大型基础模型适配到水下领域，从而降低了在有限数据集上的过拟合风险。
可微融合： 引入了一种新型的可微 Choquet 积分层，该层不仅提高了准确率，还提供了可解释性。通过分析学习到的模糊测度，系统展示了网络如何根据特定类别的声学特性和环境失真，在两种表示之间进行动态权重切换。
操作优势： 动态门控机制允许系统优先处理受局部环境噪声影响较小的表示（例如，当谱图中的单音成分被遮蔽时，转向波形），为实际部署提供了一种鲁棒的解决方案。

作者总结道，该框架为实现高性能水下声学分类建立了一条可行路径，且无需承担全量网络微调的高昂计算成本。未来的工作建议研究集成 PEFT 主干网络的硬件效率和量化方法。