技術要約：微分可能なチョケ積分融合を用いた、パラメータ効率の高いデュアルエンコーダ・アーキテクチャによる水中音響分類

問題提起

水中音響分類は、海洋セキュリティから環境保全に至るまで、幅広いアプリケーションにおいて極めて重要である。しかし、水中音響環境は、マルチパス干渉、周波数依存の減衰、周囲雑音などの確率的な歪みに特徴付けられている。手動で設計された特徴量（LOFARやDEMONなど）に依存する従来の手法は、これらの変動する条件下での堅牢性に課題がある。深層学習は特徴抽出を自動化したものの、単一の表現手法には固有の限界が存在する：

• スペクトログラム： 調波依存性を良好にモデル化できるが、時間周波数変換の過程で関連する音響特徴をフィルタリングしてしまう可能性がある。
• 波形： 微細な位相ダイナミクスや広帯域イベント（キャビテーションなど）を保持するが、ノイズが多く複雑であるため、モデルによる直接的な処理が困難な場合が多い。

さらに、これらのタスクに対して大規模な基盤モデルをデプロイすることは、計算コストが高く、ラベル付きの水中音響データの可用性が限られているために過学習を招きやすい。これらのモデルをフルファインチューニングすることは、多くの場合、非現実的である。

手法

本論文では、生の音響波形とログメルスペクトログラムを同時に処理する、パラメータ効率の高いデュアルエンコーダ・ニューラルアーキテクチャを提案している。このフレームワークは、主に3つのコンポーネントで構成される：

1. PEFTを備えたデュアルエンコーダ・バックボーン

システムは2つの並列ブランチを利用する：

• 波形エンコーダ： 非生物学的、機械的な船舶のシグネチャへの適合性を考慮し、AVES-nonbio（自己教師あり学習に基づく動物発声エンコーダ）アーキテクチャで初期化されている。
• スペクトログラムエンコーダ： AudioSetおよびImageNetで事前学習された**Audio Spectrogram Transformer (AST)**で初期化されている。

ドメイン適応をフルファインチューニングなしで実現するために、事前学習済みのバックボーンパラメータは凍結される。代わりに、パラメータ効率の高いファインチューニング (PEFT) モジュールが注入される。本研究では、2つの特定のPEFT戦略を評価している：

• 低ランク適応 (LoRA): クエリランク $r \in \{16, 32\}$ でテスト。
• ヒストグラムベースのパラメータ効率の高いチューニング (HPT): ヒストグラムのビン数 $b \in \{16, 32, 64\}$ でテスト。

各エンコーダは、内部レイヤー間で共有される、個別の独立したファインチューニング用パラメータセットを維持し、適応プロセスを正則化する。

2. 微分可能なチョケ積分融合

2つのブランチの出力を結合するために、新しい決定レベルの融合メカニズムが導入されている。静的な融合手法（平均化など）とは異なり、このアプローチはチョケ積分 (Choquet integral) を使用して、波形表現とスペクトログラム表現の間の非加法的な相互作用（冗長性または相乗効果）をモデル化する。

チョケ積分をエンドツーエンドの学習のために微分可能にするため、著者らはソフトソート・ゲーティング機構を提案している：

• 学習可能なファジィ測度（$g_w$ および $g_s$）は、各クラスごとに最適化され、各表現の独立した寄与度と重要性を定量化する。
• ソフトソート・ゲートベクトル（$s$）は、シグモイド関数を用いて計算され、波形（$p_w$）とスペクトログラム（$p_s$）の相対的な信頼度に基づいて予測を条件付きでルーティングする。
• 融合された分布は、チョケ積分の連続近似として計算され、これによりネットワークは、環境的な歪みによって最も影響を受けている表現へと動的に注意を向けることが可能になる。

3. 最適化戦略

モデルは、複合的なマルチオブジェクティブ損失関数（$L_{total}$）を用いて訓練される：
$$L_{total} = \frac{1}{4} \left( 2 \cdot CE(p_{fused}, y) + CE(p_w, y) + CE(p_s, y) \right)$$
ここで、$CE$ はクロスエントロピー損失である。融合された予測は、個々のブランチの損失よりも2倍重く設定されており、これは、各エンコーダが識別的な特徴を学習することを保証しつつ、協調的な意思決定を優先させるためである。

主な結果

提案されたフレームワークは、DeepShip（4クラス）およびShipsEar（5クラス＋ノイズ）のデータセットを用いて評価された。

• 単一エンコーダとの比較性能： デュアルエンコーダ・アーキテクチャは、すべてのチューニング戦略において、独立した単一エンコーダのベースライン（波形のみ、およびスペクトログラムのみの両方）を一貫して上回った。
• PEFTの効率性：
  • PEFT（LoRAおよびHPT）を用いたデュアルエンコーダモデルは、フルファインチューニングされた単一エンコーダの最先端モデル（例：ResNet-50, ConvNeXtV2, SSAST）と同等、あるいは場合によってはそれを上回る分類精度を達成した。
  • 具体的には、Dual LoRA (r=16) は 71.6% の精度を達成し、膨大なパラメータ削減を考慮すると、AST (72.3%) や AVES (67.9%) のフルファインチューニングを凌駕した。
• 解釈可能性： 学習されたファジィ測度の分析により、クラス固有の依存関係の変化が明らかになった。例えば、リニアプロービングにおけるDeepShipの「Tanker」クラスでは、ネットワークはスペクトログラム（0.18）よりも波形（0.22）に対して高い重みを割り当てたが、「Cargo」ではスペクトログラムを強く支持した。これは、モデルが特定の音響シグネチャに応じて最適な表現を動的に選択できる能力を持つことを裏付けている。
• 堅牢性： デュアルエンコーダ・アプローチは、特にShipsEarデータセットにおいて、低偽陽性領域（pAUC0.30）で優れた性能を示し、Dual HPT手法が単一モードのフルファインチューニング手法を統計的に上回った。
• 表現の整合性： 中心カーネルアライメント（CKA）分析は、初期レイヤーは安定している一方で、深いレイヤーはフルファインチューニングのベースラインからより大きく乖離していることを示した。波形ブランチはスペクトログラムブランチよりもベースラインとの類似性が低く、これは波形ブランチが、より高い容量のチューニングを必要とする主要なボトルネックであることを示唆している。

意義と主張

本論文は、高度な海洋音響認識のための計算効率の高いフレームワークを提示していると主張しており、性能とリソース制約のバランスをとっている。その主な貢献は以下の通りである：

1. 二重表現の相乗効果： 時間的（波形）およびスペクトル的（スペクトログラム）データの融合が、いずれか一方のモダリティ単独よりも高い精度をもたらすことを実証し、水中チャネルの非定常的な課題を効果的に軽減することを示した。
2. パラメータ効率： PEFTモジュール（LoRAおよびHPT）を用いることで、限定されたデータセットに対する過学習のリスクを軽減しながら、全ネットワークのフルファインチューニングのわずかなパラメータ数で、大規模な基盤モデルを水中ドメインに適応できることを証明した。
3. 微分可能な融合： 新しい微分可能なチョケ積分レイヤーを導入することで、精度の向上だけでなく、解釈可能性も提供した。学習されたファジィ測度を分析することで、システムは、クラス固有の音響特性や環境的な歪みに基づいて、どのように表現間の依存関係を動的に変化させているかを明らかにできる。
4. 運用の優位性： 動的なゲーティング機構により、システムは（例えば、スペクトログラムのトナール成分がマスクされた場合に波形へとシフトするなど）、環境ノイズの影響を最も受けていない表現を優先させることができ、実世界の展開において堅牢なソリューションを提供する。

著者らは、このフレームワークが、フルネットワークのファインチューニングに伴う過度な計算コストをかけずに、高性能な水中音響分類を実現するための実行可能な道筋を確立していると結論付けている。今後の課題として、PEFT統合型バックボーンのハードウェア効率および量子化手法の調査が提案されている。