Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

技術的概要：クジラの鳴き声の弱教師あり検出と時間的局在化

問題定義
受動型音響監視（PAM）システムは、海洋の音景の連続的な数ヶ月にわたる録音データを生成し、しばしばテラバイト規模のデータ量に達する。クジラの鳴き声の検出は、個体群の監視や保全（SDG 14 の支援）にとって不可欠であるが、自動分析には大きなボトルネックが存在する。それは注釈コストである。現在の深層学習アプローチ、主に畳み込みニューラルネットワーク（CNN）は、分類のための二値の存在/不在ラベルと、局在化のための正確な時間的境界（開始/終了時刻）という、2 つの独立した高コストな注釈作業を必要とする。

• 不一致: 30 分間の録音に二値ラベルを割り当てるのは数秒で済むが、その録音内の個々の鳴き声すべてにタイムスタンプを付与するには、専門家の数時間の労力が必要となる。
• 既存手法の限界: 標準的な CNN や基盤モデルは、通常、固定サイズの短時間入力（例：≤15 秒）で動作する。分単位から時間単位に及ぶ長時間ストリームを処理するために、これらの手法は時間的圧縮やウィンドウ選択ヒューリスティクスに依存しており、これにより性能が低下し、フレームレベルの教師信号なしでは時間的局在化を提供できない。その結果、完全教師ありモデルは長時間入力において著しい性能低下をきたす（例：1800 秒の録音において F1 スコアが約 0.8 から約 0.2 に低下）し、高価なインスタンスレベルの注釈なしには鳴き声を局在化できない。

手法：DSMIL-LocNet
著者は、録音レベル（バッグレベル）の存在/不在ラベルのみを使用して、分類と時間的局在化の両方を行う弱教師ありフレームワークであるDSMIL-LocNet（Dual-Stream Multiple Instance Learning-Localization Network：双ストリーム複数インスタンス学習局在化ネットワーク）を提案する。

1. 複数インスタンス学習（MIL）の定式化:

   • 各長時間録音は、複数の非重なり短セグメント（「インスタンス」$x^j_i$）を含む「バッグ」($B_i$) として扱われる。
   • モデルは、バッグ全体（いずれかの鳴き声の有無を示す）に対する単一の二値ラベル $y_i \in \{0, 1\}$ のみを受け取り、特定のインスタンスラベルは訓練中に未知（潜在）のままである。
   • 目的は、鳴き声を含むインスタンスに高い確率を、背景ノイズには低い確率を割り当てるアテンション重み（$\alpha^j_i$）を学習することである。

2. 双ストリームアーキテクチャ:

   • スペクトルストリーム: STFT から導出されたメルスペクトログラムを、周波数変調を捉える残差ブロックを備えた CNN エンコーダを使用して処理する。
   • 時間ストリーム: オーディオ波形から直接抽出された手作業による時間的特徴を処理する。これには、RMS エネルギー、ゼロクロスレート（ZCR）、ピーク振幅、エンベロープ統計量、時間重心が含まれる。
   • 融合: 融合モジュールは、変化するノイズ条件や鳴き声の種類に適応するために、両ストリームからの特徴を動的に重み付けして組み合わせる。

3. アテンションと局在化:

   • モデルはアテンション機構を採用しており、各インスタンスの重み $\alpha^j_i$ は、バッグ全体に対するソフトマックス関数を通じて計算される。
   • 分類: バッグレベルの予測は、インスタンス埋め込みの重み付き和である。
   • 局在化: 時間的局在化は、特定しきい値を超えるアテンション重み $\alpha^j_i$ を持つインスタンスを特定することで達成される。これにより、モデルは訓練中にフレームレベルのラベルを一度も見たことのない状態でタイムスタンプを出力できる。

4. 損失関数:
   訓練目的は、長時間の生物音響における特定の課題に対処するために 4 つの構成要素を組み合わせる。

   • Focal Binary Cross-Entropy ($L_{BCE}$): クラス不均衡（稀な陽性鳴き声）に対処する。
   • 時間的滑らかさ ($L_{temp}$): 隣接するインスタンス間の一貫したアテンションを促し、鳴き声の連続性を反映する。
   • スパース性 ($L_{sparsity}$): モデルが関連セグメントのわずかな部分に焦点を当てることを保証する。
   • インスタンス一貫性 ($L_{inst}$): 一貫した特徴表現を促進する。

主な貢献

1. 弱教師あり定式化: 著者は、多分単の録音ごとに単一の二値ラベルのみを必要とする MIL 問題として長時間のクジラ鳴き声分析を定式化し、高価なフレームレベル注釈への依存を排除した。
2. 双ストリームアーキテクチャ: 彼らは、スペクトル CNN 特徴と手作業による時間的特徴を組み合わせ、アテンションの希薄化、クラス不均衡、長時間バッグにおける時間的一貫性を処理するために多成分損失関数を利用するネットワークを導入した。
3. 同時分類と局在化: このフレームワークは、学習されたアテンション重みの単一セットが、バッグレベルの分類とインスタンスレベルの時間的局在化の両方に機能し得ることを実証している。

実験結果
この手法は、高い背景ノイズ（73–99.9%）を伴う南極クジラの録音 1,880.25 時間からなるAcousticTrends BlueFinLibraryで評価された。

• 長時間での性能: DSMIL-LocNet は、300 秒から 1800 秒の録音においてF1 スコア 0.88–0.91を達成した。これに対し、時間的圧縮による情報損失により、完全教師あり CNN ベースライン（ANIMAL-SPOT、DeepWhaleNet など）はこれらの長さにおいてF1 スコア 0.19–0.64まで著しく劣化した。
• 局在化能力: 追加の注釈なしには時間的局在化を提供しなかった教師ありベースラインとは異なり、DSMIL-LocNet は鳴き声の局在化に成功した。
• 時間的トレードオフ:
  • 分類: 鳴き声を含む可能性が高まるにつれ、バッグの長さが長いほど（最大 1800 秒まで）性能が向上した。
  • 局在化: 精度は短いバッグ長さ（60–120 秒）でピークに達し、より多くのインスタンスにわたるアテンションの希薄化により、より長い長さ（600 秒で 0.5–0.6）ではわずかに劣化した。ただし、著者は、長時間入力における強力な教師ありベースラインが提供する「局在化なし」よりも、精度が低下した局在化の方が価値があると指摘している。
• アブレーション研究: 双ストリーム設計または多成分損失を除去すると、性能が著しく低下し、スペクトル/時間的統合と特定の損失制約の両方の必要性が確認された。

意義と主張
本論文は、DSMIL-LocNet が専門家の時間が限られる運用規模の PAM 展開に対して実用的な解決策を提供すると主張している。安価な録音レベルのラベルから検出と局在化の両方を可能にすることで、この手法は、短セグメントモデルの最適化と、連続的で長時間の海洋監視という現実の間のギャップを埋める。

著者は、このアプローチが海洋生物音響に限定されないことを強調している。彼らは、安価なバッグレベルラベルを構造化された時間的予測に変換するという基本原理は、地震学、医療音響、陸上生物多様性調査など、連続データストリーム、希少なターゲット事象、高コストな注釈を特徴とするあらゆる分野に適用可能であると示唆している。この研究は、固定入力アーキテクチャによる強力な教師あり学習ではサポートできない機能（長時間入力における結合した分類と局在化）を、弱教師あり学習が提供し得ることを実証している。