技術要約：音声および生物音響モデルの適応

問題提起

人間の音声（HuBERTなど）や動物の鳴き声（AVESなど）で事前学習された自己教師あり学習（SSL）モデルは、生物音響タスクに対して強力な転移性を示すことが実証されている。しかし、それらの凍結された表現は、必ずしも特定のダウンストリームデータセットに対して最適化されているわけではない。これらのデータセットは多くの場合、種固有であり、サイズが限定的で、アノテーションに多大なコストを要する。大規模なSSLエンコーダのフルファインチューニングは計算コストが高く、アノテーション済みの動物データが乏しい現状では非現実的な場合が多い。先行研究では事前学習ドメインの比較が行われてきたが、生物音響タスクに対してこれらのモデルをどのように適応させるべきか、具体的にはどのコンポーネントを更新すべきか、何層のモディファイを行うべきか、そして音声事前学習モデルと生物音響事前学習モデルが同じ適応戦略から恩恵を受けるのかどうかについては、依然として不明な点が多い。さらに、既存の文献では、凍結されたモデルを使用する場合、エンコーダの深い層になるにつれて分類性能が漸次低下することが示唆されているが、生物音響データへの直接的な適応がこの傾向を変化させるかどうかは分かっていない。

手法

本研究では、コールタイプ識別（CTID）のために、低ランク適応（LoRA）を用いたパラメータ効率の良いファインチューニング（PEFT）を調査する。著者らは、アーキテクチャが同一である2つのトランスフォーマーベースのモデル、HuBERT（人間の音声で事前学習）とAVES-Bio（生物音響データで事前学習）を採用している。本研究は、最適な適応戦略を決定するための4つの系統的なアブレーション研究を中心に構成されている。

1. 行列の選択 (Q1): どのトランスフォーマー投影行列のサブセットが最良の性能をもたらすかを評価する。構成は、フィードフォワードネットワークのみを適応させるもの（[FC1, FC2]）から、すべての自己注意投影（Q, K, V）および出力/フィードフォワード層を適応させるもの（[Q, K, V, FC0, FC1, FC2]）まで多岐にわたる。
2. 適応の範囲 (Q2): LoRAアダプタをトランスフォーマーエンコーダ以上に拡張することが性能向上につながるかどうかを検討する。以下の比較を行う：
   • エンコーダのみ: トランスフォーマー層にアダプタを配置。
   • プロジェクター + エンコーダ: トランスフォーマーと特徴投影層の両方にアダプタを配置。
   • エクストラクター + プロジェクター + エンコーダ: 畳み込み特徴抽出器のフルファインチューニングと、プロジェクターおよびエンコーダ内のアダプタを組み合わせたもの。
3. 層の選択戦略 (Q3): どのエンコーダ層を適応させるべきかを決定するために、2つの戦略を比較する：
   • ボトムアップ (Bottoms-up): 第1層から第$k$層へと、下層から上層に向かって逐次的に適応させる（$l_1$ から $l_k$）。
   • トップダウン (Top-down): 最終層から第$L-k$層へと、上層から下層に向かって逐次的に適応させる（$l_L$ から $l_{L-k}$）。
4. ファインチューニング戦略 (Q4): 以下の3つのパラダイムを比較する：
   • 線形プロービング (Linear Probing): すべての層を凍結し、その上に線形分類器を学習させる。
   • LoRA + フリーズ (LoRA + Freezing): 選択された層にLoRAアダプタを適用してファインチューニングを行い、その他の層は凍結したままにする。
   • LoRA + プルーニング (LoRA + Pruning): 選択された層にLoRAを用いてファインチューニングを行い、選択されなかった層はモデルから完全に削除する。

実験は、InfantMarmosetsVox (IMV)（72,920サンプル、11コールタイプ）とAbzaliev（8,034サンプル、14コールタイプ）の2つのデータセットを用いて実施された。ハイパーパラメータはグリッドサーチにより最適化され、ランク（$r$）60、スケーリング係数（$\alpha$）3、学習率 $10^{-3}$ が最適であると特定された。

主な結果

行列および範囲の選択

• 行列の選択: パフォーマンスは、より広範な投影行列のセットを適応させるほど、単調に向上する傾向を示す。すべての自己注意およびフィードフォワード投影（[Q, K, V, FC0, FC1, FC2]）を適応させた構成が、最も高い非加重平均再現率（UAR）を達成した。
• 特徴抽出器の適応: 畳み込み特徴抽出器を（LoRAではなく）直接ファインチューニングすることは、一貫してダウンストリームの性能を著しく低下させた。特徴プロジェクターの適応による利得は、エンコーダのみを適応させた場合と比較してわずかなものに留まった。

層の選択と傾向

• 戦略の比較: 「ボトムアップ」と「トップダウン」のどちらの層選択戦略も、一貫して他方を上回ることはなかった。アダプタを同じ行列に配置した場合、両者は同等の結果を示した。
• 層ごとのパフォーマンス:
  • 凍結モデル: 先行文献と一致して、凍結モデルにおける線形プロービングでは、層が深くなるにつれて性能が漸次低下した。
  • LoRA適応: LoRAを適用した場合、AVESにおける深いトランスフォーマー層では、性能が全般的な上昇傾向を示した。これは、深い層がコールを効果的に分類できる抽象的な特徴をエンコードしているが、それは層がファインチューニングされた場合に限られることを示唆している。

ファインチューニング戦略とデータサイズ

• 大規模データセット (IMV): LoRAファインチューニング（フリーズまたはプルーニングのいずれか）は、ほぼすべての層において、単純な線形プロービングを大幅に上回った。
• 小規模データセット (Abzaliev): 単純な線形プロービングの方が信頼性が高く、しばしばLoRAの性能を上回ったが、その差は僅かであった。これは、LoRAの有効性がデータサイズに応じてスケールする一方で、低データシナリオにおいては線形プロービングがより堅牢なベースラインであることを示唆している。
• プルーニング vs. フリーズ: 使用されていない層を削除すること（プルーニング）は、性能の観点からは単に凍結することと比較して有意な利点をもたらさなかったが、モデルサイズの削減には寄与する。

分類器の複雑性

• Abzaliev データセットにおいて、より深い4層のMLP分類器は、LoRA実験で使用された単一の線形層よりも優れた性能を示した。
• IMV データセットでは、単一の線形層がMLPを上回った。これは、分類器の非線形性の必要性に関して、データセット特有の挙動があることを示している。

重要性と主張

本論文は、**低ランク適応（LoRA）**が、特に十分なラベル付きデータが利用可能な場合に、大規模なSSL表現を生物音響タスクに適応させるための実用的かつ効果的なフレームワークを提供すると主張している。

• 適応の最適化: 生物音響におけるPEFTの成功は、特定の設計上の選択に強く依存していること（より広範なトランスフォーマー投影を適応させることが優れている一方で、畳み込み特徴抽出器の適応は有害であること）を本研究は強調している。
• 層の傾向の逆転: 直接的な適応（LoRA）によって、凍結されたSSLモデルで見られる典型的な深い層での性能低下を逆転させ、深い層が分類に有意義に貢献できるようにできるという点が主要な知見である。
• データ依存性: 著者らは、LoLOAはデータが豊富な生物音響分類には強力なツールであるが、低データ設定では古典的な線形プローブがより強力で安定したベースラインであり続ける可能性があると、控えめに結論付けている。
• 汎用性: 本研究の結果は、大規模なSSLモデルを生物音響タスクに適用する際、「ワンサイズ・フィッツ・オール（万能）」のアプローチを想定するのではなく、アダプタの配置、層の戦略、およびファインチューニング手法を慎重に選択することの重要性を強調している。

本研究は、生物音響の課題すべてを解決すると主張するものではなく、パラメータ効率の良い手法が音声および生物音響の事前学習済みモデルとどのように相互作用するかについての系統的な理解を確立し、当該分野における将来の適応戦略へのガイドを提供するものである。