S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models

以下は、論文「S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models」の詳細な技術的サマリーです。

1. 問題定義

汎用オーディオ基盤モデルは多様なタスクにおいて最先端のパフォーマンスを達成していますが、その巨大なサイズ（しばしば数億のパラメータ）に起因する極端な計算コストに悩まされています。これにより、リソース制約のあるエッジデバイス（例：携帯電話、組み込みシステム）への展開が制限されています。

**知識蒸留（KD）はモデル圧縮の標準的な技術ですが、オーディオ分野における既存の手法は主に教師あり学習（SL）**の設定に依存しています。これらの従来のアプローチは以下の要件を必要とします：

• クラスロジット: 教師ありモデルが出力するクラス予測の確率分布を一致させる必要がありますが、自己教師ありモデル（SSL）はこれを出力しません。
• アーキテクチャの特定性: 中間層の整合を取る必要があるため、教師モデルと学生モデル間で類似したアーキテクチャが求められます。
• ラベルへの依存: サンプリングや損失計算のために真のラベル（ground-truth labels）に依存します。

したがって、クラスラベルやアーキテクチャの整合を必要とせず、埋め込みベースの SSL オーディオモデル（潜在表現のみを出力するモデル）を効率的な学生モデルへ蒸留するための効果的なフレームワークが存在していません。

2. 手法：S-SONDO

著者らは、出力埋め込みのみを使用して汎用オーディオモデルを蒸留するためのフレームワークであるS-SONDO（Self-Supervised KnOwledge DistillatioN for General AuDio FOundation Models）を提案します。

コアアーキテクチャ

パイプラインは、論文の図 1 に示される 3 つの主要なコンポーネントで構成されます：

1. 事前学習済み教師（$g_\gamma$）: 生オーディオから高次元の潜在埋め込み（$Z_t$）を生成する大規模な SSL 基盤モデル（例：MATPAC++、M2D）。
2. 学生エンコーダ（$f_\theta$）: 独自の埋め込み（$Z_s$）を生成する軽量で効率的なモデル（例：MobileNetV3、DyMN、ERes2Net）。
3. マッピングヘッド（$h_\beta$）: 学生モデルの埋め込みを教師モデルの潜在空間に射影する多層パーセプトロン（MLP）。これは、学生と教師で埋め込み次元が異なる（$d_s \neq d_t$）ことが多いため重要です。射影された学生埋め込みは $Z'_s$ と表記されます。

学習目的

ロジット間の差異を最小化する標準的な KD と異なり、S-SONDO は教師のセマンティック空間における射影された学生埋め込み（$Z'_s$）と教師埋め込み（$Z_t$）の距離を最小化します。

論文では、最も効果的な整合戦略を決定するために、いくつかの損失関数（$L_{KD}$）を評価しています：

• $L_{MSE}$ & $L_{L1}$: 要素ごとの距離ペナルティ。
• $L_{cos}$（コサイン類似度）: ベクトル間の角度的な類似度を測定します。
• $L_{CLAP}$: CLAP モデルから適応された対照損失。
• $L_{KL}$: クルバック・ライブラー発散（埋め込みを確率分布として扱う）。

主要な発見: **コサイン類似度（$L_{cos}$）**がデフォルトかつ最も頑健な損失として特定されました。要素ごとの損失（MSE/L1）は、SSL 埋め込みにおけるセマンティック情報が絶対座標ではなく相対的な方向に符号化されているため、最適ではありませんでした。KL 発散は、SSL 埋め込みが確率分布ではないため不適切です。

バランスドデータサンプリング（BDS）

真のラベルなしでクラス不均衡に対処するため、著者らは**バランスドデータサンプリング（BDS）**を適応させます：

1. クラスタリング: 教師埋め込みをクラスタリング（例：$k=50$ の K-Means を使用）して疑似ラベルを生成します。
2. 重み付け: サンプルをクラスタの頻度に反比例する重み（$w_i = \frac{1}{freq(cluster) + 100}$）で重み付けします。
3. サンプリング: 学習中に、これらの重みに基づいてバッチをサンプリングし、希少なセマンティッククラスタが適切に表現されるようにします。

3. 主要な貢献

1. 初の埋め込みのみの SSL KD フレームワーク: S-SONDO は、クラスロジットや中間層の整合を必要とせず、出力埋め込みのみを使用して汎用オーディオ基盤モデルを蒸留する最初の手法です。
2. アーキテクチャ非依存性: マッピングヘッドを使用し、最終的な埋め込みに焦点を当てることで、この手法は教師（Transformer ベース）と学生（CNN ベース）の間のアーキテクチャの違いに関係なく機能します。
3. 損失関数の分析: 論文は SSL における KD の損失関数を体系的に評価し、この特定のタスクにおいてコサイン類似度が MSE、L1、KL 発散よりも優れていることを確立しました。
4. ラベルフリーサンプリング: 自己教師あり設定においてバランスドデータサンプリングを実行するために、クラスタリングベースの疑似ラベルを使用する有効性を実証しました。

4. 実験結果

この手法は、2 つの教師（MATPAC++ と M2D、どちらも約 86M パラメータ）と 3 つの学生（MobileNetV3、DyMN、ERes2Net、1.4M から 8.7M パラメータの範囲）を用いて、7 つのダウンストリームオーディオタグ付けタスク（音楽および環境音）で評価されました。

主要な性能指標:

• 性能維持: 蒸留された学生モデルは、教師の性能の最大**96.4%**を維持しました（具体的には、MATPAC++ から蒸留された MobileNetV3）。
• 圧縮率: 学生モデルは教師モデルよりも最大61 倍小さくなりました。
• 教師ありベースラインの凌駕: 6 つの教師 - 学生の組み合わせのうち4 つで、S-SONDO による蒸留モデルは、標準的な教師あり学習で訓練された同じ学生アーキテクチャよりも優れた性能を発揮しました。
  • 例: MATPAC++ から蒸留された MobileNetV3 は平均スコア73.0を達成し、教師ありベースラインの72.0を上回りました。
• 損失比較: コサイン損失が最高の平均性能（72.7）をもたらしました。次いで CLAP（72.3）が続きました。MSE と L1 は著しく劣る性能でした。
• BDS の影響: バランスドデータサンプリングは、小容量モデル（ERes2Net など）にとって決定的でした。BDS なしでは、MATPAC++ から蒸留された ERes2Net は崩壊し（70.8 から 44.8 に低下）、機能しませんでした。

5. 意義と結論

S-SONDO は、オーディオ AI の展開における重要なボトルネック、すなわちモデルの能力と計算効率の間のトレードオフに対処します。埋め込み整合のみが高品質な蒸留に十分であることを証明することで、論文は以下のことを可能にします：

• エッジデバイスへの展開: 強力な基盤モデルをモバイルおよび組み込みハードウェアで実用的なものにします。
• 汎用性: 特定のアーキテクチャや分類ヘッドを持つものに限らず、埋め込みベースの SSL モデル全体に適用可能なフレームワークを提供します。
• 将来の方向性: 著者らは、マルチラベルタスクのためのクラスタリング戦略の改善や、ネガティブペアをより適切に処理するための対照目的の洗練が、将来の研究における有望な道筋であると示唆しています。

要約すると、S-SONDO は、大規模なオーディオ基盤モデルを圧縮するための堅牢でアーキテクチャ非依存、かつラベルフリーなソリューションを提供し、パラメータの断片化で教師に近い性能を達成します。