技術概要：AudioMosaic

問題定義

音声の自己教師あり学習（SSL）は、大規模なラベルなし音声データから汎用的な表現を学習することを目的としている。近年の進展は主に生成再構成目的（マスクモデリング）によって牽引されてきたが、一般的な音声理解に対する対照学習アプローチは未だ十分に探求されていない。このギャップは、以下の 2 つの主要な課題に起因している。

1. データ拡張の設計: スペクトログラムに対する効果的なデータ拡張を設計することは困難である。SpecAugment のような既存手法は教師あり学習では効果的であるが、自己教師ありマスクモデリングには最適ではない。さらに、標準的な拡張設計はしばしばドメインに依存し、高価な探索を必要とする。
2. 計算コスト: 対照法は通常、十分な負のサンプルを提供するために大規模なバッチサイズを必要とし、これにより莫大な計算コストが生じる。さらに、スペクトログラム表現に直接対照学習を適用すると、「次元の崩壊（dimension collapse）」、すなわち表現が低次元部分空間に収束して品質が劣化するリスクがある。

手法：AudioMosaic

著者は、マスクを再構成のためのノイズではなく、情報に富む正のペアを構築するメカニズムとして再考する、対照学習ベースの音声エンコーダ「AudioMosaic」を提案する。

コアアーキテクチャと事前学習

• 入力処理: 生波形は（時間的および音響的な）拡張を施され、ログメルスペクトログラムに変換される。これらは $t \times f$ パッチに分割される。
• 構造化された時間 - 周波数マスク: 再構成モデル（Audio-MAE など）で用いられる非構造化のランダムマスクとは異なり、AudioMosaic は時間次元と周波数次元に沿って独立した構造化マスクを適用する。
  • 同じ発話の 2 つの拡張ビューが生成される。
  • 一方のビューは時間次元に沿って ($M_t$)、もう一方は周波数次元に沿って ($M_f$) マスクされる。
  • これにより、マスク領域が異なる相補的なビューが作成され、モデルが局所的な相関ではなく、グローバルで発話レベルのパターンに依存することを強制する。
• 対照目的: マスクされたパッチシーケンスはシャッフルされ、共有されたトランスフォーマーエンコーダに供給される。軽量な MLP プロジエクタが潜在表現を正規化された埋め込み空間にマッピングする。モデルは、同じ発話の相補的ビュー間の類似性を最大化し、バッチ内の他のサンプルとの類似性を最小化するように、標準的な対照損失を用いて訓練される。
• 効率性:
  • デコーダ不要: マスクモデリングアプローチとは異なり、AudioMosaic は再構成のための重たいトランスフォーマーデコーダを使用しないため、パラメータ数とメモリ使用量が大幅に削減される。
  • トークン数の削減: 高いマスク比率により、トランスフォーマーが処理する可視トークンの数が減少する。これにより、二次的なアテンションコストが $O(N^2)$ から $O((1-\rho)^2 N^2)$ に低下し、非常に大規模なバッチサイズ（実験では最大 6144）での効率的な訓練が可能となる。

マスキング戦略の分析

本論文は、表現の内在次元を推定する指標である**有効ランク（Effective Rank）**を用いて、マスキング戦略の有効性を分析する。

• 知見: 対照設定における非構造化マスクは、低い有効ランクをもたらし、退化的な解（次元の崩壊）への傾向を示している。
• メカニズム: 構造化された時間 - 周波数マスクは、正のビュー間の共有された局所的な冗長性を低減しつつ、より広範な時間 - 周波数パターンを保持する。これにより、より高次元で、より判別性が高く、転移可能な表現の学習が促進される。

主要な貢献

1. AudioMosaic フレームワーク: スペクトログラム上で正のペアを構築するために、構造化された独立した時間 - 周波数マスクを利用する対照事前学習フレームワーク。このアプローチは計算効率が良く、再構成デコーダを必要としない。
2. 表現分析: 有効ランクを用いた理論的および実証的分析により、対照設定において構造化マスクが次元の崩壊を防ぎ、非構造化マスクと比較してより豊かな表現をもたらすことを実証した。
3. 最先端のパフォーマンス: 本モデルは、データセット、ドメイン、音響条件を超えて優れた転移性を達成した。

実験結果

実験は、AudioSet (AS-20K, AS-2M)、ESC-50、Speech Commands (SPC-1, SPC-2)、および環境音ディープフェイク検出 (EnvSDD) を含む標準的なベンチマークで行われた。

• ファインチューニング: AudioMosaic は AS-20K において最先端 (SOTA) の結果 (42.5 mAP) を達成し、SSLAM (40.9 mAP) や Audio-MAE (37.0 mAP) といった強力なベースラインを上回った。また、ESC-50 (97.5%) および SPC-2 (98.4%) においても新たな記録を樹立した。
• 線形プロービング: エンコーダを固定した場合、AudioMosaic はマスクスペクトログラムモデリング手法（Audio-MAE、BEATs、EAT など）を大幅に上回る性能を示した。これは、学習された特徴が微調整による適応に依存するのではなく、本質的に判別性が高く転移可能であることを示している。
• ディープフェイク検出: EnvSDD ベンチマークにおいて、AudioMosaic はテキストから音声、音声から音声の両方のディープフェイクに対して最低の等誤り率 (EER) を達成し、未見の生成モデルやデータソースに対する強力な汎化能力を実証した。
• 音声 - 言語モデル: 音声 - 言語モデル（LLaMA-7B と整合）に統合された場合、AudioMosaic は以前の CAV-MAE エンコーダと比較して、特にゼロショット設定において音声分類やキャプション生成タスクの性能を向上させた。
• 効率性: AudioMosaic はメモリ効率が良く、EAT（EMA ティーチャとクローンバッチを必要とし、標準ハードウェアでは比較的小さなバッチサイズでもメモリ不足エラーを引き起こす）などの競合手法よりも大きなバッチサイズを可能にする。

意義と主張

本論文は、AudioMosaicが音声 SSL に対する生成再構成の実用的かつ効果的な代替手段を提供すると主張している。マスクをノイズ注入ではなくビュー構築のツールとして再考することにより、この手法はスペクトログラムへの対照学習の適用に伴う課題を成功裏に克服した。

著者は以下の点を強調している。

• 構造化マスクは、次元の崩壊を防ぎ、発話不変的なグローバル表現を学習するために不可欠である。
• このアプローチは計算効率が良く、再構成デコーダのオーバーヘッドなしで大規模バッチ訓練を可能にする。
• 学習された表現は非常に転移性が高く、多様なタスク（分類、ディープフェイク検出）およびモダリティ（音声 - 言語統合）において良好に機能する。

本研究は、適切な拡張戦略と組み合わせた対照学習が、汎用的な音声理解において生成マスクモデリングのパフォーマンスに匹敵、あるいは上回る可能性を示唆している。