Fast Speech Foundation Model Distillation Using Interleaved Stacking

技術要約：インターリーブ・スタッキングを用いた高速音声基盤モデルの蒸留

問題提起
知識蒸留（KD）は、HuBERTのような大規模な音声基盤モデル（SFM）から効率的な生徒モデルをデプロイするための標準的な手法であり、推論レイテンシと計算コストを削減するために用いられる。既存のアプローチでは、メモリ制約下での性能維持のために「深く狭い」生徒モデルアーキテクチャを採用することが多いが、これらのモデルは並列化が制限されるため、「浅く広い」アーキテクチャと比較して学習速度が遅くなる傾向がある。モデル・スタッキング（モデルの深さを段階的に増やしていく手法）による段階的学習は、他の領域では学習加速のために探索されているが、SFMの蒸留への適用については未調査である。さらに、既存のスタッキング手法（漸進的スタッキングやMIDASなど）は、学習ステージ間でレイヤーの位置の一貫性を損なうため、SFMにおいて性能低下を引き起こすことが多い。SFMはレイヤー固有の異なる知識をエンコードしているため、スタッキングのプロセス中にレイヤーの位置を変更することは、その知識の有効な転移を妨げることになる。

手法
著者らは、SFM蒸留のために特別に設計された新しい学習加速フレームワークである**インターリーブ・スタッキング（Interleaved Stacking）**を提案する。この手法は、以下のメカニズムを通じて動作する：

1. インターリーブを用いた段階的学習： 学習プロセスは$B$個のステージに分割される。初期段階では、$K$個のレイヤーを持つ浅い生徒モデル（$K = N/B$、ここで$N$は目標深度）を学習させる。各ステージの終了時、コピーしたレイヤーをネットワークの最上部や中間部に単に付加するのではなく、現在の$bK$レイヤーのモデルから、毎$b$番目のレイヤーを選択してコピーし、その元のレイヤーの直後に挿入する。これにより、次のステージでは$(b+1)K$レイヤーのモデルとなる。
2. レイヤー位置の一貫性： 漸進的スタッキング（最後の$K$レイヤーをコピーする）やMIDAS（中間ブロックをコピーする）とは異なり、インターリーブ・スタッキングは、学習ステージ全体を通じてレイヤーが相対的な比例位置を保持することを保証する（初期レイヤーは初期のまま、後半のレイヤーは後半のまま維持される）。
3. 中間レベルKDとの統合： この手法は、中間レベルの知識蒸留（KD）損失を自然にサポートする。レイヤーの位置が一貫しているため、生徒の第$k$レイヤーを、すべてのステージにおいて特定の教師レイヤー（例：教師の毎$M/K$番目のレイヤー）と一貫して整列させることができる。これにより、レイヤーのインデックスがシフトする他のスタッキング手法で見られる学習の不安定さを回避しながら、レイヤー間の平均二乗誤差（MSE）損失を使用することが可能になる。
4. 損失関数： 合計損失は、出力レベルのKD損失（教師の出力と投影された生徒の出力の間のMSE）と、中間レベルのKD損失を組み合わせたものである。中間損失は、生徒の現在の深さに対する固定された教師レイヤーのインデックスを対象としており、安定した教師あり学習を確保する。

主な貢献

• SFM蒸留におけるスタッキングの初の調査： 本論文は、音声基盤モデルの蒸留に特化したスタッキングベースの学習加速の有効性を初めて調査したものである。
• インターリーブ・スタッキング・アルゴリズム： 著者らは、レイヤーの位置の一貫性を維持するスタッキング戦略を導入し、既存の手法で発生するレイヤーの不整合による性能低下に対処した。
• 中間的な教師あり学習との互換性： 提案手法は、SFMの性能に不可欠な中間レベルのKD損失のシームレスな統合を可能にする。既存のスタッキング・ベースラインは、学習の分岐を引き起こすことなくこれらを組み込むことに苦慮している。
• 実証的検証： 本手法は、4つのダウンストリームタスク（音素認識（PR）、自動音声認識（ASR）、スロットフィリング（SF）、話者識別（SID））におけるSUPERBベンチマークを用いて検証されている。

実験結果
著者らは、HuBERTベースの教師モデルから蒸留された12層のTransformer生徒モデルを用いて手法を評価した。

• ベースラインとの比較： インターリーブ・スタッキングは、すべてのタスクおよびスケジューリング戦略（EqualおよびProp-1）において、既存のスタッキング・ベースライン（Gradual StackingおよびMIDAS）を大幅に上回った。例えば、PRタスクのEqualスケジューリングにおいて、インターリーブ・スタッキングは9.08のPER（Perplexity Error Rate）を達成したが、これはGradual Stackingの11.50およびMIDASの10.75と比較して優れた数値である。
• フル学習との比較： 特筆すべきことに、Prop-1スケジューリング戦略の下では、提案手法は、スタッキングなしで学習されたフル深度モデル（Full L2L）と同等またはそれ以上の性能を、PR、SF、およびSIDのタスクで達成した。しかも、学習時間は短縮されている（約1.16倍の高速化）。
• 中間損失の影響： 中間レベルのKD損失を含めることで、性能が大幅に向上した。本手法は中間損失がなくてもベースラインに対して優位性を維持していたが、その効果は中間損失を用いた場合に最も顕著であった。対照的に、Gradual Stackingに中間損失を適用すると、学習の不安定化と性能低下を招いた。
• レイヤー類似性分析： クロスレイヤー類似性の分析により、SFM内の隣接するレイヤーが高い相関を示すことが確認された。インターリーブ方式はこの関係を維持し、「ブロック状」の類似性構造をもたらした。つまり、コピーされたレイヤーとそのオリジナルが高度な類似性を保持しており、これは隣接挿入という設計上の選択を裏付けるものである。

意義と主張
本論文は、インターリーブ・スタッキングが、SFM蒸留における学習効率とモデル性能のトレードオフに対する実用的な解決策を提供すると主張している。レイヤーの一貫した位置を維持することで、本手法は、他の加速技術では失われがちなSFM固有のレイヤー別知識の保持を可能にする。著者らは、このアプローチが学習コストを削減することで効率的な生徒モデルのデプロイを加速させるだけでなく、段階的学習に伴う典型的な性能低下も軽減すると断言している。本研究は、学習効率が現実世界のSFMデプロイメントにおける極めて重要かつ未探索の要因であることを浮き彫りにし、学習中の慎重なアーキテクチャ操作が、学習が速く、かつ非常に効果的なモデルを生み出すことを示している。