MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

技術要約: MiLorE-SSL

問題提起
自己教師あり学習（SSL）は音声表現学習に革命をもたらしたが、多言語SSLモデルには重大な制約が存在する。既存のモデルは通常、事前学習時に遭遇した言語に限定される。新しい言語を組み込むには、通常、ゼロからの計算コストの高い再学習が必要となる。あるいは、緩和策なしに逐次的な学習を行うと、「破滅的忘却」が発生し、以前に学習した言語に対する性能が著しく低下する。データリプレイのような既存の解決策は大規模な履歴コーパスとストレージを必要とし、アダプターベースのモジュールは言語数の増加に伴いスケーラビリティが低下するため、既知の知識を破棄することなく、また法外なコストをかけることなく、効率的な継続的マルチリンガル学習を可能にするフレームワークが求められている。

手法
著者らは、SSLモデルの継続的な拡張のために設計された軽量なフレームワークであるMiLorE-SSL（Mixture of LoRA Experts）を提案する。このアーキテクチャは、標準的なTransformerベースのSSLモデル（具体的にはHuBERT）を修正し、各ブロック内の標準的なフィードフォワードネットワーク（FFN）をMiLorEモジュールに置き換えるものである。このモジュールは以下の3つのコンポーネントで構成される：

1. 凍結されたバックボーン（Frozen Backbone）: 元のFFNの重み（$W_0$）は、既知のマルチリンガル知識を保持するために凍結されたままとなる。
2. LoRAエキスパート（LoRA Experts）: 低ランク行列（$\Delta W = BA$）としてパラメータ化された$N$個のエキスパートのセット。これは、導入される学習パラメータ数を最小限に抑える。
3. ソフトルーター（Soft Router）: 入力隠れ状態に基づいてソフトルーティング重み（$p$）を計算する学習可能なメカニズム。ハードルーティングとは異なり、入力が複数のエキスパートに分散されることを可能にし、明示的な言語識別子を必要とせずに、柔軟な知識共有と専門化を促進する。

モジュールの出力は、凍結されたバックボックの出力とエキスパートの出力の加重和となる：$o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$。

破滅的忘却をさらに軽減するために、本フレームワークはリプレイ戦略を採用している。大規模な履歴コーパスに依存する代わりに、新しい言語の学習中に、既存の言語からランダムにサンプリングされた小さなサブセット（例：100時間）を利用する。これにより、モデルは既知の言語的分布を再訪しながら、新しいパターンに適応することができる。

主な貢献

• 新規フレームワーク: MiLorE-SSLは、SSLモデルの継続的なマルチリンガル拡張のために、LoRAとソフトMixture-of-Experts（MoE）メカニズムを組み合わせた最初のフレームワークである。
• ソフトエキスパートルーティング: ソフトルーティングメカニズムの設計により、知識の共有と専門化のバランスを取り、言語間の干渉を低減させる。
• 効率的な忘却緩和: 最小限の既存言語データを用いたリプレイ戦略の統合により、フル履歴データセットへのアクセスを必要とせずに忘却を抑制する。
• パラメータ効率: 本手法は、全パラメータのわずか**2.14%**のみが学習可能でありながら、高い性能を達成する。

実験結果
実験は、単一言語の自動音声認識（ASR）および言語識別（LID）タスクに焦点を当てたML-SUPERBベンチマークを用いて行われた。本研究では、英語で事前学習されたHuBERT-Largeを使用し、これをマンダリン（中国語）と広東語に対して継続的に学習させ、リプレイには英語データを使用した。

• 性能向上: MiLorE-SSLは、ベースラインである英語のみのHuBERT-LargeおよびマルチリンガルなmHuBERT-147を大幅に上回った。CommonVoiceデータセットにおいて、mHuBERT-147がそれぞれ18.5%、15.5%、14.8%であったのに対し、MiLorE-SSLは文字エラー率（CER）を英語で10.3%、マンダリンで10.7%、広東語で11.0%に低減させた。
• 言語識別: モデルは平均99.40%のLID精度を達成し、mHuBERT-147（97.21%）およびHuBERT-Large（94.96%）を上回った。
• アブレーション研究: MoEコンポーネントまたはリプレイ戦略を除去すると、すべてのタスクにおいて性能の低下が見られた。具体的には、MoEの除去はエキスパートの専門化の必要性を裏付け、リプレイの除去は主に英語の性能を損なったことから、忘却を防ぐ役割が検証された。
• エキスパートの活性化: エキスパートの活性化パターンの分析により、下位レイヤーは言語に依存しない特徴をエンコードし、中間および上位レイヤーは言語固有の分岐を示すことが明らかになり、共有および個別の言語的特徴をモデル化するためのMoE構造の有用性が検証された。

意義と主張
本論文は、MiLorE-SSLがSSLモデルにおける計算効率とマルチリンガル能力のトレードオフを効果的に解決することを主張している。低ランク適応（LoRA）とソフトMoE、および軽量なリプレイ戦略を組み合わせることで、本フレームワークは既存の言語における強力な性能を維持しながら、新しい言語を逐次的に学習することを可能にする。著者らは、これが静的な学習における厳格なデータバランシングの要件や、従来のリプレイ手法のような膨大なストレージの必要性なしに達成されていることを強調している。結果は、最小限の学習パラメータ（2.14%）で破滅的忘却を回避しながら、SSLモデルを新しい言語へと拡張できることを示しており、世界の言語的多様性に対するスケーラブルなソリューションを提供している。