Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

技術概要：Mix-MoE 大規模言語モデルの多言語機械翻訳を混合 MoE によって改善

問題定義
大規模言語モデル（LLM）は多言語機械翻訳（MT）において強力な能力を示しますが、並列コーパスを用いたファインチューニングには重大な課題、すなわちパラメータ干渉が存在します。新しいデータを用いて翻訳などの下流タスク向けに LLM をファインチューニングすると、パラメータが新しいタスクの最適化に向けてシフトし、元々備わっていた強力な単一言語の理解・生成能力の低下を招くことがよくあります。既存のアプローチ、例えば汎用的なミクスチャー・オブ・エキスパート（MoE）アーキテクチャやパラメータ分離手法などは、翻訳を支援するために事前学習された単一言語知識を明示的に活用するタスク固有の設計が欠けていたり、意味内容のみを考慮するルーティング機構に依存しており、テキスト内の潜在的な構造的またはリズム的なパターンを見落としている可能性があります。

手法
著者は、パラメータ干渉を軽減しつつ LLM を多言語 MT 向けに訓練するための混合ミクスチャー・オブ・エキスパート（MoE）フレームワークであるMix-MoEを提案します。このフレームワークは、密な LLM を 2 つの異なるエキスパート群を持つ疎な MoE モデルに変換し、2 段階の訓練戦略を採用します。

1. 専門化されたエキスパート群:

   • 言語モデル（LM）エキスパート: 事前学習中に獲得された単一言語知識を捕捉・保持するように設計されています。これらは、元の LLM のフィードフォワードネットワーク（FFN）層の重みを「アップサイクル」することで初期化されます。
   • 機械翻訳（MT）エキスパート: 二言語翻訳知識を獲得・保存することに特化しています。これらは事前学習済みの LM エキスパートから初期化されます。
   • モデルは、FFN 層が言語知識のためのキー・バリューメモリとして機能するため、MoE 変換の対象とし、コンテキスト認識を維持するためにアテンション層は密なままにします。

2. FFT 強化ルーティング機構:

   • エキスパート間の効果的な相互作用を促進し、多様な言語的手がかりを捕捉するために、著者は**高速フーリエ変換（FFT）**特徴によって強化されたルーティング機構を導入します。
   • 周波数領域特徴は、FFT を介してモデルの隠れ状態から抽出され、元の意味表現と連結されます。
   • 個別のルーティングネットワーク（LM エキスパート用と MT エキスパート用）は、これらの拡張された表現を用いてエキスパートを選択します。これにより、ルーターは意味内容だけでなく、テキスト構造（例：文のリズム、形態的複雑性）を示す周波数領域のパターンも考慮できるようになります。

3. 2 段階ポスト・プレトレーニング戦略:

   • 第 1 段階（LM エキスパート訓練）: モデルを単一言語コーパスで訓練します。LM エキスパートとその対応するルーティングネットワークのみが更新されます。目的は、個々の言語構造の表現を洗練させることです。
   • 第 2 段階（MT エキスパート訓練）: モデルを並列二言語コーパスで訓練します。獲得された単一言語知識を保持するため、LM エキスパートとそのルーターパラメータは凍結されます。翻訳タスクに特化するため、MT エキスパートとそのルーティングネットワークのみが訓練されます。

主な貢献

1. Mix-MoE アーキテクチャ: 専門化された LM エキスパートと MT エキスパートを備え、テキストからの意味的および潜在的な構造的な手がかりの両方を活用する FFT 強化ルーティング機構を組み合わせた、新規の MoE アーキテクチャ。
2. 2 段階訓練戦略: MT エキスパートが事前学習知識の恩恵を受けつつ翻訳に特化することを可能にする、カスタマイズされた訓練パイプライン。パラメータ干渉を軽減するために、単一言語学習と二言語学習の目的を効果的に分離します。
3. 実証的検証: 複数の翻訳タスクと言語ペアにおいて、提案手法が最先端の結果を達成することを示す広範な実験。

実験結果
著者は、WMT データセット（フィンランド語、チェコ語、ドイツ語、ロシア語、トルコ語、エストニア語、中国語から/への英語を含む）と FLORES-200 ベンチマークを用いて、14 の言語方向で Mix-MoE を評価しました。

• 性能: Mix-MoE は、フルファインチューニング、LoRA、LLaMA-Pro、汎用的な MoE 変種（例：MoE-LPR、LLaMA-MoE v2）を含むベースラインを一貫して上回りました。例えば、DE-EN タスクにおいて、Mix-MoE は BLEU スコア 31.8 を達成し、2 段階フルファインチューニングのベースライン（20.8）を大幅に凌駕しました。
• パラメータ干渉の軽減: 除去実験により、エキスパートの分離が重要であることが確認されました。すべてのエキスパートを第 2 段階で更新する標準的な 2 段階 MoE 訓練は Mix-MoE よりも性能が低く、LM エキスパートの特定の凍結が破滅的な忘却を防いでいることを示しています。
• FFT ルーティング: ランダム射影と離散コサイン変換（DCT）との比較により、FFT 由来の特徴がルーティングの効果を著しく向上させたことが示され、周波数領域のパターンがエキスパート選択にとって貴重な構造的な手がかりを提供することを裏付けました。
• スケーラビリティ: この手法は、大規模モデル（Llama3.1-8B および Qwen2.5-14B）へ拡張しても堅牢性とスケーラビリティを示し、フルファインチューニング手法を一貫して上回りました。

意義と主張
本論文は、Mix-MoE が多言語翻訳のための LLM ファインチューニングにおけるパラメータ干渉という重要な課題に対処していると主張しています。単一言語言語モデル化と二言語翻訳の学習を明確なエキスパート群に分離し、テキストの構造的パターンに敏感なルーティング機構を利用することで、このフレームワークは LLM の元々の言語能力を保持しつつ翻訳性能を向上させることに成功しました。著者は、この研究を効率的な MT 訓練における前進として位置づけ、膨大なパラメータ更新の冗長性なしに高品質な言語理解を維持する多言語翻訳システムを配備するための実用的な解決策を提供しています。