技術的概要：混合専門家モデルにおける多言語下流タスク向けのルーティング整合型微調整

問題定義

混合専門家（MoE）モデルは、大規模言語モデル（LLM）を効率的に拡張するための支配的なパラダイムとなっている。しかし、これらの事前学習済み MoE モデルを英語以外の下流タスクに適応させることは依然として困難である。既存の微調整アプローチは、MoE モデルを単一の学習者として扱い、対象言語のデータに対して標準的な教師あり微調整（SFT）を適用する傾向がある。このアプローチは、事前学習中に形成される不均質なルーティング構造を無視している。

最近の研究は、クロスリンガルなルーティングの発散において「U 字型」のパターンが存在することを示している。すなわち、初期層と後期層は言語に特化しているが、中間層は強いクロスリンガルの整合性を示す。この整合性にもかかわらず、英語以外の言語における性能が低下するのは、モデルが英語以外の入力に対してタスクに関連する特定の専門家を適切に活用できないためである。核心的な問題は、モデル全体を再学習することなく、あるいはスパースなルーティングダイナミクスを無視することなく、このクロスリンガルのルーティング構造を活用して英語以外のタスクの微調整を改善する方法である。

手法：RA-MoE

著者は、モデルの中間層において対象言語のルーティングパターンを英語のタスク専門家活性化パターンと整合させるように設計された 3 段階のフレームワーク、**RA-MoE（ルーティング整合型 MoE 微調整）**を提案する。

段階 1：並列データ構築と分類

この手法は、英語のタスク例 $(x_{en}, y_{en})$ を対象言語 $(x_{tgt}, y_{tgt})$ に翻訳した並列データセットの構築から始まる。MoE モデルは両方のバージョンに対して推論を実行し、正解性に基づいて 4 つのカテゴリに分類される。

• cc: 英語と対象言語の両方で正解。
• ci: 英語では正解、対象言語では不正解。
• ic: 英語では不正解、対象言語では正解。
• ii: 英語と対象言語の両方で不正解。

著者は、ci カテゴリが「言語駆動型」の性能ギャップを表すと仮定している。すなわち、モデルはタスク知識を有している（英語で示されている）が、ルーティングの不一致により対象言語ではそれを適用できない状態である。

段階 2：中間層とタスク専門家の特定

この段階では、モデルのルーティング行動を分析し、整合の最適な対象を特定する。

1. 中間層の特定: 著者は、層全体にわたる英語と対象言語のルーティング分布間のジェンセン・シャノン（JS）発散を計算する。彼らは U 字型のパターンを確認し、発散が最小となる連続的な中間層の範囲（$L_{mid}$）を特定する。これらの層は「言語に普遍な整合領域」として機能する。
2. タスク専門家の特定: これらの中間層内で、著者は英語のタスクデータ（正解した例に限定）に対するルーティング重みと、一般的な英語コーパスに対するルーティング重みを対比させることで「タスク専門家」を特定する。タスクに対して優先的に活性化される専門家（高い特異性スコア）が、対象セット（$E_{task}$）として選択される。

段階 3：ルーティング整合型 SFT

最終段階では、修正された目的関数を用いて対象言語のデータでモデルを微調整する。
$$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$$

• $\mathcal{L}_{CE}$: すべての例に適用される標準的な交差エントロピー損失。
• $\mathcal{L}_{align}$: ci 型の例に対して選択的に適用されるルーティング整合損失。これらの例において、モデルは対象言語の入力を、英語の参照と同じタスク専門家（中間層内）に通すように促される。この損失は、対象言語の再正規化されたルーティング分布（$E_{task}$ に制限）と英語の参照分布との間の KL 発散として計算される。

この選択的な適用により、整合シグナルは、英語のルーティングパターンがタスクに対して有効かつ信頼性の高い参照となるケースに基づいて担保される。

主要な貢献

1. タスク設定における U 字型発散の検証: 本論文は、U 字型のクロスリンガルルーティング発散パターンがタスク固有の設定でも成立することを実証的に検証し、中間層のルーティング発散が言語ごとのタスク性能ギャップを信頼性高く予測することを示した。
2. 4 分類分類体系と予測子: 著者は、クロスリンガルのギャップを診断するための cc/ci/ic/ii 分類体系を導入した。彼らは、タスク - 言語ペアにおけるci例の割合が、ルーティング整合からの潜在的な利益の強力な予測子（相関 $r=0.70$）であることを実証的証拠として提示した。
3. タスク専門家の特定と整合目的関数: 英語データを用いて中間層のタスク関連専門家を局所化する手順が提案され、言語固有の専門家再特定を必要とせずにクロスリンガルの専門家活性化ギャップを埋める微調整目的関数と組み合わされている。
4. クロスリンガル転移性: 本研究は、ある言語（例：中国語）で特定されたタスク専門家が、識別段階を再実行することなく、言語的に遠い言語（例：アラビア語、ベンガル語）のモデル微調整に転用可能であることを示しており、中間層のタスク専門性は言語に依存しないことが示唆された。

実験結果

著者は、RA-MoE を 3 つの MoE モデル（OLMoE-1B-7B、Qwen1.5-MoE、DeepSeek-V2-Lite）、3 つの下流タスク（GSM8K、IFEval、MMLU）、6 つの対象言語（アラビア語、ベンガル語、中国語、フランス語、日本語、スペイン語）で評価した。

• 性能向上: RA-MoE は、標準的な SFT や強力なベースライン（推論時の介入であるRouting Steeringや、言語固有のサブネットワークの選択的微調整であるRISEを含む）を一貫して上回った。
• CI 割合との相関: 性能向上は、ci例の割合が高いタスク - 言語ペアで最も顕著であり、この手法が知識ギャップではなく言語駆動型のギャップを標的としているという仮説を裏付けた。
• メカニズム的変化: 分析により、RA-MoE は標準的な SFT に比べて中間層のルーティング発散を大幅に減少させ、対象言語のルーティングを英語の参照に近づけたことが示された。さらに、RA-MoE 下では対象言語のタスク専門家選択率がより急激に増加し、より高いプラトーに収束した。
• 効率性: この手法は計算オーバーヘッドをほとんど生じない。整合損失は総 FLOPs に $10^{-3}\%$ 未満を追加し、準備段階（データ注釈とルーティングプロファイリング）は総ウォールクロック時間を最大 15% 増加させるのみであり、タスク専門家が言語間で共有される場合は 10% 未満に削減可能である。

意義と限界

本論文は、RA-MoE が MoE の中間層における理論的なクロスリンガル整合と、実用的な下流タスクの性能の間のギャップを埋めると主張している。出力確率だけでなく、明示的にルーティングパターンを整合させることで、この手法は MoE のスパースな構造を活用して多言語能力を向上させる。

著者は以下の特定の限界を指摘している。

• 英語性能への依存: この手法は、ベースモデルが英語のタスク性能を強く有していることを前提としている。英語のルーティングパターンにタスク関連情報が欠如している場合、整合シグナルは信頼性が低下する。
• 事前学習のカバレッジ: 事前学習コーパスで深刻に過小評価されている言語の場合、ボトルネックはルーティングの不一致ではなく基礎的な言語能力の欠如であるため、RA-MoE は限られた利益しか提供しない。
• モダリティ: 実験はテキストのみのモデルに限定されており、マルチモーダル LLM への一般化は未解決の課題である。

この研究は、MoE モデルにおいて、中間層がタスク専門性をルーティング整合を通じて言語間で効果的に転送できる、安定した言語に普遍な領域として機能することを示唆している。