Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling

以下は、論文「Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling」の詳細な技術的サマリーです。

1. 問題定義

本論文は、大規模言語モデル（LLM）における「多言語性の呪い」に対処します。この現象は、固定されたパラメータ予算内でモデルの言語カバレッジを拡大すると、容量のボトルネックや言語間干渉により個々の言語での性能が低下するというトレードオフを指します。

• 密モデルの限界: 既存の小規模多言語モデルは、広範な言語的範囲と深いタスク習熟度のバランスを取るのに苦労する密アーキテクチャを採用しています。これらは、性能を犠牲にすることなく多様な言語体系にスケールするためのアーキテクチャ的な柔軟性を欠いています。
• 既存の MoE アップサイクリングの限界: 混合専門家（MoE）アーキテクチャは条件付き計算を通じて解決策を提供しますが、既存のアップサイクリング手法（密モデルを疎 MoE に変換する）は、粗粒度の専門家複製に依存しています。これは、完全なフィードフォワードネットワーク（FFN）ブロックを複製するものであり、冗長な初期化を招き、専門家の特化を妨げ、多言語推論に必要な微妙な表現を捉え損なっています。

2. 手法

著者は、従来のトレードオフを打破するように設計された、コンパクトで極めて疎な多言語 MoE モデルのファミリーであるMarco-MoEを提案します。手法は以下の 3 つの柱で構成されます。

A. 細粒度専門家アップサイクリング（Drop-Upcycling）

Marco-MoE は、完全な FFN ブロックを複製する代わりに、サブ行列分割技術とDrop-Upcyclingを採用します。

1. サブ行列分割: 事前学習済みの密モデルの FFN の重みを、中間次元に沿って $N$ 個のスライスに分割し、「疑似 MoE」フレームワークを構築します。
2. スケーリング調整: 元の密モデルとの数学的同等性を維持するため、スライスされた重みは $\lambda = N^{1/3}$ の係数でスケーリングされます。これにより、密な総和から疎なゲーティングへの移行中の信号強度の低下を防ぎます。
3. Drop-Upcycling: 同一の初期化による対称性を破るため、著者は中間次元に沿ってインデックスをランダムにサンプリングし、対応する重みをドロップして、ドロップされた重みの統計量から導出されたガウス分布で再初期化します。これにより、トレーニング開始時から専門家の多様化と特化が促進されます。

B. 4 段階の事前学習カリキュラム

モデルは、段階的なデータ混合戦略を用いて 29 言語（後に 64 言語に拡大）をカバーする5.1 兆トークンで事前学習されます。

• ステージ 1: 高品質な英語、推論、指示データと、多言語 Web/QA データ（19 言語）を混合。
• ステージ 2: 推論コーパスと中国語データのアップサンプリング、一般的な英語 Web データのダウンサンプリング。
• ステージ 3: 英語/推論ドメインの重みを削減することで、ベンガル語、カザフ語、ウルドゥー語などの 9 つの新しい低リソース言語を導入。
• ステージ 4: 局所的な推論と文化的理解を強化するために、キュレーションされた合成文化的・地域データ（多肢選択問題や文化的知識を含む）を統合。

データ合成: 著者は、低リソース言語向けの高品質な合成データを生成するために高度なパイプラインを利用します。

• 多言語 QA: Qwen3-30B-A3B-Instruct を使用して多様な英語 QA データセットを翻訳し、厳格なフィルタリングを適用。
• STEM データ: 英語の STEM 知識をターゲット言語へ投影。
• 文化的データ: LLM 評価者を使用して Web クロールされたドキュメントを文化的密度でフィルタリングし、階層的トピック拡張を通じて合成地域多肢選択問題を生成。

C. オンポリシー蒸留（OPD）によるポストトレーニング

Instructバリエーションを作成するために、著者は 2 段階のパイプラインを採用します。

1. 教師あり微調整（SFT）: 高品質な指示 - 応答ペア（Dolci-Instruct、科学的データ、文化的に根ざしたデータ）を使用。
2. オンポリシー蒸留（OPD）: 学生モデルが自身の軌跡を生成するが、強力な教師モデル（まず Qwen3-30B-A3B、次に Qwen3-Next-80B-A3B）から提供される密なトークン単位の監督から学習するカスケード型蒸留戦略。これにより、オフポリシーの効率性とオンポリシーの堅牢性の間のギャップを埋めます。

3. 主な貢献

1. 初の疎多言語アップサイクリング: 密粒度複製から細粒度専門家特化へ移行し、コンパクトなモデルサイズで多言語性能を最適化するために MoE アップサイクリングを特定目的で活用した初の研究。
2. オープンな透明性: 多くのプロプライエタリモデルとは異なり、Marco-MoE は完全にオープンであり、すべての事前学習データセット、データ合成手法、および完全な 4 段階トレーニングレシピを開示しています。
3. スケーラブルな言語拡張: 密モデルに典型的な性能低下なしに 29 言語から64 言語へスケールする能力を実証し、高リソース言語とロングテール言語の両方で高い習熟度を維持。
4. 構造化された専門家活性化: 分析により、モデルが自然に言語分類（例：ロマンス語、スラヴ語、東アジア語は専門家のプールを共有）を反映する構造化された専門家活性化パターンを学習し、言語的にユニークな言語（例：タイ語、アラビア語）を専門的な専門家に隔離することが明らかになりました。

4. 主要な結果

本論文は、最先端の密モデルおよび MoE ベースラインに対して、Marco-Nano（活性化パラメータ 0.6B、合計 8B）とMarco-Mini（活性化パラメータ 0.86B、合計 17.3B）を評価しました。

• 計算に対する性能比:
  • Marco-Mini-Baseは、英語（63.7）および多言語一般（50.9）のベンチマークで平均性能が最も高く、パラメータ数が 4 倍でトレーニング計算量が大幅に多いQwen3-4Bや、活性化パラメータが約 4.5 倍のTrinity-Miniを上回ります。
  • Marco-Nano-Base（活性化 0.6B）は、活性化パラメータが Llama3.2-3B や Gemma3-4B などの大型密モデルの 1/5 未満であるにもかかわらず、多言語ベンチマークでそれらを上回ります。
• 多言語および文化的習熟度:
  • Marco-Mini-Instruct は、多言語文化・地域ベンチマークで最高スコア（71.0）を達成し、Qwen3-4B-Instruct（69.1）および Gemma3-12B-Instruct（67.7）を上回ります。
  • モデルはウルドゥー語、ベンガル語、カザフ語などの低リソース言語で顕著な gains を示し、密モデルとの性能差が大幅に拡大しています。
• 効率性:
  • Marco-Mini-Instruct は、24B パラメータ MoE モデルであるLFM2-24B-A2Bを大幅に上回る性能を発揮しながら、わずか0.86Bのパラメータのみを活性化します（LFM2 と比較して総パラメータが 38% 削減、活性化パラメータが 57% 削減）。
• 専門家分析:
  • 専門家活性化パターンのピアソン相関ヒートマップは、関連する言語（例：スペイン語、フランス語、イタリア語）が高い活性化相関を共有し、孤立した言語（例：タイ語、ヘブライ語）が低い相関を示すことを示しており、モデルが言語的に意味のあるルーティングを学習できることを確認しました。

5. 意義

• 効率性の再定義: Marco-MoE は、多言語 LLM における計算に対する性能比の新たな最先端を確立し、効率的なアップサイクリングを備えた疎アーキテクチャが、はるかに大型の密モデルや MoE モデルを上回る性能を発揮できることを証明しました。
• 多言語 AI の民主化: 完全なトレーニングレシピとデータセットをオープンソース化することで、ゼロからトレーニングする際の prohibitively 高いコストなしに、高性能で文化的に意識されたモデルを開発するための透明性のある基盤をコミュニティに提供します。
• 「呪い」の解決: この研究は、「多言語性の呪い」がデータのスケールアップだけでなく、孤立した言語への専門的な専門家利用と関連する言語への共有利用を可能にするアーキテクチャ的革新（細粒度 MoE）によって緩和できることを実証し、干渉なしに 64 以上の言語へのスケーラブルな拡張を可能にします。
• 将来の方向性: 論文は、モジュール化された段階的な言語拡張の可能性と、低リソース言語開発を支援するための高品質な合成データパイプラインの必要性を強調しています。