Yuan3.0 Ultra: A Trillion-Parameter Enterprise-Oriented MoE LLM

本論文は、事前学習段階で専門家の剪定と再編成を行う「Layer-Adaptive Expert Pruning（LAEP）」アルゴリズムを提案し、これにより事前学習効率を 49% 向上させつつ総パラメータ数を 33.3% 削減した、企業向けタスクに特化した 10100 億パラメータの MoE 型大規模言語モデル「Yuan3.0 Ultra」を開発したことを報告しています。

要約

超巨大な「賢いチーム」を効率化する方法：Yuan3.0 Ultra の仕組みをわかりやすく解説

この論文は、**「Yuan3.0 Ultra（ユアン 3.0 ウルトラ）」**という、非常に賢い AI（人工知能）の新しい作り方を紹介しています。

この AI は、企業での業務（書類の分析、複雑なデータの読み取り、チャットボットなど）に特化して作られていますが、一般的な会話や知識も得意です。

この AI の最大の特徴は、**「無駄な部分を事前に切り捨てて、チーム全体を劇的に効率化した」**という点にあります。これを「LAEP（レイヤー適応型エキスパート剪定）」という新しい技術で実現しました。

以下に、専門用語を使わず、日常の例えを使って解説します。

---

1. 従来の問題点：「大人数の会議」の悲劇

これまでの巨大な AI（MoE：混合エキスパートモデル）は、**「1 万人の専門家がいる巨大な会議室」**のようなものでした。

• 仕組み: 質問が来ると、AI はその中から「2 人」だけを選んで回答を作ります。
• 問題: 1 万人全員が常に準備をして待機しているため、メモリ（記憶容量）を大量に消費します。
• さらに悪いこと: 訓練（勉強）をしている間、一部の「有能な専門家」だけが忙しく働いていて、他の多くの専門家は**「暇で何もしていない」**状態でした。
  • これでは、**「1 万人分の給料を払って、実際に働いているのは 2 人だけ」**という、非常に非効率な状態です。

2. 新技術「LAEP」：「朝礼での役割分担」の再編

Yuan3.0 Ultra は、この「1 万人の会議」を、**「1 万人から 6,700 人（33% 削減）に減らしつつ、さらに速く、賢くする」**という大胆な実験を行いました。

そのための新技術「LAEP」は、以下のような 2 つのステップで行われます。

ステップ①：「誰が本当に働いているか」を記録する（剪定）

AI が勉強（トレーニング）を始めて少し経つと、誰がどのくらい使われているかが見えてきます。

• アナロジー: 新入社員研修で、誰が活発に発言し、誰がずっと黙っているかを見守ります。
• 行動: 「ほとんど使われていない（暇な）専門家」をリストアップし、「この人はもう不要だ」と判断してチームから外します。
• 効果: 人数が減ることで、必要なメモリや計算資源が大幅に減ります。

ステップ②：「残った人」を公平に配置する（再配置）

ただ人を減らすだけでは、残った人たちが偏って忙しくなってしまう可能性があります。

• アナロジー: 残った 6,700 人の専門家たちを、「忙しそうな人」と「少し暇な人」が混ざるように、複数の部屋（コンピューター）に公平に振り分けます。
• 行動: 特定の部屋だけがパンクして、他の部屋が暇という状態を防ぎます。
• 効果: 全員が均等に働けるようになり、処理速度が劇的に向上します。

結果:

• 人数（パラメータ数）が 33% 減 しました。
• 勉強（トレーニング）の効率が 49% 向上 しました。
• なのに、賢さ（精度）は落ちませんでした。むしろ、特定の業務では世界最高レベルになりました。

---

3. 「考えすぎ」を防ぐ魔法：RIRM

Yuan3.0 Ultra は、ビジネスの現場で使うために、もう一つ重要な工夫をしています。

• 問題: 難しい数学や論理パズルを解くとき、AI は「答えを出す前に、10 回も 20 回も頭の中で考え直す（リフレクション）」癖がありました。
  • アナロジー: 料理を作る際、「卵を割る前に、卵の殻の成分を 10 回分析して、割る角度を 20 回シミュレーションする」ようなものです。正解にはなっても、時間とエネルギーの無駄です。
• 解決策（RIRM）: 「考えすぎ」を罰し、「素早く正解する」ことを褒めるルールを導入しました。
  • 効果: 答えまでの時間が短くなり、「無駄な思考」が 14% 減りました。でも、正解率は 16% 向上しました。
  • 結果: 「考えすぎ」をせず、**「さっと正解する」**賢い AI になりました。

---

4. 実際の成果：ビジネスの現場で最強

この AI は、一般的な会話だけでなく、**「企業の難しい仕事」**で驚異的な成績を残しています。

• 書類の読み取り（Docmatix）: 複雑な図表や画像が含まれた長い書類から、必要な情報を瞬時に見つけ出し、正解します。
• チャット検索（ChatRAG）: 長い会話履歴や大量のデータから、正確な答えを引き出します。
• 表の理解（MMTab）: 複雑な表（エクセルのようなもの）を読み解き、質問に答えます。
• 要約（SummEval）: 長い文章を、重要な点だけを残して短くまとめます。

これらすべての分野で、他の有名な AI（GPT-5 や Kimi など）を凌駕する、あるいは同等以上の性能を示しました。

---

まとめ

Yuan3.0 Ultra は、**「巨大なチームを、無駄なメンバーを整理し、役割を再配分することで、より小さく、より速く、より賢くした」**という画期的な AI です。

• 従来の AI: 「1 万人の専門家がいるが、大半は暇で、計算リソースを浪費している」
• Yuan3.0 Ultra: 「必要な 6,700 人に絞り、全員が公平に働き、無駄な思考もせず、ビジネスの現場で即戦力となる」

この技術は、AI をより安く、より速く、より実用的なものにする未来への大きな一歩と言えます。

技術概要

YUAN3.0 ULTRA 技術概要

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の分野において、Mixture-of-Experts (MoE) 構造は、計算コスト（FLOPs）を線形的に増大させずにモデル容量を劇的に拡大できる手法として注目されています（例：Mixtral, DeepSeek-V3 など）。しかし、MoE モデルのトレーニングおよび運用には以下の重大な課題が存在します。

• 専門家（Expert）の負荷不均一性: トレーニング中に、特定の専門家のみが頻繁に活性化され、他の専門家はほとんど使用されない「負荷の偏り」が発生します。これにより、計算リソースの非効率な使用や、一部の専門家が有用な表現を学習できないという問題が生じます。
• メモリと計算コスト: 静的なパラメータ全体がメモリを占有するため、大規模モデルの展開には高いハードウェア要件が求められます。
• 既存の剪定手法の限界: これまでの専門家剪定（Expert Pruning）の研究は、主にトレーニング後の段階（Post-training/Fine-tuning）で行われるものでした。事前学習（Pre-training）の段階で動的に剪定を行う手法は存在せず、トレーニング効率の向上機会が失われていました。

2. 提案手法 (Methodology)

本論文では、MoE LLM の事前学習段階において適用可能な新しいアルゴリズム「Layer-Adaptive Expert Pruning (LAEP)」を提案しています。また、事後学習段階では、推論効率を向上させるための強化学習手法を改良しています。

2.1 Layer-Adaptive Expert Pruning (LAEP)

事前学習の過程で専門家間のトークン分配を分析し、2 つのフェーズ（不安定な遷移期と安定期）を特定しました。安定期に入った時点で、以下の 2 段階のプロセスを実行します。

1. 適応的な専門家剪定:
   • 各レイヤー内で、トークン負荷が極端に低い「未利用の専門家」を特定し、剪定します。
   • 剪定基準は、個別の負荷制約（$\alpha$：平均負荷に対する閾値）と累積負荷制約（$\beta$：全体のトークン数に対する閾値）の 2 重条件に基づき、レイヤーごとに適応的に決定されます。
   • これにより、モデル全体のパラメータ数を削減しつつ、学習効率を維持・向上させます。
2. 専門家再配置 (Expert Rearrangement):
   • 剪定後も残った専門家間で負荷の偏りが残る場合、計算デバイス間の負荷分散を最適化するために専門家の配置を再編成します。
   • 貪欲法を用いて、デバイス間の累積トークン分散を最小化するように専門家を割り当て直し、クラスター全体の計算効率を最大化します。

2.2 事後学習の強化：Reflection Inhibition Reward Mechanism (RIRM)

Yuan3.0 Ultra は、Yuan3.0 Flash で提案された「Reflection Inhibition Reward Mechanism (RIRM)」を改良し、高速思考（Fast-thinking）の強化学習（RL）に統合しました。

• 課題: 論理推論タスクにおいて、モデルが過剰な推論ステップ（Overthinking）を繰り返すことで、出力トークン数が膨大になり、応答効率が低下する問題。
• 解決策: 正解サンプルに対しては推論ステップ数を最小化（理想は 0、許容範囲は 3 以内）するよう報酬を設計し、誤答サンプルに対しては過剰なステップに厳しいペナルティを課すように RIRM を修正しました。これにより、精度を維持しつつ出力長を短縮します。

3. 主な貢献 (Key Contributions)

1. 事前学習段階での MoE 剪定の初適用: 事前学習中に専門家負荷の安定性を分析し、未利用の専門家を動的に剪定・再配置する LAEP アルゴリズムを提案しました。
2. Yuan3.0 Ultra モデルの公開: 688 億のアクティブパラメータ、総パラメータ数 10100 億（剪定前 15150 億）を有する、企業向けに最適化されたオープンソース MoE モデルを公開しました。
3. 大幅な効率化と性能向上:
   • LAEP により、事前学習の効率を 49% 向上させ、総パラメータ数を 33.3% 削減しました。
   • 企業シナリオベンチマーク（Docmatix, ChatRAG, SummEval, MMTab など）で SOTA（State-of-the-Art）レベルの精度を達成しました。
4. 高速思考 RL の最適化: 改良された RIRM により、推論精度を 16.33% 向上させつつ、出力トークン長を 14.38% 削減することに成功しました。

4. 実験結果 (Results)

4.1 事前学習の効率性

• パラメータ削減: 15150 億パラメータから 10100 億へ削減（33.3% 減）。
• トレーニング効率: 1 GPU あたりの TFLOPS が 62.14 から 92.60 へ向上（49% 増）。剪定自体が 32.4%、再配置が 15.9% の寄与を果たしました。
• 精度維持: 剪定後のモデルは、ベースモデルおよび DeepSeek-V3 などの競合モデルと同等以上のテスト損失（Test Loss）を達成しました。

4.2 企業シナリオベンチマーク

Yuan3.0 Ultra は、多様な企業向けタスクにおいて他社モデル（GPT-5.2, Kimi K2.5, Claude Opus 4.6 など）を上回る性能を示しました。

• Docmatix (マルチモーダル RAG): 67.4% の精度（他モデルは 56.8% 以下）。
• ChatRAG (テキスト検索): 平均 68.2% の精度（10 タスク中 9 タスクで首位）。
• MMTab (表理解): 平均 62.3% の精度。
• SummEval (要約): 62.8% のスコア。
• Text-to-SQL (Spider 1.0): 83.9% の実行精度。

4.3 一般タスクおよび推論性能

• MATH-500: 93.1% の精度を達成。
• HumanEval / MBPP: 高いコード生成能力を維持。
• RIRM の効果: 改良された RIRM 適用後、MATH-500 における推論プロセスのトークン消費が大幅に削減され、過剰な推論（Overthinking）が抑制されました。

5. 意義と結論 (Significance)

本論文は、MoE モデルのトレーニング効率とスケーラビリティに関する重要なブレイクスルーを示しています。

• 事前学習段階での最適化: 従来の「トレーニング後に剪定」するアプローチではなく、学習プロセスそのものを最適化する LAEP は、大規模モデル開発のコストと時間を劇的に削減する可能性を秘めています。
• 企業向け実用性: 単なる一般性能だけでなく、RAG、表処理、ツール呼び出しなど、実務で不可欠なタスクにおいて高い精度を達成しており、企業環境での導入を強力に後押しします。
• 効率と精度の両立: パラメータ数の削減とトレーニング効率の向上を両立させつつ、SOTA レベルの性能を維持・向上させた点は、今後の大規模モデル設計における重要な指針となります。

Yuan3.0 Ultra は、そのモデルコードとトレーニング手法をオープンソースとして公開しており、研究コミュニティおよび産業応用への貢献が期待されます。