💬 NLP

ZAYA1-8B Technical Report

本論文は、AMD 基盤上で完全にトレーニングされた高度に効率的な 80 億パラメータの MoE 推論モデルである ZAYA1-8B を紹介し、専門的な 4 段階の RL カスケードと新規のマルコフ的 RSA テスト時計算手法を通じて数学およびコーディングベンチマークで最先端のパフォーマンスを達成し、はるかに大規模なモデルとの格差を実質的に縮小します。

原著者： Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、ZAYA1-8B 技術報告書の解説を、創造的な比喩を用いて平易な言葉で翻訳したものです。

全体像：超能力を持つ小さな脳

ZAYA1-8B という名前の、小さくて非常に賢い生徒を想像してください。この生徒の脳には、たった7 億個の活動ニューロンしかありません（AI としては非常に小さいサイズですが）、彼らは80 億個のニューロンを総計する大きな「学校」の一部です。

通常、難しい数学の問題を解いたり複雑なコードを書いたりするには、巨大な脳（数十億のパラメータを持つ大規模 AI のようなもの）が必要です。しかし、ZAYA1-8B は特別です。小さくても、はるかに大きな「天才」生徒たちと同じくらい、あるいはそれ以上にこれらの難しい問題を解決できるからです。

その方法は、3 つの秘密兵器を使っているからです：新しい思考法、特別なトレーニングキャンプ、そして自分の作業をチェックする独自の手法です。

1. アーキテクチャ：専門化されたチーム

ほとんどの AI モデルは、一人で全てをこなそうとする一人の人のようなものです。ZAYA1-8B は、「エキスパートの混合（Mixture of Experts: MoE）」と呼ばれる、専門化されたチームのように構築されています。

チーム: 16 人の異なる教師（エキスパート）がいる教室を想像してください。質問が入ってくると、「ルーター」（学級委員）が、誰が最も適切に答えられるかを決定します。
新しいルーター（ZAYA1 ルーター）: 古いモデルでは、ルーターは単純な規則の追従者でした。ZAYA1-8B は、誰が教えるべきかをより良い判断をする、多層構造の賢いルーターを使用しており、毎回適切なエキスパートが仕事を処理するように保証します。
圧縮された図書館（CCA）: 長い本を読んだり、長い物語を記憶したりするために、モデルは「圧縮された図書館」システムを使用します。すべての本のページを頭の中に持ち歩く代わりに、重要な詳細をすべて保ちながらスペースとエネルギーを節約する、要約された圧縮版を保存します。これにより、疲れずに非常に長い会話を処理することができます。

2. トレーニング：話す前に考えることを学ぶ

この論文は、この生徒を推論マシンに変えるために設計された、独自のトレーニングプロセスを説明しています。

「回答保持」トリム: 教師たちは往々にして、教科書の 1 ページに収まらないほど長く詳細な説明（推論の痕跡）を持っています。物語の途中を切り捨てる（論理を壊すことになる）のではなく、ZAYA1-8B は特別なトリックを使用します：説明の末尾を切り捨てますが、最終的な回答は保持します。これにより、思考プロセス全体が一度に収まらない場合でも、モデルが計画を立てて考える方法を学びます。
4 段階のボートキャンプ: 基礎を学んだ後、モデルは厳格な「強化学習（RL）」ボートキャンプを経験しました：
1. ウォームアップ: 難しい思考に慣れるために、簡単なパズルや数学の問題を解く。
2. ジム: モデルが上達するにつれて難しくなる、400 種類の異なるパズル生成器を備えたカスタム環境。
3. メインイベント: 実際の数学やコーディングの課題に取り組むこと。これには、複数の可能な回答を生成して最良のものを選ぶように学ぶ特別な「テスト時計算（TTC）」フェーズが含まれます。
4. 磨き上げ: 良きアシスタントのように、丁寧に会話し指示に従う方法を学ぶ最終段階。

3. 秘密の調味料：「マルコフ的 RSA」（集団思考）

これがこの論文で最も革新的な部分です。通常、AI が難しい問題を解決する際、一つの長い連続したストリームで答えを考えようとします。ストリームが長すぎると、AI は混乱してしまいます。

ZAYA1-8B は、マルコフ的 RSA という手法を使用します。これは、捻じ曲げられたリレーレースのようなものです：

レース: 一人のランナーがマラソン全体を走るのではなく、モデルは同時に16 人のランナー（候補）を送り出します。
バトンタッチ: 各ランナーは、短く安全な距離（4,000 語の「テール」）を走ります。彼らはレース全体の歴史を運ぶのではなく、次のラウンドに最後の数歩（テール）だけを渡します。
集約: 「コーチ」が 16 人のランナー全員の最後の数歩を見て、最良のアイデアを組み合わせ、次のラウンドのためにそれらを送り出します。
結果: 思考プロセスを小さく管理しやすいチャンクに分割し、チームが最良の経路について投票することで、ZAYA1-8B は通常、はるかに大きな脳を必要とする非常に難しい数学の問題（AIME や HMMT のコンペティションなど）を解決できます。

比喩: 巨大なジグソーパズルを解こうと想像してください。

古い方法: 一人の人がパズル全体を頭の中に一度に保持しようとします。圧倒されてしまいます。
ZAYA1-8B の方法: 16 人の人を小さなセクションに取り組むために送り出します。彼らは自分のセクションのいくつかのピースだけを次のグループに渡します。グループはこれらの小さなピースを組み合わせて、全体の絵を完成させます。それは速く、メモリを少なく使い、より良い結果をもたらします。

4. ハードウェア：AMD 上で構築

このモデル全体は、AMD のコンピュータチップ（具体的には MI300X GPU）を使用してトレーニングされました。これは大きな意味を持ちます。なぜなら、トップクラスの推論モデルをトレーニングするために、最も高価で独占的なチップは必要ないことを証明しているからです。チームは、適切なソフトウェアとハードウェアのセットアップがあれば、AMD チップが複雑な AI のトレーニングという重労働を処理できることを示しました。

5. 結果：小さくても強力

この論文は、このセットアップにより以下のことが実現されると主張しています：

ZAYA1-8B（活動パラメータがわずか 7 億）は、数学とコーディングのテストにおいて、DeepSeek-R1（活動パラメータが 370 億）を凌駕するか、同等の成績を収めています。
「マルコフ的 RSA」という集団思考メソッドを使用すると、Gemini-2.5 Pro や GPT-5-High のような巨大で高価なモデルに非常に近いスコアを、難しい数学コンペティションで獲得します。

まとめ

ZAYA1-8B は、天才になるために巨大な脳は必要ないことを証明する、小さく効率的な AI です。賢いチーム構造、回答を安全に保つ特別なトレーニング方法、そして思考のための「集団リレーレース」戦略を使用することで、競合他社の数分の一の計算電力で、最も難しい数学とコーディングの問題を解決することができます。

技術サマリー：ZAYA1-8B

1. 問題定義

本論文は、大規模なパラメータ数に依存することなく、大規模言語モデルにおいて高度な数学的およびコーディング推論能力を達成するという課題に取り組んでいる。最先端モデルはしばしば数百億のパラメータを利用するが、アーキテクチャの革新、推論中心のトレーニング、および効率的なテスト時計算（TTC）戦略を通じて、はるかに少ないアクティブパラメータで競争力のある推論が可能かどうかを判断する必要がある。具体的には、著者らは、10 億未満のアクティブパラメータを持つモデルが、AIME や HMMT などのベンチマークにおいて、はるかに大規模なオープンウェイトおよびプロプライエタリな推論モデルと同等以上の性能を発揮できるかどうかを調査している。

2. 手法

アーキテクチャ：Zyphra MoE++

ZAYA1-8B は、総パラメータ数 80 億、アクティブパラメータ数 7 億の混合専門家（MoE）モデルである。標準的なトランスフォーマー MoE デザインに対して、以下の 3 つの主要なアーキテクチャ変更を導入している。

圧縮畳み込みアテンション（CCA）: 標準的なアテンションを軽量な畳み込みダウンプロジェクタに置き換え、圧縮された潜在空間でシーケンス混合を実行する。これにより FLOPs と KV キャッシュサイズが削減され、効率的な長コンテキストトレーニングおよび推論が可能になる。
ZAYA1 ルーター: 標準的な線形ルーターを、指数関数的深さ平均化（EDA）によって強化された多層 MLP ベースのデザインに置き換える。これによりルーティングの表現力が向上し、専門家の専門性が改善されるとともに、顕著なパラメータオーバーヘッドなしで負荷分散が安定化する。
学習済み残差スケーリング: 残差ストリームと層出力に学習済みバイアスとゲーティング係数を適用し、深さを通じた残差ノルムの成長を制御する。これにより、極めて少ないパラメータコストで勾配消失を防ぐ。

トレーニングパイプライン

このモデルは、フルスタックの AMD コンピューティングプラットフォーム（MI300X GPU および Pensando Pollara ネットワーキング）上で、ゼロからトレーニングされた。トレーニングプロセスは以下の通りである。

事前学習およびミッドトレーニング: 最初から推論データ（長い Chain-of-Thought）を含む。コンテキストウィンドウを超える推論トレースを処理するために、新しい回答保持（AP）トリミング方式が使用される。この手法は、最終的な回答を保持しながら推論トレースの尾部を切り捨てるもので、モデルが短いコンテキスト長（4K、32K、131K）であっても長い CoT データから学習することを可能にする。
教師あり微調整（SFT）: 131K のコンテキスト長で行われ、チャット、指示追従、コード、数学、およびテスト時計算のための集約例に焦点を当てる。
強化学習（RL）カスケード: 4 段階のポストトレーニングパイプライン。
1. 推論ウォームアップ: 数学、パズル、および TTC トレース。
2. RLVE-Gym カリキュラム: トンプソンサンプリングと IRT を用いて 0.5 のパスレートに調整された、400 の適応型パズルのような環境。
3. 数学 + コード + TTC: 数学オリンピック、競技プログラミング、テスト時計算プロンプトを組み合わせた 2 つのフェーズ。合成コード環境（I/O 予測、再構成、偽造）を含む。
4. 行動 RL: チャットスタイルと指示追従のための最終段階。

RL パイプラインでは、非同期トレーニングのためのPipelineRL、トラストリージョンマスキングのためのDPPO Binary-TV、損失集約のためのDr-GRPO、およびアドバンテージ推定のためのMaxRLを利用する。重要なのは、著者らがルーターリプレイを実装している点であり、トレーナーはロールアウトエンジンからの専門家のルーティング決定を再利用して、トレーニングを不安定化させる MoE 固有のログイットミスマッチを防ぐ。

テスト時計算：マルコフ的 RSA

本論文は、マルコフ的思考の限定ワークスペースの原理と再帰的自己集約（RSA）を組み合わせたテスト時計算手法であるマルコフ的 RSAを導入する。

メカニズム: モデルは並列に $N$ 個の候補推論トレースを生成する。次の集約ラウンドに完全なチェーンを渡す（これによりコンテキストが線形に成長する）代わりに、各トレースの最終的な $\tau$ トークン（「尾部」）のみを渡す。
効率性: これにより、ロールアウトごとの推論予算（ $\beta$ ）に関係なく、集約コンテキストサイズ（ $C \times \tau$ ）が制限され、アテンションコストの爆発なしに深い推論を可能にする。
トレーニング統合: モデルは、専門家ロールアウト（SFT）と自己ロールアウト（RL）から構築された集約例でトレーニングされ、候補の尾部を効果的に集約することを学習する。

3. 主な貢献

ZAYA1-8B モデル: 0.7B アクティブ / 8B 総パラメータの MoE モデルであり、競争力のある推論性能を達成する。
マルコフ的 RSA: 限定されたコンテキストで再帰的推論の洗練を可能にする新しい TTC 手法であり、推論の深さをコンテキストウィンドウサイズから切り離す。
回答保持トリミング: トレース長さよりも短い事前学習/ミッドトレーニングコンテキストで長い CoT データを使用可能にするデータ構築技術。
安定した MoE RL トレーニング: PipelineRL を MoE モデルで安定させるために、ルーターリプレイと特定の精度設定（BF16 と選択的 FP32 演算）の必要性を実証する。
AMD スタックの検証: 大規模 MoE 事前学習および長コンテキストトレーニングに対する AMD MI300X および Pollara ネットワーキングスタックの有効性を検証する。

4. 結果

Zyphra ハンネスで評価された ZAYA1-8B は、以下の性能を示す。

シングルロールアウト性能: AIME'26（89.1% vs 87.5%）およびHMMT'26（71.6% vs 79.4% - 注：DeepSeek-R1-0528 は表 XI で 79.4%、本文でも 79.4% だが ZAYA1 は 71.6%。ただし、論文は ZAYA1 がいくつかのベンチマークで DeepSeek-R1-0528 と同等以上であると主張しており、表 VIII では AIME'26 において ZAYA1 が 89.1、DeepSeek-R1-0528 が 87.5 となっている）など、いくつかのベンチマークでDeepSeek-R1-0528（37B アクティブ / 671B 総）と同等以上の性能を発揮する。また、Nemotron-3-Nano-30B-A3BやQwen3-Next-80B-A3B-Thinkなどのより大規模なオープンウェイトモデルとも競争力がある。
テスト時計算（TTC）性能: マルコフ的 RSA（40K 推論予算、4K 尾部）を使用すると、ZAYA1-8B はAIME'25 で 91.9%、**HMMT'25 で 89.6%**に達する。これにより、Gemini-2.5 Pro、DeepSeek-V3.2、GPT-5-Highなど、はるかに大規模なプロプライエタリモデルとの差が縮小する。
スケーリング効率: モデルはわずか 0.7B のアクティブパラメータでこれらの結果を達成しており、アクティブパラメータ数と推論時トークン数が補完的なスケーリング軸であることを示唆している。

5. 意義と主張

本論文は、モデルアーキテクチャ、推論中心のトレーニング、検証可能な RL、およびテスト時集約が共同設計されている場合、10 億未満のアクティブパラメータで競争力のある数学的推論が達成可能であると主張する。

効率性: ZAYA1-8B は、小規模なアクティブパラメータを持つ MoE モデルがテスト時計算を活用することで、最先端規模のモデルの性能に近づけることを示しており、アクティブパラメータ $\times$ 生成トークンコストにおいて有利なトレードオフを提供する。
トレーニング設計: 結果は、特定の推論ワークフロー（マルコフ的 RSA）へのトレーニングの重要性と、MoE RL における安定化メカニズム（ルーターリプレイなど）の決定的な役割を浮き彫りにしている。
ハードウェア: この研究は、複雑な MoE 推論モデルのトレーニングに対する AMD フルスタックプラットフォームの検証として機能する。
限界: 著者らは、モデルが推論とコードにおいて優れている一方で、BFCL-v4 や $\tau^2$ などのベンチマークでは、専用マルチターンエージェント RL を持つモデルに劣ると指摘している。また、知識ベンチマーク（MMLU-Pro、GPQA）ではその規模に対して強力であるが、はるかに大規模なモデルとの差を完全に埋めることはできず、推論と事実的記憶は異なるスケーリングを示すという直観と一致している。

論文は、テスト時計算が、集約ワークフローを利用するようにトレーニングされ、効率的な長コンテキスト処理をサポートするアーキテクチャを持つ、より小規模な推論特化モデルにとって有望な道であることを結論付けている。