💬 NLP

ZAYA1-8B Technical Report

本文介绍了 ZAYA1-8B，这是一款完全基于 AMD 基础设施训练的高效 80 亿参数混合专家（MoE）推理模型，它通过专有的四阶段强化学习级联训练和创新的马尔可夫 RSA 推理时计算（test-time compute）方法，在数学和编程基准测试中实现了最先进性能，有效缩小了与更大规模模型之间的差距。

原作者： Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 ZAYA1-8B 技术报告的通俗化解释，辅以富有创意的类比。

宏观概览：拥有超能力的小大脑

想象一下，你有一位名叫 ZAYA1-8B 的微小却极其聪明的学生。这位学生的大脑仅拥有 7 亿个活跃神经元（对于人工智能而言，这是一个非常小的规模），但他们属于一个拥有 80 亿个总神经元 的更大“学校”。

通常，要解决高难度的数学问题或编写复杂的代码，你需要一个巨大的大脑（例如拥有数十亿参数的巨型人工智能）。ZAYA1-8B 的特殊之处在于，尽管它体型小巧，却能像甚至优于那些更庞大的“天才”学生一样解决这些难题。

它是如何做到的？依靠三件秘密武器：一种新的思维方式、一个特殊的训练营，以及一种独特的自我检查方法。

1. 架构：一支专业化团队

大多数人工智能模型就像是一个试图独自完成所有任务的人。而 ZAYA1-8B 则是基于“混合专家”（MoE）构建的，就像一支 专业化团队。

团队构成：想象一个拥有 16 位不同教师（专家）的教室。当问题出现时，一位“路由”（班长）会决定哪位教师最适合回答。
新的班长（ZAYA1 路由）：在旧模型中，班长只是一个简单的规则遵循者。ZAYA1-8B 使用了一个更智能、多层级的班长，它能更好地决定由谁来教学，确保每次都有正确的专家接手任务。
压缩图书馆（CCA）：为了阅读长书或记住长故事，该模型使用了一种“压缩图书馆”系统。它不需要在脑海中携带每一页书的内容，而是存储一个节省空间和能量的摘要压缩版本，同时保留所有重要细节。这使它能够处理非常长的对话而不会感到疲惫。

2. 训练：学会思考后再发言

该论文描述了一种独特的训练过程，旨在将这位学生转变为推理机器。

“答案保留”修剪：教师通常会有冗长详细的解释（推理轨迹），这些内容太长，无法塞进教科书的一页中。ZAYA1-8B 不使用切断故事中间部分（这会破坏逻辑）的方法，而是使用一种特殊技巧：它切断解释的末尾，但 保留最终答案。这教会了模型如何规划和思考，即使完整的思维过程太长而无法一次性容纳。
四阶段训练营：在学习基础知识后，该模型经历了一个严格的“强化学习”（RL）训练营：
1. 热身：解决简单的谜题和数学问题，以适应深度思考。
2. 健身房：一个包含 400 种不同谜题生成器的定制环境，随着模型能力的提升，谜题难度也会增加。
3. 主赛事：应对真实的数学和编程挑战，包括一个特殊的“测试时计算”（TTC）阶段，在此阶段它学习生成多个可能的答案并挑选最佳的一个。
4. 抛光：最后一个阶段，学习如何礼貌地聊天并遵循指令，像一个得力的助手。

3. 秘密武器：“马尔可夫 RSA"（群体思维）

这是论文中最具创新性的部分。通常，当人工智能解决难题时，它会尝试在一个长长的连续流中思考答案。如果这个流太长，人工智能就会感到困惑。

ZAYA1-8B 使用了一种称为 马尔可夫 RSA 的方法。把它想象成一场 带有变奏的接力赛：

比赛：模型不是让一名选手跑完全程马拉松，而是同时派出 16 名选手（候选者）。
交接：每位选手只跑一段短而安全的距离（4000 个词的“尾部”）。他们不携带整场比赛的历史记录；他们只将 最后几步（尾部）传递给下一轮。
聚合：一位“教练”查看所有 16 名选手的最后几步，结合最佳想法，并将它们发送出去进行下一轮。
结果：通过将思考过程分解为小的、可管理的片段，并由团队投票选出最佳路径，ZAYA1-8B 能够解决极其困难的数学问题（如 AIME 和 HMMT 竞赛），而这些通常只有更大的大脑才能完成。

类比：想象试图拼凑一个巨大的拼图。

旧方法：一个人试图一次性在脑海中容纳整个拼图。他们会感到不知所措。
ZAYA1-8B 方法：你派 16 个人去处理小区域。他们只将自己区域的一小部分传递给下一组。该组将这些小碎片结合起来，构建出完整的画面。这种方法更快，占用内存更少，且能取得更好的结果。

4. 硬件：基于 AMD 构建

整个模型是使用 AMD 计算机芯片（具体为 MI300X GPU）训练的。这是一件大事，因为它证明了训练顶级推理模型并不需要最昂贵、专有的芯片。该团队表明，只要软件和硬件设置得当，AMD 芯片就能承担训练复杂人工智能的重任。

5. 结果：小巧而强大

该论文声称，通过这种设置：

ZAYA1-8B（仅拥有 7 亿个活跃参数）在数学和编程测试中击败或持平了 DeepSeek-R1（拥有 370 亿个活跃参数）。
当使用“马尔可夫 RSA"群体思维方法时，它在高难度数学竞赛中获得的分数非常接近 Gemini-2.5 Pro 和 GPT-5-High 等庞大且昂贵的模型。

总结

ZAYA1-8B 是一个小巧高效的人工智能，它证明了要成为天才并不需要巨大的大脑。通过利用智能的团队结构、一种能安全保留答案的特殊训练方法，以及一种用于思考的“群体接力赛”策略，它能够解决最困难的数学和编程问题，同时仅使用其大型竞争对手一小部分的计算能力。

技术摘要：ZAYA1-8B

1. 问题陈述

本文探讨了在不依赖海量参数量的前提下，使大语言模型具备高水平数学与代码推理能力的挑战。尽管前沿模型通常采用数千亿参数，但业界亟需探究：通过架构创新、侧重推理的训练以及高效的测试时计算（TTC）策略，能否以更少的活跃参数实现具有竞争力的推理能力。具体而言，作者研究了一个活跃参数不足 10 亿的模型，能否在 AIME 和 HMMT 等基准测试中，达到或超越规模大得多的开源权重及专有推理模型的性能。

2. 方法论

架构：Zyphra MoE++

ZAYA1-8B 是一个混合专家（MoE）模型，总参数量为 80 亿，活跃参数量为 7 亿。它在标准 Transformer MoE 设计的基础上引入了三项关键架构改进：

压缩卷积注意力（CCA）： 用轻量级卷积下投影器替代标准注意力机制，在压缩的潜在空间中进行序列混合。这降低了浮点运算次数（FLOPs）和 KV 缓存大小，从而实现了高效的长上下文训练与推理。
ZAYA1 路由器： 用基于多层 MLP 的设计替代标准线性路由器，并通过指数深度平均（EDA）进行增强。这提高了路由的表达能力，增强了专家的专业化程度，并在不显著增加参数开销的情况下稳定了负载均衡。
学习残差缩放： 对残差流和层输出应用学习到的偏置和门控系数，以控制随深度增加的残差范数增长，从而以极小的参数成本防止梯度消失。

训练流程

该模型基于全栈 AMD 计算平台（MI300X GPU 和 Pensando Pollara 网络）从头开始训练。训练过程包括：

预训练与中期训练： 从一开始就包含推理数据（长思维链）。采用一种新颖的答案保留（AP）修剪方案来处理超过上下文窗口的推理轨迹。该方法截断推理轨迹的尾部，同时保留最终答案，使模型即使在较短的上下文长度（4K、32K 和 131K）下也能从长 CoT 数据中学习。
监督微调（SFT）： 在 131K 上下文长度下进行，侧重于聊天、指令遵循、代码、数学以及用于测试时计算的聚合示例。
强化学习（RL）级联： 一个四阶段的后期训练流程：
1. 推理预热： 数学、谜题和 TTC 轨迹。
2. RLVE-Gym 课程： 400 个自适应谜题式环境，难度通过 Thompson Sampling 和 IRT 校准至 0.5 的通过率。
3. 数学 + 代码 + TTC： 两个阶段，结合奥林匹克数学、竞技编程和测试时计算提示。包含合成代码环境（I/O 预测、重构、证伪）。
4. 行为 RL： 用于聊天风格和指令遵循的最终阶段。

RL 流程利用 PipelineRL 进行异步训练，使用 DPPO Binary-TV 进行信任区域掩码，采用 Dr-GRPO 进行损失聚合，并利用 MaxRL 进行优势估计。关键在于，作者实施了路由器回放（Router Replay），即训练器重用展开引擎中的专家路由决策，以防止导致训练不稳定的 MoE 特定 logits 不匹配问题。

测试时计算：马尔可夫 RSA

本文提出了马尔可夫 RSA，这是一种结合递归自聚合（RSA）与马尔可夫思维有界工作空间原则的测试时计算方法。

机制： 模型并行生成 $N$ 个候选推理轨迹。在传递给下一轮聚合时，不传递完整的链条（这会导致上下文线性增长），而是仅传递每个轨迹的最后 $\tau$ 个 token（即“尾部”）。
效率： 无论单次展开的推理预算（ $\beta$ ）如何，该方法都将聚合上下文大小限制为 $C \times \tau$ ，从而在不导致注意力成本爆炸的情况下实现深度推理。
训练集成： 模型基于由专家展开（SFT）和自展开（RL）构建的聚合示例进行训练，确保其学会有效地聚合候选尾部。

3. 主要贡献

ZAYA1-8B 模型： 一个活跃参数 7 亿/总参数 80 亿的 MoE 模型，实现了具有竞争力的推理性能。
马尔可夫 RSA： 一种新颖的 TTC 方法，支持在有界上下文内进行递归推理优化，将推理深度与上下文窗口大小解耦。
答案保留修剪： 一种数据构建技术，使得在短于轨迹长度的预训练/中期训练上下文中也能使用长 CoT 数据。
稳定的 MoE RL 训练： 证明了路由器回放和特定精度设置（BF16 配合选择性 FP32 操作）对于稳定 MoE 模型中 PipelineRL 的必要性。
AMD 栈验证： 验证了 AMD MI300X 和 Pollara 网络栈在大规模 MoE 预训练和长上下文训练方面的适用性。

4. 结果

在 Zyphra 框架评估中，ZAYA1-8B 表现出以下性能：

单次展开性能： 在多个基准测试中达到或超越 DeepSeek-R1-0528（370 亿活跃参数/6710 亿总参数），包括 AIME'26（89.1% vs 87.5%）和 HMMT'26（71.6% vs 79.4% - 注：DeepSeek-R1-0528 在表 XI 中为 79.4%，文中对比数据亦为 79.4% 对 ZAYA1 的 71.6%；然而，论文声称 ZAYA1 在多个基准测试中达到或超越 DeepSeek-R1-0528，且表 VIII 显示 ZAYA1 在 AIME'26 上为 89.1%，而 DeepSeek-R1-0528 为 87.5%）。它与 Nemotron-3-Nano-30B-A3B 和 Qwen3-Next-80B-A3B-Think 等更大的开源权重模型具有竞争力。
测试时计算（TTC）性能： 使用马尔可夫 RSA（40K 推理预算，4K 尾部），ZAYA1-8B 在 AIME'25 上达到 91.9%，在 HMMT'25 上达到 89.6%。这缩小了与 Gemini-2.5 Pro、DeepSeek-V3.2 和 GPT-5-High 等更大规模专有模型之间的差距。
扩展效率： 该模型仅用 7 亿活跃参数即取得了上述结果，表明活跃参数数量和推理时 token 数量是互补的扩展维度。

5. 意义与主张

论文主张，当模型架构、侧重推理的训练、可验证的 RL 以及测试时聚合协同设计时，使用不足 10 亿的活跃参数即可实现具有竞争力的数学推理能力。

效率： ZAYA1-8B 证明了小活跃参数 MoE 模型可以利用测试时计算来接近前沿规模模型的性能，在活跃参数 $\times$ 生成 token 成本方面提供了有利的权衡。
训练设计： 结果凸显了针对特定推理工作流（马尔可夫 RSA）进行训练的重要性，以及路由器回放等稳定性机制在 MoE RL 中的关键作用。
硬件： 该工作验证了 AMD 全栈平台在训练复杂 MoE 推理模型方面的有效性。
局限性： 作者指出，虽然该模型在推理和代码方面表现出色，但在 BFCL-v4 和 $\tau^2$ 等基准测试上，其表现落后于具有专用多轮代理 RL 的模型。此外，虽然它在知识基准测试（MMLU-Pro, GPQA）上与其规模相比表现强劲，但并未完全缩小与更大模型之间的差距，这与推理能力和事实存储以不同方式扩展的直觉一致。

论文结论认为，测试时计算是小型推理专注模型的一条有前途的途径，前提是它们经过训练以利用聚合工作流，并拥有支持高效长上下文处理的架构。