💬 NLP

ZAYA1-8B Technical Report

O artigo apresenta o ZAYA1-8B, um modelo de raciocínio MoE altamente eficiente com 8 bilhões de parâmetros, totalmente treinado em infraestrutura AMD, que alcança desempenho de ponta em benchmarks de matemática e programação por meio de uma cascata especializada de quatro estágios de RL e do novo método de computação em tempo de teste Markoviano RSA, reduzindo efetivamente a lacuna em relação a modelos muito maiores.

Autores originais: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Publicado 2026-05-08

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Um Cérebro Pequeno com Superpoder

Imagine que você tem um estudante minúsculo, mas incrivelmente inteligente, chamado ZAYA1-8B. Este estudante tem um cérebro com apenas 700 milhões de neurônios ativos (um tamanho muito pequeno para uma IA), mas faz parte de uma "escola" maior com 8 bilhões de neurônios no total.

Geralmente, para resolver problemas matemáticos difíceis ou escrever códigos complexos, você precisa de um cérebro gigante (como uma IA massiva com bilhões de parâmetros). O ZAYA1-8B é especial porque, apesar de ser pequeno, consegue resolver esses problemas difíceis tão bem quanto, ou até melhor do que, estudantes "gênios" muito maiores.

Como? Usando três armas secretas: uma nova forma de pensar, um campo de treinamento especial e um método único para verificar seu próprio trabalho.

1. A Arquitetura: Uma Equipe Especializada

A maioria dos modelos de IA é como uma única pessoa tentando fazer tudo sozinha. O ZAYA1-8B é construído como uma equipe especializada usando uma "Mistura de Especialistas" (MoE).

A Equipe: Imagine uma sala de aula com 16 professores diferentes (especialistas). Quando uma pergunta chega, um "roteador" (o monitor da classe) decide qual professor é o mais adequado para respondê-la.
O Novo Monitor (Roteador ZAYA1): Em modelos mais antigos, o monitor era um seguidor simples de regras. O ZAYA1-8B usa um monitor mais inteligente e multicamadas que toma melhores decisões sobre quem deve ensinar, garantindo que o especialista certo realize o trabalho a cada vez.
A Biblioteca Comprimida (CCA): Para ler livros longos ou lembrar de histórias longas, o modelo usa um sistema de "biblioteca comprimida". Em vez de carregar cada página do livro em sua cabeça, ele armazena uma versão resumida e comprimida que economiza espaço e energia, mas mantém todos os detalhes importantes. Isso permite que ele lide com conversas muito longas sem se cansar.

2. O Treinamento: Aprendendo a Pensar Antes de Falar

O artigo descreve um processo de treinamento único projetado para transformar este estudante em uma máquina de raciocínio.

O "Corte Preservador de Resposta": Professores frequentemente têm explicações longas e detalhadas (rastros de raciocínio) que são muito longas para caber em uma única página de um livro didático. Em vez de cortar o meio da história (o que arruinaria a lógica), o ZAYA1-8B usa um truque especial: ele corta o final da explicação, mas mantém a resposta final. Isso ensina ao modelo como planejar e pensar, mesmo que o processo de pensamento completo seja longo demais para caber de uma só vez.
O Campo de Treinamento de Quatro Estágios: Após aprender o básico, o modelo passou por um rigoroso campo de treinamento de "Aprendizado por Reforço" (RL):
1. Aquecimento: Resolver quebra-cabeças e problemas matemáticos fáceis para se acostumar a pensar com dificuldade.
2. A Academia: Um ambiente personalizado com 400 geradores de quebra-cabeças diferentes que ficam mais difíceis conforme o modelo melhora.
3. O Evento Principal: Enfrentar desafios reais de matemática e codificação, incluindo uma fase especial de "Cálculo no Tempo de Teste" (TTC), onde ele aprende a gerar múltiplas respostas possíveis e escolher a melhor.
4. Polimento: Um estágio final para aprender a conversar educadamente e seguir instruções, como um bom assistente.

3. O Segredo: "RSA Markoviana" (O Pensamento de Grupo)

Esta é a parte mais inovadora do artigo. Geralmente, quando uma IA resolve um problema difícil, ela tenta pensar na resposta em um único fluxo longo e contínuo. Se o fluxo ficar muito longo, a IA fica confusa.

O ZAYA1-8B usa um método chamado RSA Markoviana. Pense nisso como uma corrida de revezamento com um toque:

A Corrida: Em vez de um corredor tentar correr a maratona inteira, o modelo envia 16 corredores (candidatos) ao mesmo tempo.
A Troca: Cada corredor corre uma distância curta e segura (uma "cauda" de 4.000 palavras). Eles não carregam toda a história da corrida; apenas passam seus últimos poucos passos (a cauda) para a próxima rodada.
A Agregação: Um "treinador" olha para os últimos passos de todos os 16 corredores, combina as melhores ideias e as envia para outra rodada.
O Resultado: Ao dividir o processo de pensamento em pequenos pedaços gerenciáveis e fazer a equipe votar no melhor caminho, o ZAYA1-8B consegue resolver problemas matemáticos incrivelmente difíceis (como as competições AIME e HMMT) que geralmente exigem cérebros muito maiores.

A Analogia: Imagine tentar resolver um quebra-cabeça gigante.

Jeito Antigo: Uma pessoa tenta segurar todo o quebra-cabeça em sua cabeça de uma vez. Ela fica sobrecarregada.
Jeito ZAYA1-8B: Você envia 16 pessoas para trabalhar em pequenas seções. Elas passam apenas algumas peças de sua seção para o próximo grupo. O grupo combina essas pequenas peças para construir a imagem completa. É mais rápido, usa menos memória e obtém um resultado melhor.

4. O Hardware: Construído na AMD

Todo o modelo foi treinado usando chips de computador AMD (especificamente as GPUs MI300X). Isso é um grande feito porque prova que você não precisa dos chips mais caros e proprietários para treinar modelos de raciocínio de nível superior. A equipe mostrou que, com a configuração correta de software e hardware, os chips AMD podem lidar com o trabalho pesado de treinar uma IA complexa.

5. Os Resultados: Pequeno, mas Poderoso

O artigo afirma que, com essa configuração:

O ZAYA1-8B (com apenas 0,7 bilhão de parâmetros ativos) supera ou iguala o DeepSeek-R1 (que tem 37 bilhões de parâmetros ativos) em testes de matemática e codificação.
Ao usar o método de pensamento de grupo "RSA Markoviana", ele obtém pontuações em competições matemáticas difíceis muito próximas de modelos massivos e caros como o Gemini-2.5 Pro e o GPT-5-High.

Resumo

O ZAYA1-8B é uma IA pequena e eficiente que prova que você não precisa de um cérebro gigante para ser um gênio. Ao usar uma estrutura de equipe inteligente, um método de treinamento especial que mantém as respostas seguras e uma estratégia de "corrida de revezamento em grupo" para pensar, ele consegue resolver os problemas mais difíceis de matemática e codificação enquanto usa uma fração da potência de computação de seus concorrentes maiores.

Resumo Técnico: ZAYA1-8B

1. Declaração do Problema

O artigo aborda o desafio de alcançar capacidades de raciocínio matemático e de codificação de alto nível em modelos de linguagem grandes sem depender de contagens massivas de parâmetros. Enquanto modelos de ponta frequentemente utilizam centenas de bilhões de parâmetros, há uma necessidade de determinar se um raciocínio competitivo pode ser alcançado com significativamente menos parâmetros ativos por meio de inovação arquitetônica, treinamento focado em raciocínio e estratégias eficientes de computação em tempo de teste (TTC). Especificamente, os autores investigam se um modelo com menos de 1 bilhão de parâmetros ativos pode igualar ou superar o desempenho de modelos de raciocínio abertos e proprietários substancialmente maiores em benchmarks como AIME e HMMT.

2. Metodologia

Arquitetura: Zyphra MoE++

ZAYA1-8B é um modelo de Mistura de Especialistas (MoE) com 8 bilhões de parâmetros totais e 700 milhões de parâmetros ativos. Introduz três modificações arquitetônicas-chave sobre designs padrão de Transformer MoE:

Atenção Convolucional Comprimida (CCA): Substitui a atenção padrão por um projetor convolucional leve para realizar mistura de sequência em um espaço latente comprimido. Isso reduz os FLOPs e o tamanho do cache KV, permitindo treinamento e inferência eficientes de longo contexto.
Roteador ZAYA1: Substitui o roteador linear padrão por um design baseado em MLP multicamadas aprimorado por Média de Profundidade Exponencial (EDA). Isso aumenta a expressividade do roteamento, melhora a especialização dos especialistas e estabiliza o balanceamento de carga sem sobrecarga significativa de parâmetros.
Escala Residual Aprendida: Aplica viés aprendido e coeficientes de controle ao fluxo residual e às saídas das camadas para controlar o crescimento da norma residual através da profundidade, prevenindo o desaparecimento do gradiente com custo de parâmetro negligenciável.

Pipeline de Treinamento

O modelo foi treinado do zero em uma plataforma de computação AMD full-stack (GPUs MI300X e rede Pensando Pollara). O processo de treinamento consiste em:

Pré-treinamento e Midtreinamento: Inclui dados de raciocínio (longa Cadeia de Pensamento) desde o início. Um novo esquema de Recorte Preservador de Resposta (AP) é usado para lidar com traços de raciocínio mais longos que a janela de contexto. Este método truncar a cauda do traço de raciocínio enquanto preserva a resposta final, permitindo que o modelo aprenda com dados longos de CoT mesmo em comprimentos de contexto mais curtos (4K, 32K e 131K).
Ajuste Fino Supervisionado (SFT): Realizado em comprimento de contexto de 131K, focando em exemplos de chat, seguimento de instruções, código, matemática e agregação para computação em tempo de teste.
Cascata de Aprendizado por Reforço (RL): Um pipeline de pós-treinamento de quatro estágios:
1. Aquecimento de Raciocínio: Matemática, quebra-cabeças e traços de TTC.
2. Currículo RLVE-Gym: 400 ambientes adaptativos semelhantes a quebra-cabeças com dificuldade calibrada para uma taxa de aprovação de 0,5 usando Amostragem de Thompson e IRT.
3. Matemática + Código + TTC: Duas fases combinando matemática olímpica, programação competitiva e prompts de computação em tempo de teste. Inclui ambientes de código sintéticos (previsão de I/O, reconstrução, falsificação).
4. RL Comportamental: Estágio final para estilo de chat e seguimento de instruções.

O pipeline de RL utiliza PipelineRL para treinamento assíncrono, DPPO Binary-TV para mascaramento de região de confiança, Dr-GRPO para agregação de perda e MaxRL para estimativa de vantagem. Crucialmente, os autores implementam Reprodução do Roteador (Router Replay), onde o treinador reutiliza decisões de roteamento de especialistas do motor de rollout para evitar incompatibilidades de logits específicas de MoE que desestabilizam o treinamento.

Computação em Tempo de Teste: RSA Markoviana

O artigo introduz RSA Markoviana, um método de computação em tempo de teste que combina Agregação Self-Recursiva (RSA) com o princípio de espaço de trabalho limitado do Pensamento Markoviano.

Mecanismo: O modelo gera $N$ traços de raciocínio candidatos em paralelo. Em vez de passar cadeias completas para a próxima rodada de agregação (o que cresce linearmente o contexto), ele passa apenas os últimos $\tau$ tokens (a "cauda") de cada traço.
Eficiência: Isso limita o tamanho do contexto de agregação ( $C \times \tau$ ) independentemente do orçamento de raciocínio por rollout ( $\beta$ ), permitindo raciocínio profundo sem explodir os custos de atenção.
Integração de Treinamento: O modelo é treinado em exemplos de agregação construídos a partir de rollouts de especialistas (SFT) e self-rollouts (RL), garantindo que ele aprenda a agregar caudas candidatas efetivamente.

3. Contribuições Principais

Modelo ZAYA1-8B: Um modelo MoE de 0,7B ativos / 8B totais de parâmetros que alcança desempenho de raciocínio competitivo.
RSA Markoviana: Um método TTC inovador que permite refinamento recursivo de raciocínio com contexto limitado, desacoplando a profundidade do raciocínio do tamanho da janela de contexto.
Recorte Preservador de Resposta: Uma técnica de construção de dados que permite o uso de dados longos de CoT em contextos de pré-treinamento/midtreinamento mais curtos que o comprimento do traço.
Treinamento Estável de MoE RL: Demonstra a necessidade de Reprodução do Roteador e configurações específicas de precisão (BF16 com operações FP32 seletivas) para estabilizar o PipelineRL em modelos MoE.
Validação da Stack AMD: Valida a stack completa AMD MI300X e rede Pollara para pré-treinamento de MoE em grande escala e treinamento de longo contexto.

4. Resultados

Avaliado no harness Zyphra, ZAYA1-8B demonstra o seguinte desempenho:

Desempenho de Rollout Único: Igual ou superior ao DeepSeek-R1-0528 (37B ativos / 671B totais) em vários benchmarks, incluindo AIME'26 (89,1% vs 87,5%) e HMMT'26 (71,6% vs 79,4% - nota: DeepSeek-R1-0528 é 79,4% na Tabela XI, mas 79,4% no texto vs 71,6% para ZAYA1; no entanto, o artigo afirma que ZAYA1 iguala ou supera o DeepSeek-R1-0528 em vários benchmarks, e a Tabela VIII mostra ZAYA1 em 89,1 vs DeepSeek-R1-0528 em 87,5 para AIME'26). É competitivo com modelos abertos maiores como Nemotron-3-Nano-30B-A3B e Qwen3-Next-80B-A3B-Think.
Desempenho de Computação em Tempo de Teste (TTC): Com RSA Markoviana (orçamento de raciocínio de 40K, cauda de 4K), ZAYA1-8B atinge 91,9% no AIME'25 e 89,6% no HMMT'25. Isso reduz a lacuna para modelos proprietários muito maiores, incluindo Gemini-2.5 Pro, DeepSeek-V3.2 e GPT-5-High.
Eficiência de Escala: O modelo alcança esses resultados com apenas 0,7B de parâmetros ativos, sugerindo que a contagem de parâmetros ativos e os tokens em tempo de inferência são eixos de escala complementares.

5. Significado e Alegações

O artigo afirma que um raciocínio matemático competitivo pode ser alcançado com menos de 1B de parâmetros ativos quando a arquitetura do modelo, o treinamento focado em raciocínio, o RL verificável e a agregação em tempo de teste são co-projetados.

Eficiência: ZAYA1-8B demonstra que modelos MoE de poucos parâmetros ativos podem aproveitar a computação em tempo de teste para aproximar o desempenho de modelos de escala de ponta, oferecendo uma compensação favorável no custo de parâmetro-ativo $\times$ token-gerado.
Design de Treinamento: Os resultados destacam a importância de treinar para o fluxo de trabalho de inferência específico (RSA Markoviana) e o papel crítico de mecanismos de estabilidade como a Reprodução do Roteador no RL de MoE.
Hardware: O trabalho serve como uma validação da plataforma completa AMD para treinar modelos complexos de raciocínio MoE.
Limitações: Os autores observam que, embora o modelo se destaque em raciocínio e código, ele fica atrás de modelos com RL agênico multi-turno dedicado em benchmarks como BFCL-v4 e $\tau^2$ . Além disso, embora seja forte para sua escala em benchmarks de conhecimento (MMLU-Pro, GPQA), não fecha totalmente a lacuna com modelos muito maiores, consistente com a intuição de que o raciocínio e o armazenamento factual escalam de forma diferente.

O artigo conclui que a computação em tempo de teste é uma via promissora para modelos menores focados em raciocínio, desde que sejam treinados para utilizar fluxos de trabalho de agregação e possuam arquiteturas que suportem processamento eficiente de longo contexto.