💬 NLP

ZAYA1-8B Technical Report

Het artikel introduceert ZAYA1-8B, een zeer efficiënt MoE-redeneringsmodel met 8 miljard parameters dat volledig is getraind op AMD-infrastructuur en state-of-the-art prestaties bereikt op wiskunde- en coderingsbenchmarks door middel van een gespecialiseerde vierstaps-RL-cascade en de nieuwe Markoviaanse RSA-berekeningsmethode voor testtijd, waardoor de kloof met veel grotere modellen effectief wordt verkleind.

Oorspronkelijke auteurs: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Gepubliceerd 2026-05-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Klein Brein met een Superkracht

Stel je een tiny, ongelooflijk slimme student voor met de naam ZAYA1-8B. Deze student heeft een brein met slechts 700 miljoen actieve neuronen (een zeer kleine omvang voor een AI), maar maakt deel uit van een grotere "school" met in totaal 8 miljard neuronen.

Meestal heb je om moeilijke wiskundeproblemen op te lossen of complexe code te schrijven een gigantisch brein nodig (zoals een enorme AI met miljarden parameters). ZAYA1-8B is speciaal omdat het, ondanks zijn kleine formaat, deze moeilijke problemen net zo goed, of zelfs beter, kan oplossen dan veel grotere "geniale" studenten.

Hoe? Door gebruik te maken van drie geheime wapens: een nieuwe manier van denken, een speciale trainingskamp en een unieke methode om het eigen werk te controleren.

1. De Architectuur: Een Gespecialiseerd Team

De meeste AI-modellen zijn als een enkele persoon die alles alleen probeert te doen. ZAYA1-8B is opgebouwd als een gespecialiseerd team met behulp van een "Mixture of Experts" (MoE).

Het Team: Stel je een klaslokaal voor met 16 verschillende leraren (experts). Wanneer er een vraag binnenkomt, beslist een "router" (de klasleider) welke leraar het beste geschikt is om het te beantwoorden.
De Nieuwe Leider (ZAYA1 Router): In oudere modellen was de leider een eenvoudige volger van regels. ZAYA1-8B gebruikt een slimmere, meerlagige leider die betere beslissingen neemt over wie er moet lesgeven, zodat de juiste expert elke keer het werk op zich neemt.
De Gecomprimeerde Bibliotheek (CCA): Om lange boeken te lezen of lange verhalen te onthouden, gebruikt het model een "gecomprimeerde bibliotheek"-systeem. In plaats van elke enkele pagina van een boek in zijn hoofd te dragen, slaat het een samengevatte, gecomprimeerde versie op die ruimte en energie bespaart, maar alle belangrijke details behoudt. Hierdoor kan het zeer lange gesprekken aan zonder moe te worden.

2. De Training: Leren Denken voor het Spreken

Het papier beschrijft een uniek trainingsproces dat is ontworpen om deze student te veranderen in een redeneermachine.

De "Antwoordbehoudende" Trim: Leraren hebben vaak lange, gedetailleerde uitleggingen (redeneersporen) die te lang zijn om op één pagina van een leerboek te passen. In plaats van het midden van het verhaal af te snijden (wat de logica zou verstoren), gebruikt ZAYA1-8B een speciale truc: het snijdt het einde van de uitleg af, maar houdt het uiteindelijke antwoord vast. Dit leert het model hoe het moet plannen en denken, zelfs als het volledige denkproces te lang is om in één keer te passen.
Het Vier-Fase Bootcamp: Na het leren van de basis onderging het model een strenge "Versterkend Leren" (RL) bootcamp:
1. Opwarmen: Oplossen van makkelijke puzzels en wiskundeproblemen om gewend te raken aan hard nadenken.
2. De Gym: Een aangepaste omgeving met 400 verschillende puzzelgeneratoren die moeilijker worden naarmate het model beter wordt.
3. Het Hoofdevenement: Het aanpakken van echte wiskunde- en programmeeruitdagingen, inclusief een speciale fase "Berekening tijdens het Testen" (TTC) waarin het leert meerdere mogelijke antwoorden te genereren en de beste te kiezen.
4. Polijsten: Een laatste fase om te leren hoe het beleefd moet chatten en instructies moet volgen, zoals een goede assistent.

3. De Geheime Saus: "Markovian RSA" (Het Groepsdenken)

Dit is het meest innovatieve deel van het papier. Normaal gesproken probeert een AI, wanneer het een moeilijk probleem oplost, het antwoord in één lange, continue stroom te bedenken. Als de stroom te lang wordt, raakt de AI in de war.

ZAYA1-8B gebruikt een methode genaamd Markovian RSA. Denk hierbij aan een estafetteloop met een draai:

De Race: In plaats dat één hardloper de hele marathon probeert te lopen, stuurt het model 16 hardlopers (kandidaten) tegelijkertijd uit.
De Overdracht: Elke hardloper loopt een korte, veilige afstand (een "staart" van 4.000 woorden). Ze dragen niet de volledige geschiedenis van de race; ze geven alleen hun laatste paar stappen (de staart) door aan de volgende ronde.
De Aggregatie: Een "coach" kijkt naar de laatste paar stappen van alle 16 hardlopers, combineert de beste ideeën en stuurt ze uit voor een volgende ronde.
Het Resultaat: Door het denkproces op te breken in kleine, hanteerbare stukjes en het team te laten stemmen over het beste pad, kan ZAYA1-8B ongelooflijk moeilijke wiskundeproblemen oplossen (zoals de AIME- en HMMT-wedstrijden) die normaal gesproken veel grotere breinen vereisen.

De Analogie: Stel je voor dat je een gigantische legpuzzel probeert op te lossen.

Oude Manier: Eén persoon probeert de hele puzzel in zijn hoofd vast te houden. Ze raken overweldigd.
ZAYA1-8B Manier: Je stuurt 16 mensen om aan kleine secties te werken. Ze geven slechts een paar stukjes van hun sectie door aan de volgende groep. De groep combineert deze kleine stukjes om het hele plaatje te bouwen. Het is sneller, gebruikt minder geheugen en geeft een beter resultaat.

4. De Hardware: Gebouwd op AMD

Het hele model is getraind met AMD-computerchips (specifiek de MI300X GPU's). Dit is een grote zaak omdat het bewijst dat je niet de duurste, propriëtaire chips nodig hebt om toonaangevende redeneringsmodellen te trainen. Het team heeft aangetoond dat met de juiste software- en hardwareopstelling AMD-chips het zware werk van het trainen van een complexe AI aankan.

5. De Resultaten: Klein maar Krachtig

Het papier beweert dat met deze opstelling:

ZAYA1-8B (met slechts 0,7 miljard actieve parameters) DeepSeek-R1 (dat 37 miljard actieve parameters heeft) verslaat of gelijktrekt op wiskunde- en programmeertoetsen.
Bij gebruik van de "Markovian RSA" groepsdenkmethode behaalt het scores op moeilijke wiskundewedstrijden die zeer dicht in de buurt komen van enorme, dure modellen zoals Gemini-2.5 Pro en GPT-5-High.

Samenvatting

ZAYA1-8B is een kleine, efficiënte AI die bewijst dat je geen gigantisch brein nodig hebt om een genie te zijn. Door gebruik te maken van een slim teamstructuur, een speciale trainingsmethode die de antwoorden veilig houdt, en een "groepsestafette"-strategie voor het denken, kan het de moeilijkste wiskunde- en programmeerproblemen oplossen terwijl het slechts een fractie van de rekenkracht van zijn grotere concurrenten gebruikt.

Technische Samenvatting: ZAYA1-8B

1. Probleemstelling

Het artikel behandelt de uitdaging om geavanceerde wiskundige en coderingsredeneervermogens in grote taalmodellen te bereiken zonder te vertrouwen op enorme parameteraantallen. Hoewel frontier-modellen vaak honderden miljarden parameters gebruiken, moet worden vastgesteld of concurrerend redeneren haalbaar is met aanzienlijk minder actieve parameters door middel van architecturale innovatie, redeneringsintensieve training en efficiënte strategieën voor compute tijdens het testen (TTC). Specifiek onderzoeken de auteurs of een model met minder dan 1 miljard actieve parameters de prestaties kan evenaren of overtreffen van aanzienlijk grotere open-weight en proprietaire redeneringsmodellen op benchmarks zoals AIME en HMMT.

2. Methodologie

Architectuur: Zyphra MoE++

ZAYA1-8B is een Mixture-of-Experts (MoE)-model met in totaal 8 miljard parameters en 700 miljoen actieve parameters. Het introduceert drie belangrijke architecturale wijzigingen ten opzichte van standaard Transformer MoE-ontwerpen:

Gecomprimeerde Convolutionele Attention (CCA): Vervangt standaard attention door een lichtgewicht convolutionele downprojector om sequentiemixing uit te voeren in een gecomprimeerde latente ruimte. Dit verlaagt FLOPs en de grootte van de KV-cache, waardoor efficiënte training en inferentie met lange context mogelijk worden.
ZAYA1 Router: Vervangt de standaard lineaire router door een op multi-layer MLP gebaseerd ontwerp, versterkt met Exponential Depth Averaging (EDA). Dit verhoogt de expressiviteit van het routeren, verbetert de specialisatie van experts en stabiliseert de load balancing zonder aanzienlijke overhead aan parameters.
Gestudeerde Residuale Schaling: Past gestudeerde bias- en gating-coëfficiënten toe op de residustroom en laaguitkomsten om de groei van de residu-norm door de diepte heen te controleren, waardoor het verdwijnen van gradiënten wordt voorkomen met verwaarloosbare parameterkosten.

Trainingspijplijn

Het model is vanaf nul getraind op een full-stack AMD-computeplatform (MI300X GPU's en Pensando Pollara-netwerk). Het trainingsproces bestaat uit:

Pretraining & Midtraining: Omvat redeneringsdata (lange Chain-of-Thought) vanaf het begin. Een nieuw Answer-Preserving (AP) Trimming-schema wordt gebruikt om redeneringssporen langer dan het contextvenster te verwerken. Deze methode verkort de staart van het redeneringsspoor terwijl het definitieve antwoord behouden blijft, waardoor het model kan leren van lange CoT-data zelfs bij kortere contextlengtes (4K, 32K en 131K).
Supervised Fine-Tuning (SFT): Uitgevoerd bij een contextlengte van 131K, met focus op chat, instructievolging, code, wiskunde en aggregatievoorbeelden voor compute tijdens het testen.
Reinforcement Learning (RL) Cascade: Een post-trainingpijplijn met vier fasen:
1. Reasoning Warmup: Wiskunde, puzzels en TTC-sporen.
2. RLVE-Gym Curriculum: 400 adaptieve, puzzelachtige omgevingen met moeilijkheidsgraden die zijn gekalibreerd op een slagingspercentage van 0,5 met behulp van Thompson Sampling en IRT.
3. Wiskunde + Code + TTC: Twee fasen die olympiade-wiskunde, competitieve programmering en prompts voor compute tijdens het testen combineren. Bevat synthetische code-omgevingen (I/O-predictie, reconstructie, falsificatie).
4. Behavioral RL: Eindfase voor chatstijl en instructievolging.

De RL-pijplijn maakt gebruik van PipelineRL voor asynchrone training, DPPO Binary-TV voor trust-region masking, Dr-GRPO voor loss-aggregatie en MaxRL voor advantage-schatting. Cruciaal implementeren de auteurs Router Replay, waarbij de trainer routeringsbeslissingen van experts hergebruikt die afkomstig zijn van de rollout-engine om MoE-specifieke logit-mismatches te voorkomen die de training destabiliseren.

Compute tijdens het testen: Markovian RSA

Het artikel introduceert Markovian RSA, een methode voor compute tijdens het testen die Recursive Self-Aggregation (RSA) combineert met het principe van de begrende werkruimte van Markovian Thinking.

Mechanisme: Het model genereert $N$ kandidaat-redeneringssporen parallel. In plaats van volledige ketens door te geven aan de volgende aggregatieronde (wat de context lineair doet groeien), worden alleen de laatste $\tau$ tokens (de "staart") van elk spoor doorgegeven.
Efficiëntie: Dit begrenst de aggregatiecontextgrootte ( $C \times \tau$ ) ongeacht het redeneringsbudget per rollout ( $\beta$ ), waardoor diep redeneren mogelijk is zonder dat de attentionkosten exploderen.
Integratie in training: Het model wordt getraind op aggregatievoorbeelden die zijn opgebouwd uit expert-rollouts (SFT) en zelf-rollouts (RL), zodat het leert kandidaatstaarten effectief te aggregeren.

3. Belangrijkste Bijdragen

ZAYA1-8B Model: Een MoE-model met 0,7B actieve / 8B totale parameters dat concurrerende redeneerprestaties behaalt.
Markovian RSA: Een nieuwe TTC-methode die recursieve verfijning van redenering mogelijk maakt met een beperkte context, waarbij redeneringsdiepte wordt ontkoppeld van de grootte van het contextvenster.
Answer-Preserving Trimming: Een techniek voor dataconstructie die het gebruik van lange CoT-data mogelijk maakt in pretraining/midtraining-contexten die korter zijn dan de spoorgrootte.
Stabiele MoE RL-training: Demonstreert de noodzaak van Router Replay en specifieke precisie-instellingen (BF16 met selectieve FP32-bewerkingen) om PipelineRL in MoE-modellen te stabiliseren.
Validatie AMD-stack: Valideert de AMD MI300X en Pollara-netwerkstack voor grootschalige MoE-pretraining en training met lange context.

4. Resultaten

Geëvalueerd op de Zyphra-harness toont ZAYA1-8B de volgende prestaties:

Single-Rollout Prestaties: Evenaart of overtreft DeepSeek-R1-0528 (37B actief / 671B totaal) op verschillende benchmarks, waaronder AIME'26 (89,1% vs 87,5%) en HMMT'26 (71,6% vs 79,4% - let op: DeepSeek-R1-0528 scoort 79,4% in Tabel XI, maar 79,4% in de tekst versus 71,6% voor ZAYA1; het artikel beweert echter dat ZAYA1 DeepSeek-R1-0528 evenaart of overtreft op verschillende benchmarks, en Tabel VIII toont ZAYA1 op 89,1 versus DeepSeek-R1-0528 op 87,5 voor AIME'26). Het is concurrerend met grotere open-weight modellen zoals Nemotron-3-Nano-30B-A3B en Qwen3-Next-80B-A3B-Think.
Prestaties bij Compute tijdens het testen (TTC): Met Markovian RSA (40K redeneringsbudget, 4K staart) bereikt ZAYA1-8B 91,9% op AIME'25 en 89,6% op HMMT'25. Dit verkleint de kloof met veel grotere proprietaire modellen, waaronder Gemini-2.5 Pro, DeepSeek-V3.2 en GPT-5-High.
Schalings-efficiëntie: Het model behaalt deze resultaten met slechts 0,7B actieve parameters, wat suggereert dat het aantal actieve parameters en tokens tijdens inferentie complementaire schalingsassen zijn.

5. Betekenis en Beweringen

Het artikel beweert dat concurrerend wiskundig redeneren haalbaar is met minder dan 1B actieve parameters wanneer modelarchitectuur, redeneringsintensieve training, verifieerbare RL en aggregatie tijdens het testen gezamenlijk worden ontworpen.

Efficiëntie: ZAYA1-8B demonstreert dat MoE-modellen met kleine actieve parameters compute tijdens het testen kunnen benutten om de prestaties van frontier-scale modellen te benaderen, wat een gunstige trade-off biedt in kosten voor actieve parameters $\times$ gegenereerde tokens.
Ontwerp van training: De resultaten benadrukken het belang van training voor de specifieke inferentieworkflow (Markovian RSA) en de cruciale rol van stabiliteitsmechanismen zoals Router Replay in MoE-RL.
Hardware: Het werk dient als validatie van het AMD full-stack-platform voor het trainen van complexe MoE-redeneringsmodellen.
Beperkingen: De auteurs merken op dat het model, hoewel het uitblinkt in redeneren en code, achterblijft bij modellen met dedicated multi-turn agentic RL op benchmarks zoals BFCL-v4 en $\tau^2$ . Bovendien sluit het, hoewel het sterk is voor zijn schaal op kennisbenchmarks (MMLU-Pro, GPQA), de kloof met veel grotere modellen niet volledig, wat overeenkomt met de intuïtie dat redeneren en feitelijke opslag verschillend schalen.

Het artikel concludeert dat compute tijdens het testen een veelbelovende weg is voor kleinere, op redenering gerichte modellen, mits ze zijn getraind om aggregatieworkflows te benutten en beschikken over architecturen die efficiënte verwerking van lange context ondersteunen.