💬 NLP

ZAYA1-8B Technical Report

Das Papier stellt ZAYA1-8B vor, ein hocheffizientes MoE-Reasoning-Modell mit 8 Milliarden Parametern, das vollständig auf AMD-Infrastruktur trainiert wurde und durch eine spezialisierte vierstufige RL-Kaskade sowie die neuartige Markovische RSA-Testzeit-Rechenmethode State-of-the-Art-Leistung in Mathematik- und Coding-Benchmarks erzielt, wodurch die Lücke zu deutlich größeren Modellen effektiv verringert wird.

Ursprüngliche Autoren: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein kleines Gehirn mit Superkraft

Stellen Sie sich einen winzigen, unglaublich intelligenten Schüler namens ZAYA1-8B vor. Dieser Schüler hat ein Gehirn mit nur 700 Millionen aktiven Neuronen (eine sehr kleine Größe für eine KI), ist aber Teil einer größeren „Schule" mit insgesamt 8 Milliarden Neuronen.

Normalerweise benötigt man ein riesiges Gehirn (wie eine massive KI mit Milliarden von Parametern), um schwierige Mathematikaufgaben zu lösen oder komplexen Code zu schreiben. ZAYA1-8B ist besonders, weil es diese schwierigen Probleme trotz seiner geringen Größe genauso gut oder sogar besser lösen kann als viel größere „Genie"-Schüler.

Wie? Durch den Einsatz von drei geheimen Waffen: einer neuen Denkweise, einem speziellen Trainingslager und einer einzigartigen Methode zur Selbstkontrolle.

1. Die Architektur: Ein spezialisiertes Team

Die meisten KI-Modelle sind wie eine einzelne Person, die versucht, alles allein zu erledigen. ZAYA1-8B ist wie ein spezialisiertes Team aufgebaut, das auf einem „Mixture of Experts" (MoE)-Prinzip basiert.

Das Team: Stellen Sie sich ein Klassenzimmer mit 16 verschiedenen Lehrern (Experten) vor. Wenn eine Frage hereinkommt, entscheidet ein „Router" (der Klassensprecher), welcher Lehrer am besten geeignet ist, sie zu beantworten.
Der neue Monitor (ZAYA1 Router): In älteren Modellen war der Monitor ein einfacher Regelbefolger. ZAYA1-8B verwendet einen intelligenteren, mehrschichtigen Monitor, der bessere Entscheidungen darüber trifft, wer unterrichten soll, und sicherstellt, dass der richtige Experte die Aufgabe jedes Mal übernimmt.
Die komprimierte Bibliothek (CCA): Um lange Bücher zu lesen oder lange Geschichten zu erinnern, nutzt das Modell ein „komprimiertes Bibliothekssystem". Anstatt jede einzelne Buchseite im Kopf zu tragen, speichert es eine zusammengefasste, komprimierte Version, die Platz und Energie spart, aber alle wichtigen Details bewahrt. Dies ermöglicht es ihm, sehr lange Gespräche zu bewältigen, ohne müde zu werden.

2. Das Training: Lernen, bevor man spricht

Der Bericht beschreibt einen einzigartigen Trainingsprozess, der diesen Schüler in eine Denkmaschine verwandeln soll.

Der „Antwort-erhaltende" Schnitt: Lehrer haben oft lange, detaillierte Erklärungen (Denkspuren), die zu lang sind, um auf eine einzige Seite eines Lehrbuchs zu passen. Anstatt die Mitte der Geschichte abzuschneiden (was die Logik zerstören würde), verwendet ZAYA1-8B einen speziellen Trick: Es schneidet das Ende der Erklärung ab, behält aber die endgültige Antwort. Dies lehrt das Modell, wie man plant und denkt, selbst wenn der gesamte Denkprozess zu lang ist, um auf einmal Platz zu finden.
Das vierstufige Bootcamp: Nach dem Erlernen der Grundlagen durchlief das Modell ein rigoroses „Reinforcement Learning" (RL)-Bootcamp:
1. Aufwärmen: Lösen einfacher Rätsel und Mathematikaufgaben, um sich an intensives Denken zu gewöhnen.
2. Das Fitnessstudio: Eine benutzerdefinierte Umgebung mit 400 verschiedenen Rätselgeneratoren, die schwieriger werden, je besser das Modell wird.
3. Das Hauptereignis: Bewältigung echter Mathematik- und Programmierherausforderungen, einschließlich einer speziellen Phase „Test-Time Compute" (TTC), in der es lernt, mehrere mögliche Antworten zu generieren und die beste auszuwählen.
4. Polieren: Eine letzte Phase, um zu lernen, wie man höflich chattet und Anweisungen befolgt, wie ein guter Assistent.

3. Das Geheimrezept: „Markovian RSA" (Das Gruppendenken)

Dies ist der innovativste Teil des Berichts. Normalerweise versucht eine KI, wenn sie ein schwieriges Problem löst, die Antwort in einem langen, kontinuierlichen Strom zu denken. Wenn der Strom zu lang wird, gerät die KI in Verwirrung.

ZAYA1-8B verwendet eine Methode namens Markovian RSA. Stellen Sie sich dies wie ein Staffellauf mit einer Wendung vor:

Das Rennen: Anstatt dass ein Läufer versucht, den ganzen Marathon zu laufen, schickt das Modell 16 Läufer (Kandidaten) gleichzeitig los.
Der Wechsel: Jeder Läufer läuft eine kurze, sichere Strecke (ein „Schwanz" von 4.000 Wörtern). Sie tragen nicht die gesamte Geschichte des Rennens; sie geben nur ihre letzten paar Schritte (den Schwanz) an die nächste Runde weiter.
Die Aggregation: Ein „Trainer" betrachtet die letzten paar Schritte aller 16 Läufer, kombiniert die besten Ideen und schickt sie für eine weitere Runde los.
Das Ergebnis: Indem der Denkprozess in kleine, handhabbare Stücke zerlegt wird und das Team über den besten Weg abstimmt, kann ZAYA1-8B unglaublich schwierige Mathematikaufgaben lösen (wie die AIME- und HMMT-Wettbewerbe), für die normalerweise viel größere Gehirne benötigt werden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen.

Der alte Weg: Eine Person versucht, das gesamte Puzzle gleichzeitig im Kopf zu halten. Sie wird überwältigt.
Der ZAYA1-8B-Weg: Sie schicken 16 Personen los, um an kleinen Abschnitten zu arbeiten. Sie geben nur ein paar Teile ihres Abschnitts an die nächste Gruppe weiter. Die Gruppe kombiniert diese kleinen Teile, um das gesamte Bild zu erstellen. Es ist schneller, verbraucht weniger Speicher und liefert ein besseres Ergebnis.

4. Die Hardware: Gebaut auf AMD

Das gesamte Modell wurde mit AMD-Chips trainiert (speziell den MI300X-GPUs). Das ist eine große Sache, da es beweist, dass man nicht die teuersten, proprietären Chips benötigt, um erstklassige Denkmodelle zu trainieren. Das Team zeigte, dass mit der richtigen Software- und Hardware-Konfiguration AMD-Chips die schwere Arbeit beim Training einer komplexen KI bewältigen können.

5. Die Ergebnisse: Klein, aber mächtig

Der Bericht behauptet, dass mit diesem Setup:

ZAYA1-8B (mit nur 0,7 Milliarden aktiven Parametern) DeepSeek-R1 (das 37 Milliarden aktive Parameter hat) bei Mathematik- und Programmiertests schlägt oder gleichzieht.
Bei der Verwendung der „Markovian RSA"-Gruppen-Denkmethode erzielt es bei schwierigen Mathematikwettbewerben Ergebnisse, die sehr nahe an riesigen, teuren Modellen wie Gemini-2.5 Pro und GPT-5-High liegen.

Zusammenfassung

ZAYA1-8B ist eine kleine, effiziente KI, die beweist, dass man kein riesiges Gehirn braucht, um ein Genie zu sein. Durch die Nutzung einer intelligenten Teamstruktur, einer speziellen Trainingsmethode, die die Antworten sicher bewahrt, und einer „Gruppen-Staffellauf"-Strategie zum Denken, kann es die schwierigsten Mathematik- und Programmierprobleme lösen, während es nur einen Bruchteil der Rechenleistung seiner größeren Konkurrenten verbraucht.

Technische Zusammenfassung: ZAYA1-8B

1. Problemstellung

Die Arbeit adressiert die Herausforderung, hohe mathematische und programmierbezogene Schlussfolgerungsfähigkeiten in großen Sprachmodellen zu erreichen, ohne auf massive Parameterzahlen angewiesen zu sein. Während führende Modelle oft Hunderte von Milliarden Parametern nutzen, muss untersucht werden, ob wettbewerbsfähige Schlussfolgerungen durch architektonische Innovationen, schlussfolgerungsintensive Trainingsverfahren und effiziente Strategien für Rechenleistung zur Laufzeit (Test-Time Compute, TTC) mit deutlich weniger aktiven Parametern erzielt werden können. Konkret untersuchen die Autoren, ob ein Modell mit weniger als 1 Milliarde aktiven Parametern die Leistung substantially größerer Open-Weight- und proprietärer Schlussfolgerungsmodelle auf Benchmarks wie AIME und HMMT erreichen oder übertreffen kann.

2. Methodik

Architektur: Zyphra MoE++

ZAYA1-8B ist ein Mixture-of-Experts (MoE)-Modell mit insgesamt 8 Milliarden Parametern und 700 Millionen aktiven Parametern. Es führt drei wesentliche architektonische Modifikationen gegenüber Standard-Transformer-MoE-Designs ein:

Compressed Convolutional Attention (CCA): Ersetzt die Standard-Aufmerksamkeit durch einen leichten konvolutionalen Downprojector, um Sequenzmischung in einem komprimierten latenten Raum durchzuführen. Dies reduziert FLOPs und die Größe des KV-Caches und ermöglicht effizientes Training und Inferenz mit langen Kontexten.
ZAYA1 Router: Ersetzt den Standard-Linearrouter durch ein auf mehrschichtigen MLPs basierendes Design, das durch Exponential Depth Averaging (EDA) verbessert wird. Dies erhöht die Ausdruckskraft des Routings, verbessert die Spezialisierung der Experten und stabilisiert das Lastenausgleichsverhalten ohne signifikanten Parameter-Overhead.
Learned Residual Scaling: Wendet gelernte Bias- und Gating-Koeffizienten auf den Residualstrom und die Schichtausgaben an, um das Wachstum der Residualnorm über die Tiefe hinweg zu steuern und das Verschwinden von Gradienten bei vernachlässigbaren Parameterkosten zu verhindern.

Trainingspipeline

Das Modell wurde von Grund auf auf einer Full-Stack-AMD-Rechenplattform (MI300X-GPUs und Pensando Pollara-Netzwerk) trainiert. Der Trainingsprozess umfasst:

Pretraining & Midtraining: Beinhaltet von Anfang an Schlussfolgerungsdaten (lange Chain-of-Thought). Ein neuartiges Answer-Preserving (AP) Trimming-Schema wird verwendet, um Schlussfolgerungsspuren zu handhaben, die länger als das Kontextfenster sind. Diese Methode schneidet das Ende der Schlussfolgerungsspur ab, bewahrt jedoch die endgültige Antwort, sodass das Modell auch bei kürzeren Kontextlängen (4K, 32K und 131K) aus langen CoT-Daten lernen kann.
Supervised Fine-Tuning (SFT): Durchgeführt bei einer Kontextlänge von 131K mit Fokus auf Chat, Befehlsbefolgung, Code, Mathematik und Aggregationsbeispielen für Rechenleistung zur Laufzeit.
Reinforcement-Learning (RL) Cascade: Eine vierstufige Nachtrainingspipeline:
1. Reasoning Warmup: Mathematik, Rätsel und TTC-Spuren.
2. RLVE-Gym Curriculum: 400 adaptive, rätselhafte Umgebungen mit Schwierigkeitsgraden, die mittels Thompson Sampling und IRT auf eine Durchgangsrate von 0,5 kalibriert sind.
3. Math + Code + TTC: Zwei Phasen, die Olympiaden-Mathematik, Competitive Programming und Prompts für Rechenleistung zur Laufzeit kombinieren. Enthalten sind synthetische Code-Umgebungen (I/O-Vorhersage, Rekonstruktion, Fälschung).
4. Behavioral RL: Abschlusstufe für Chat-Stil und Befehlsbefolgung.

Die RL-Pipeline nutzt PipelineRL für asynchrones Training, DPPO Binary-TV für Trust-Region-Masking, Dr-GRPO für Loss-Aggregation und MaxRL für die Schätzung von Vorteilen. Entscheidend implementieren die Autoren Router Replay, bei dem der Trainer Expert-Routing-Entscheidungen aus dem Rollout-Engine wiederverwendet, um MoE-spezifische Logit-Mismatches zu verhindern, die das Training destabilisieren würden.

Test-Time Compute: Markovian RSA

Die Arbeit führt Markovian RSA ein, eine Methode zur Rechenleistung zur Laufzeit, die Recursive Self-Aggregation (RSA) mit dem Prinzip des begrenzten Arbeitsraums des Markovian Thinking kombiniert.

Mechanismus: Das Modell generiert $N$ Kandidaten-Schlussfolgerungsspuren parallel. Anstatt vollständige Ketten an die nächste Aggregationsrunde weiterzugeben (was den Kontext linear wachsen lässt), werden nur die letzten $\tau$ Tokens (der „Schwanz") jeder Spur übergeben.
Effizienz: Dies begrenzt die Aggregationskontextgröße ( $C \times \tau$ ) unabhängig vom Schlussfolgerungsbudget pro Rollout ( $\beta$ ) und ermöglicht tiefes Schlussfolgern ohne explodierende Aufmerksamkeitsskosten.
Trainingsintegration: Das Modell wird auf Aggregationsbeispielen trainiert, die aus Expert-Rollouts (SFT) und Selbst-Rollouts (RL) konstruiert wurden, um sicherzustellen, dass es lernt, Kandidaten-Schwänze effektiv zu aggregieren.

3. Hauptbeiträge

ZAYA1-8B-Modell: Ein MoE-Modell mit 0,7B aktiven / 8B Gesamtparametern, das wettbewerbsfähige Schlussfolgerungsleistungen erzielt.
Markovian RSA: Eine neuartige TTC-Methode, die rekursive Verfeinerung des Schlussfolgerns mit begrenztem Kontext ermöglicht und die Schlussfolgerungstiefe von der Kontextfenstergröße entkoppelt.
Answer-Preserving Trimming: Eine Technik zur Datenkonstruktion, die die Verwendung langer CoT-Daten in Pretraining-/Midtraining-Kontexten ermöglicht, die kürzer sind als die Spurlänge.
Stabiles MoE-RL-Training: Zeigt die Notwendigkeit von Router Replay und spezifischen Präzisionseinstellungen (BF16 mit selektiven FP32-Operationen) auf, um PipelineRL in MoE-Modellen zu stabilisieren.
Validierung des AMD-Stacks: Validiert den AMD MI300X- und Pollara-Netzwerkstack für das Pretraining großer MoE-Modelle und das Training mit langen Kontexten.

4. Ergebnisse

Auf dem Zyphra-Harness evaluiert, zeigt ZAYA1-8B folgende Leistung:

Single-Rollout-Leistung: Entspricht oder übertrifft DeepSeek-R1-0528 (37B aktiv / 671B insgesamt) bei mehreren Benchmarks, darunter AIME'26 (89,1 % vs. 87,5 %) und HMMT'26 (71,6 % vs. 79,4 % – Hinweis: DeepSeek-R1-0528 erreicht in Tabelle XI 79,4 %, ebenso im Text, während ZAYA1 71,6 % erreicht; die Arbeit behauptet jedoch, dass ZAYA1 bei mehreren Benchmarks DeepSeek-R1-0528 erreicht oder übertrifft, und Tabelle VIII zeigt für AIME'26 89,1 % für ZAYA1 gegenüber 87,5 % für DeepSeek-R1-0528). Es ist wettbewerbsfähig mit größeren Open-Weight-Modellen wie Nemotron-3-Nano-30B-A3B und Qwen3-Next-80B-A3B-Think.
Test-Time Compute (TTC) Leistung: Mit Markovian RSA (40K Schlussfolgerungsbudget, 4K Schwanz) erreicht ZAYA1-8B 91,9 % auf AIME'25 und 89,6 % auf HMMT'25. Dies verringert die Lücke zu deutlich größeren proprietären Modellen, einschließlich Gemini-2.5 Pro, DeepSeek-V3.2 und GPT-5-High.
Skalierungseffizienz: Das Modell erzielt diese Ergebnisse mit nur 0,7B aktiven Parametern, was darauf hindeutet, dass die Anzahl der aktiven Parameter und die Tokens zur Inferenzzeit komplementäre Skalierungsachsen sind.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass wettbewerbsfähiges mathematisches Schlussfolgern mit weniger als 1 Milliarde aktiven Parametern erreicht werden kann, wenn Modellarchitektur, schlussfolgerungsintensives Training, verifizierbares RL und Aggregation zur Laufzeit gemeinsam entwickelt werden.

Effizienz: ZAYA1-8B zeigt, dass MoE-Modelle mit wenigen aktiven Parametern Rechenleistung zur Laufzeit nutzen können, um die Leistung von Modellen im Frontier-Maßstab zu erreichen, und bietet einen günstigen Trade-off bei den Kosten für aktiven Parameter $\times$ generierte Tokens.
Trainingsdesign: Die Ergebnisse unterstreichen die Bedeutung des Trainings für den spezifischen Inferenzworkflow (Markovian RSA) und die kritische Rolle von Stabilisierungsmechanismen wie Router Replay im MoE-RL.
Hardware: Die Arbeit dient als Validierung der AMD Full-Stack-Plattform für das Training komplexer MoE-Schlussfolgerungsmodelle.
Einschränkungen: Die Autoren stellen fest, dass das Modell, obwohl es in Schlussfolgerung und Code hervorragend ist, bei Benchmarks wie BFCL-v4 und $\tau^2$ hinter Modellen zurückbleibt, die über dediziertes Multi-Turn-Agentic-RL verfügen. Zudem schließt es, obwohl es für seine Größe bei Wissensbenchmarks (MMLU-Pro, GPQA) stark ist, die Lücke zu deutlich größeren Modellen nicht vollständig, was mit der Intuition übereinstimmt, dass sich Schlussfolgerung und faktische Speicherung unterschiedlich skalieren.

Die Arbeit schließt, dass Rechenleistung zur Laufzeit ein vielversprechender Weg für kleinere, auf Schlussfolgerung ausgerichtete Modelle ist, sofern sie darauf trainiert sind, Aggregationsworkflows zu nutzen und Architekturen besitzen, die eine effiziente Verarbeitung langer Kontexte unterstützen.