💬 NLP

ZAYA1-8B Technical Report

Il documento presenta ZAYA1-8B, un modello di ragionamento MoE altamente efficiente con 8 miliardi di parametri addestrato interamente su infrastruttura AMD, che ottiene prestazioni all'avanguardia su benchmark di matematica e coding grazie a una cascata RL specializzata in quattro fasi e al nuovo metodo di calcolo al momento del test Markovian RSA, riducendo efficacemente il divario con modelli molto più grandi.

Autori originali: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Pubblicato 2026-05-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Un Cervello Piccolo con un Superpotere

Immagina di avere un piccolo studente incredibilmente intelligente di nome ZAYA1-8B. Questo studente ha un cervello con solo 700 milioni di neuroni attivi (una dimensione molto piccola per un'IA), ma fa parte di una "scuola" più grande con 8 miliardi di neuroni totali.

Di solito, per risolvere problemi matematici difficili o scrivere codice complesso, serve un cervello gigante (come un'IA massiccia con miliardi di parametri). ZAYA1-8B è speciale perché, nonostante sia piccolo, riesce a risolvere questi problemi difficili tanto bene quanto, o addirittura meglio di, studenti "genio" molto più grandi.

Come? Usando tre armi segrete: un nuovo modo di pensare, un campo di addestramento speciale e un metodo unico per controllare il proprio lavoro.

1. L'Architettura: Un Team Specializzato

La maggior parte dei modelli di IA è come una singola persona che cerca di fare tutto da sola. ZAYA1-8B è costruito come un team specializzato che utilizza una "Miscela di Esperti" (MoE).

Il Team: Immagina una classe con 16 insegnanti diversi (esperti). Quando arriva una domanda, un "router" (il monitor di classe) decide quale insegnante è più adatto a rispondere.
Il Nuovo Monitor (Router ZAYA1): Nei modelli più vecchi, il monitor era un semplice seguace di regole. ZAYA1-8B utilizza un monitor più intelligente e multistrato che prende decisioni migliori su chi dovrebbe insegnare, assicurandosi che l'esperto giusto gestisca il compito ogni volta.
La Biblioteca Compressa (CCA): Per leggere libri lunghi o ricordare storie lunghe, il modello utilizza un sistema di "biblioteca compressa". Invece di portare ogni singola pagina del libro nella sua testa, memorizza una versione riassunta e compressa che risparmia spazio ed energia ma mantiene tutti i dettagli importanti. Questo gli permette di gestire conversazioni molto lunghe senza stancarsi.

2. L'Addestramento: Imparare a Pensare Prima di Parlare

Il documento descrive un processo di addestramento unico progettato per trasformare questo studente in una macchina di ragionamento.

Il "Ritaglio Conservativo della Risposta": Gli insegnanti spesso hanno spiegazioni lunghe e dettagliate (tracce di ragionamento) troppo lunghe per stare su una singola pagina di un libro di testo. Invece di tagliare il mezzo della storia (il che rovinerebbe la logica), ZAYA1-8B usa un trucco speciale: taglia la fine della spiegazione ma mantiene la risposta finale. Questo insegna al modello come pianificare e pensare, anche se l'intero processo di pensiero è troppo lungo per stare tutto in una volta.
Il Campo di Addestramento in Quattro Fasi: Dopo aver appreso le basi, il modello ha seguito un rigoroso campo di addestramento "Reinforcement Learning" (RL):
1. Riscaldamento: Risolvere puzzle e problemi matematici facili per abituarsi a pensare intensamente.
2. La Palestra: Un ambiente personalizzato con 400 diversi generatori di puzzle che diventano più difficili man mano che il modello migliora.
3. L'Evento Principale: Affrontare sfide reali di matematica e coding, inclusa una fase speciale "Test-Time Compute" (TTC) in cui impara a generare molteplici risposte possibili e a scegliere la migliore.
4. Rifinitura: Una fase finale per imparare a chattare cortesemente e seguire le istruzioni, come un buon assistente.

3. La Salsa Segreta: "Markovian RSA" (Il Pensiero di Gruppo)

Questa è la parte più innovativa del documento. Di solito, quando un'IA risolve un problema difficile, cerca di trovare la risposta in un unico flusso lungo e continuo. Se il flusso diventa troppo lungo, l'IA si confonde.

ZAYA1-8B utilizza un metodo chiamato Markovian RSA. Pensaci come a una staffetta con una svolta:

La Gara: Invece di un corridore che cerca di correre l'intera maratona, il modello invia 16 corridori (candidati) contemporaneamente.
Il Passaggio: Ogni corridore corre per una breve e sicura distanza (una "coda" di 4.000 parole). Non portano l'intera storia della gara; passano solo i loro ultimi pochi passi (la coda) al turno successivo.
L'Aggregazione: Un "allenatore" guarda gli ultimi passi di tutti i 16 corridori, combina le migliori idee e le invia per un altro turno.
Il Risultato: Spezzando il processo di pensiero in piccoli pezzi gestibili e facendo votare al team il percorso migliore, ZAYA1-8B può risolvere problemi matematici incredibilmente difficili (come le competizioni AIME e HMMT) che di solito richiedono cervelli molto più grandi.

L'Analogia: Immagina di provare a risolvere un gigantesco puzzle.

Vecchio Metodo: Una persona cerca di tenere l'intero puzzle nella sua testa contemporaneamente. Si sente sopraffatta.
Metodo ZAYA1-8B: Invii 16 persone a lavorare su piccole sezioni. Passano solo alcuni pezzi della loro sezione al gruppo successivo. Il gruppo combina questi piccoli pezzi per costruire l'immagine intera. È più veloce, usa meno memoria e ottiene un risultato migliore.

4. L'Hardware: Costruito su AMD

L'intero modello è stato addestrato utilizzando chip informatici AMD (in particolare le GPU MI300X). Questo è un grande risultato perché dimostra che non servono i chip proprietari più costosi per addestrare modelli di ragionamento di alto livello. Il team ha mostrato che, con il giusto setup di software e hardware, i chip AMD possono gestire il lavoro pesante dell'addestramento di un'IA complessa.

5. I Risultati: Piccolo ma Potente

Il documento afferma che con questa configurazione:

ZAYA1-8B (con soli 0,7 miliardi di parametri attivi) batte o eguaglia DeepSeek-R1 (che ha 37 miliardi di parametri attivi) nei test di matematica e coding.
Quando utilizza il metodo di pensiero di gruppo "Markovian RSA", ottiene punteggi nelle competizioni matematiche difficili molto vicini a modelli massicci e costosi come Gemini-2.5 Pro e GPT-5-High.

Riepilogo

ZAYA1-8B è un'IA piccola ed efficiente che dimostra che non serve un cervello gigante per essere un genio. Usando una struttura di team intelligente, un metodo di addestramento speciale che mantiene al sicuro le risposte e una strategia di "staffetta di gruppo" per pensare, può risolvere i problemi matematici e di coding più difficili utilizzando una frazione della potenza di calcolo dei suoi concorrenti più grandi.

Riepilogo Tecnico: ZAYA1-8B

1. Enunciato del Problema

Il documento affronta la sfida di raggiungere capacità di ragionamento matematico e di programmazione di alto livello nei modelli linguistici di grandi dimensioni senza fare affidamento su un numero massiccio di parametri. Mentre i modelli all'avanguardia utilizzano spesso centinaia di miliardi di parametri, è necessario determinare se un ragionamento competitivo possa essere ottenuto con un numero significativamente inferiore di parametri attivi attraverso l'innovazione architetturale, un addestramento incentrato sul ragionamento e strategie efficienti di calcolo al momento dell'esecuzione (TTC). Nello specifico, gli autori indagano se un modello con meno di 1 miliardo di parametri attivi possa eguagliare o superare le prestazioni di modelli di ragionamento open-weight e proprietari sostanzialmente più grandi su benchmark come AIME e HMMT.

2. Metodologia

Architettura: Zyphra MoE++

ZAYA1-8B è un modello Mixture-of-Experts (MoE) con 8 miliardi di parametri totali e 700 milioni di parametri attivi. Introduce tre modifiche architetturali chiave rispetto ai design standard Transformer MoE:

Attention Convolutiva Compressa (CCA): Sostituisce l'attenzione standard con un proiettore convoluzionale leggero per eseguire il mixing della sequenza in uno spazio latente compresso. Questo riduce i FLOPs e la dimensione della KV-cache, consentendo un addestramento e un'inferenza efficienti con contesti lunghi.
Router ZAYA1: Sostituisce il router lineare standard con un design basato su MLP multistrato potenziato dalla Media della Profondità Esponenziale (EDA). Ciò aumenta l'espressività del routing, migliora la specializzazione degli esperti e stabilizza il bilanciamento del carico senza un sovraccarico significativo di parametri.
Scalabilità Residua Appresa: Applica coefficienti di bias e gating appresi al flusso residuo e agli output dei layer per controllare la crescita della norma residua attraverso la profondità, prevenendo la scomparsa del gradiente con un costo di parametri trascurabile.

Pipeline di Addestramento

Il modello è stato addestrato da zero su una piattaforma di calcolo AMD full-stack (GPU MI300X e networking Pensando Pollara). Il processo di addestramento consiste in:

Pretraining e Midtraining: Include dati di ragionamento (lunghe Catene di Pensiero) fin dall'inizio. Viene utilizzato uno schema innovativo di Taglio Conservativo della Risposta (AP) per gestire tracce di ragionamento più lunghe della finestra di contesto. Questo metodo tronca la coda della traccia di ragionamento preservando la risposta finale, consentendo al modello di apprendere da dati CoT lunghi anche a lunghezze di contesto più brevi (4K, 32K e 131K).
Fine-Tuning Supervisionato (SFT): Eseguito a una lunghezza di contesto di 131K, focalizzato su esempi di chat, follow di istruzioni, codice, matematica e aggregazione per il calcolo al momento dell'esecuzione.
Cascata di Apprendimento per Rinforzo (RL): Una pipeline post-addestramento in quattro fasi:
1. Riscaldamento al Ragionamento: Matematica, puzzle e tracce TTC.
2. Curriculum RLVE-Gym: 400 ambienti adattivi simili a puzzle con difficoltà calibrata su un tasso di superamento del 0,5 utilizzando Thompson Sampling e IRT.
3. Matematica + Codice + TTC: Due fasi che combinano olimpiadi di matematica, programmazione competitiva e prompt di calcolo al momento dell'esecuzione. Include ambienti sintetici di codice (previsione I/O, ricostruzione, falsificazione).
4. RL Comportamentale: Fase finale per lo stile della chat e il follow delle istruzioni.

La pipeline RL utilizza PipelineRL per l'addestramento asincrono, DPPO Binary-TV per il mascheramento della regione di fiducia, Dr-GRPO per l'aggregazione della perdita e MaxRL per la stima del vantaggio. Crucialmente, gli autori implementano Router Replay, dove il trainer riutilizza le decisioni di routing degli esperti dal motore di rollout per prevenire mismatch specifici dei logit MoE che destabilizzano l'addestramento.

Calcolo al Momento dell'Esecuzione: Markovian RSA

Il documento introduce Markovian RSA, un metodo di calcolo al momento dell'esecuzione che combina l'Auto-Aggregazione Ricorsiva (RSA) con il principio dello spazio di lavoro limitato del Pensiero Markoviano.

Meccanismo: Il modello genera $N$ tracce di ragionamento candidate in parallelo. Invece di passare intere catene al round successivo di aggregazione (il che farebbe crescere linearmente il contesto), passa solo gli ultimi $\tau$ token (la "coda") di ciascuna traccia.
Efficienza: Questo limita la dimensione del contesto di aggregazione ( $C \times \tau$ ) indipendentemente dal budget di ragionamento per rollout ( $\beta$ ), consentendo un ragionamento profondo senza esplodere i costi di attenzione.
Integrazione nell'Addestramento: Il modello è addestrato su esempi di aggregazione costruiti da rollout di esperti (SFT) e self-rollout (RL), assicurando che impari ad aggregare efficacemente le code candidate.

3. Contributi Chiave

Modello ZAYA1-8B: Un modello MoE con 0,7B di parametri attivi / 8B totali che raggiunge prestazioni di ragionamento competitive.
Markovian RSA: Un metodo TTC innovativo che consente il raffinamento ricorsivo del ragionamento con contesto limitato, disaccoppiando la profondità del ragionamento dalla dimensione della finestra di contesto.
Taglio Conservativo della Risposta: Una tecnica di costruzione dei dati che consente l'uso di dati CoT lunghi in contesti di pretraining/midtraining più brevi della lunghezza della traccia.
Addestramento MoE RL Stabile: Dimostra la necessità di Router Replay e di impostazioni di precisione specifiche (BF16 con operazioni FP32 selettive) per stabilizzare PipelineRL nei modelli MoE.
Validazione dello Stack AMD: Convalida lo stack completo AMD MI300X e Pollara networking per il pretraining MoE su larga scala e l'addestramento con contesti lunghi.

4. Risultati

Valutato sull'harness Zyphra, ZAYA1-8B dimostra le seguenti prestazioni:

Prestazioni Single-Rollout: Eguaglia o supera DeepSeek-R1-0528 (37B attivi / 671B totali) su diversi benchmark, tra cui AIME'26 (89,1% contro 87,5%) e HMMT'26 (71,6% contro 79,4% - nota: DeepSeek-R1-0528 è al 79,4% nella Tabella XI, ma 79,4% nel testo contro il 71,6% di ZAYA1; tuttavia, il documento afferma che ZAYA1 eguaglia o supera DeepSeek-R1-0528 su diversi benchmark, e la Tabella VIII mostra ZAYA1 al 89,1 contro DeepSeek-R1-0528 al 87,5 per AIME'26). È competitivo con modelli open-weight più grandi come Nemotron-3-Nano-30B-A3B e Qwen3-Next-80B-A3B-Think.
Prestazioni di Calcolo al Momento dell'Esecuzione (TTC): Con Markovian RSA (budget di ragionamento 40K, coda 4K), ZAYA1-8B raggiunge il 91,9% su AIME'25 e l'89,6% su HMMT'25. Questo riduce il divario con modelli proprietari molto più grandi, inclusi Gemini-2.5 Pro, DeepSeek-V3.2 e GPT-5-High.
Efficienza di Scalabilità: Il modello raggiunge questi risultati con soli 0,7B di parametri attivi, suggerendo che il numero di parametri attivi e i token al momento dell'inferenza sono assi di scalabilità complementari.

5. Significato e Affermazioni

Il documento afferma che un ragionamento matematico competitivo può essere ottenuto con meno di 1B di parametri attivi quando l'architettura del modello, l'addestramento incentrato sul ragionamento, il RL verificabile e l'aggregazione al momento dell'esecuzione sono co-progettati.

Efficienza: ZAYA1-8B dimostra che i modelli MoE con pochi parametri attivi possono sfruttare il calcolo al momento dell'esecuzione per avvicinarsi alle prestazioni dei modelli su scala all'avanguardia, offrendo un compromesso favorevole nel costo di parametri attivi $\times$ token generati.
Design dell'Addestramento: I risultati evidenziano l'importanza di addestrare per il flusso di lavoro di inferenza specifico (Markovian RSA) e il ruolo critico dei meccanismi di stabilità come Router Replay nel RL MoE.
Hardware: Il lavoro serve come convalida della piattaforma full-stack AMD per l'addestramento di complessi modelli di ragionamento MoE.
Limitazioni: Gli autori notano che, sebbene il modello eccella nel ragionamento e nel codice, rimane indietro rispetto a modelli con RL agenziale multi-turno dedicato su benchmark come BFCL-v4 e $\tau^2$ . Inoltre, sebbene sia forte per la sua scala su benchmark di conoscenza (MMLU-Pro, GPQA), non chiude completamente il divario con modelli molto più grandi, coerentemente con l'intuizione che il ragionamento e l'archiviazione fattuale scalano in modo diverso.

Il documento conclude che il calcolo al momento dell'esecuzione è una strada promettente per modelli più piccoli focalizzati sul ragionamento, a condizione che siano addestrati a utilizzare flussi di lavoro di aggregazione e possiedano architetture che supportino un'elaborazione efficiente di contesti lunghi.