💬 NLP

ZAYA1-8B Technical Report

L'article présente ZAYA1-8B, un modèle de raisonnement MoE de 8 milliards de paramètres hautement efficace, entièrement entraîné sur une infrastructure AMD, qui atteint des performances de pointe sur les benchmarks de mathématiques et de codage grâce à une cascade RL spécialisée en quatre étapes et à la nouvelle méthode de calcul en temps d'exécution Markovienne RSA, réduisant ainsi efficacement l'écart avec des modèles beaucoup plus grands.

Auteurs originaux : Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Un Petit Cerveau avec un Superpouvoir

Imaginez que vous avez un tout petit étudiant incroyablement intelligent nommé ZAYA1-8B. Ce cerveau possède seulement 700 millions de neurones actifs (une taille très réduite pour une IA), mais il fait partie d'une plus grande « école » comptant 8 milliards de neurones au total.

Habituellement, pour résoudre des problèmes mathématiques complexes ou écrire du code avancé, il faut un cerveau géant (comme une IA massive avec des milliards de paramètres). ZAYA1-8B est spécial car, malgré sa petite taille, il peut résoudre ces problèmes difficiles aussi bien, voire mieux, que de bien plus grands « génies ».

Comment ? En utilisant trois armes secrètes : une nouvelle façon de penser, un camp d'entraînement spécial et une méthode unique pour vérifier son propre travail.

1. L'Architecture : Une Équipe Spécialisée

La plupart des modèles d'IA sont comme une seule personne essayant de tout faire seule. ZAYA1-8B est construit comme une équipe spécialisée utilisant un « Mélange d'Experts » (MoE).

L'Équipe : Imaginez une salle de classe avec 16 professeurs différents (experts). Lorsqu'une question arrive, un « routeur » (le délégué de classe) décide quel professeur est le mieux placé pour y répondre.
Le Nouveau Délégué (Routeur ZAYA1) : Dans les anciens modèles, le délégué était un simple suiveur de règles. ZAYA1-8B utilise un délégué plus intelligent et multicouche qui prend de meilleures décisions sur qui doit enseigner, garantissant que le bon expert gère la tâche à chaque fois.
La Bibliothèque Compressée (CCA) : Pour lire de longs livres ou se souvenir de longues histoires, le modèle utilise un système de « bibliothèque compressée ». Au lieu de garder chaque page de livre en tête, il stocke une version résumée et compressée qui économise de l'espace et de l'énergie tout en conservant tous les détails importants. Cela lui permet de gérer des conversations très longues sans se fatiguer.

2. L'Entraînement : Apprendre à Penser Avant de Parler

Le document décrit un processus d'entraînement unique conçu pour transformer cet étudiant en machine de raisonnement.

La Taille « Préservant la Réponse » : Les professeurs ont souvent des explications longues et détaillées (traces de raisonnement) qui sont trop longues pour tenir sur une seule page de manuel. Au lieu de couper le milieu de l'histoire (ce qui ruinerait la logique), ZAYA1-8B utilise une astuce spéciale : il coupe la fin de l'explication mais conserve la réponse finale. Cela apprend au modèle comment planifier et réfléchir, même si le processus de pensée complet est trop long pour tenir en une seule fois.
Le Camp d'Entraînement en Quatre Étapes : Après avoir appris les bases, le modèle a suivi un camp d'entraînement rigoureux d'« Apprentissage par Renforcement » (RL) :
1. Échauffement : Résoudre des énigmes et des problèmes mathématiques faciles pour s'habituer à réfléchir intensément.
2. La Salle de Sport : Un environnement personnalisé avec 400 générateurs d'énigmes différents qui deviennent plus difficiles à mesure que le modèle progresse.
3. L'Événement Principal : Affronter de vrais défis mathématiques et de codage, y compris une phase spéciale de « Calcul au Moment du Test » (TTC) où il apprend à générer plusieurs réponses possibles et à choisir la meilleure.
4. Polissage : Une étape finale pour apprendre à discuter poliment et à suivre les instructions, comme un bon assistant.

3. La Sauce Secrète : « Markovian RSA » (La Pensée de Groupe)

C'est la partie la plus innovante du document. Habituellement, lorsqu'une IA résout un problème difficile, elle essaie de trouver la réponse en un seul flux continu et long. Si le flux devient trop long, l'IA se perd.

ZAYA1-8B utilise une méthode appelée Markovian RSA. Imaginez cela comme une course de relais avec une twist :

La Course : Au lieu d'un seul coureur essayant de parcourir tout le marathon, le modèle envoie 16 coureurs (candidats) en même temps.
Le Relais : Chaque coureur parcourt une courte distance sûre (une « queue » de 4 000 mots). Ils ne portent pas toute l'histoire de la course ; ils transmettent simplement leurs derniers pas (la queue) au tour suivant.
L'Agrégation : Un « entraîneur » examine les derniers pas des 16 coureurs, combine les meilleures idées et les renvoie pour un autre tour.
Le Résultat : En décomposant le processus de réflexion en petits morceaux gérables et en faisant voter l'équipe pour le meilleur chemin, ZAYA1-8B peut résoudre des problèmes mathématiques incroyablement difficiles (comme les compétitions AIME et HMMT) qui nécessitent habituellement des cerveaux beaucoup plus grands.

L'Analogie : Imaginez essayer de résoudre un immense puzzle.

Ancienne Méthode : Une personne essaie de garder tout le puzzle en tête en même temps. Elle est submergée.
Méthode ZAYA1-8B : Vous envoyez 16 personnes travailler sur de petites sections. Elles ne transmettent que quelques pièces de leur section au groupe suivant. Le groupe combine ces petites pièces pour construire l'image entière. C'est plus rapide, utilise moins de mémoire et donne un meilleur résultat.

4. Le Matériel : Construit sur AMD

L'ensemble du modèle a été entraîné en utilisant des puces informatiques AMD (spécifiquement les GPU MI300X). C'est une grande nouvelle car cela prouve que vous n'avez pas besoin des puces les plus chères et propriétaires pour entraîner des modèles de raisonnement de premier ordre. L'équipe a démontré qu'avec la bonne configuration logicielle et matérielle, les puces AMD peuvent assumer le travail lourd de l'entraînement d'une IA complexe.

5. Les Résultats : Petit mais Puissant

Le document affirme qu'avec cette configuration :

ZAYA1-8B (avec seulement 0,7 milliard de paramètres actifs) bat ou égale DeepSeek-R1 (qui possède 37 milliards de paramètres actifs) sur les tests de mathématiques et de codage.
En utilisant la méthode de pensée de groupe « Markovian RSA », il obtient des scores sur des compétitions mathématiques difficiles très proches de ceux de modèles massifs et coûteux comme Gemini-2.5 Pro et GPT-5-High.

Résumé

ZAYA1-8B est une IA petite et efficace qui prouve que vous n'avez pas besoin d'un cerveau géant pour être un génie. En utilisant une structure d'équipe intelligente, une méthode d'entraînement spéciale qui préserve les réponses et une stratégie de « course de relais de groupe » pour la réflexion, il peut résoudre les problèmes mathématiques et de codage les plus difficiles tout en utilisant une fraction de la puissance de calcul de ses concurrents plus grands.

Résumé Technique : ZAYA1-8B

1. Énoncé du Problème

L'article aborde le défi consistant à atteindre des capacités de raisonnement mathématique et de codage de haut niveau dans les grands modèles de langage sans dépendre de counts massifs de paramètres. Alors que les modèles de pointe utilisent souvent des centaines de milliards de paramètres, il est nécessaire de déterminer si un raisonnement compétitif peut être obtenu avec significativement moins de paramètres actifs grâce à l'innovation architecturale, à un entraînement axé sur le raisonnement et à des stratégies de calcul au moment de l'inférence (TTC) efficaces. Plus précisément, les auteurs examinent si un modèle avec moins d'un milliard de paramètres actifs peut égaler ou dépasser les performances de modèles de raisonnement open-weight et propriétaires nettement plus grands sur des benchmarks tels que AIME et HMMT.

2. Méthodologie

Architecture : Zyphra MoE++

ZAYA1-8B est un modèle Mixture-of-Experts (MoE) avec 8 milliards de paramètres au total et 700 millions de paramètres actifs. Il introduit trois modifications architecturales clés par rapport aux conceptions Transformer MoE standard :

Attention Convolutionnelle Compressée (CCA) : Remplace l'attention standard par un projecteur convolutif léger pour effectuer le mélange de séquences dans un espace latent compressé. Cela réduit les FLOPs et la taille du cache KV, permettant un entraînement et une inférence efficaces sur de longs contextes.
Routeur ZAYA1 : Remplace le routeur linéaire standard par une conception basée sur un MLP multicouche améliorée par une Moyenne de Profondeur Exponentielle (EDA). Cela augmente l'expressivité du routage, améliore la spécialisation des experts et stabilise l'équilibrage de charge sans surcharge significative de paramètres.
Mise à l'Échelle Résiduelle Apprise : Applique des biais appris et des coefficients de porte au flux résiduel et aux sorties de couche pour contrôler la croissance de la norme résiduelle à travers la profondeur, empêchant la disparition du gradient avec un coût de paramètres négligeable.

Pipeline d'Entraînement

Le modèle a été entraîné à partir de zéro sur une plateforme de calcul AMD complète (GPU MI300X et réseau Pensando Pollara). Le processus d'entraînement comprend :

Préentraînement et Midtraining : Inclut des données de raisonnement (long Chain-of-Thought) dès le début. Un nouveau schéma de Rognage Préservant la Réponse (AP) est utilisé pour gérer les traces de raisonnement plus longues que la fenêtre de contexte. Cette méthode tronque la queue de la trace de raisonnement tout en préservant la réponse finale, permettant au modèle d'apprendre à partir de données CoT longues même à des longueurs de contexte plus courtes (4K, 32K et 131K).
Affinement Supervisé (SFT) : Réalisé à une longueur de contexte de 131K, se concentrant sur le chat, le suivi d'instructions, le code, les mathématiques et des exemples d'agrégation pour le calcul au moment de l'inférence.
Cascade d'Apprentissage par Renforcement (RL) : Un pipeline post-entraînement en quatre étapes :
1. Échauffement de Raisonnement : Mathématiques, énigmes et traces TTC.
2. Curriculum RLVE-Gym : 400 environnements adaptatifs de type énigme avec une difficulté calibrée pour un taux de réussite de 0,5 utilisant l'échantillonnage de Thompson et l'IRT.
3. Mathématiques + Code + TTC : Deux phases combinant les mathématiques olympiques, la programmation compétitive et les invites de calcul au moment de l'inférence. Comprend des environnements de code synthétiques (prédiction I/O, reconstruction, falsification).
4. RL Comportemental : Étape finale pour le style de chat et le suivi d'instructions.

Le pipeline RL utilise PipelineRL pour l'entraînement asynchrone, DPPO Binary-TV pour le masquage de la région de confiance, Dr-GRPO pour l'agrégation des pertes et MaxRL pour l'estimation de l'avantage. Crucialement, les auteurs implémentent Rejeu du Routeur, où l'entraîneur réutilise les décisions de routage des experts provenant du moteur de déploiement pour éviter les incohérences de logits spécifiques au MoE qui déstabilisent l'entraînement.

Calcul au Moment de l'Inférence : Markovian RSA

L'article introduit Markovian RSA, une méthode de calcul au moment de l'inférence combinant l'Auto-Agrégation Récursive (RSA) avec le principe de l'espace de travail borné de la Pensée Markovienne.

Mécanisme : Le modèle génère $N$ traces de raisonnement candidates en parallèle. Au lieu de passer les chaînes complètes à la prochaine ronde d'agrégation (ce qui fait croître le contexte linéairement), il ne passe que les $\tau$ derniers tokens (la « queue ») de chaque trace.
Efficacité : Cela borne la taille du contexte d'agrégation ( $C \times \tau$ ) indépendamment du budget de raisonnement par déploiement ( $\beta$ ), permettant un raisonnement profond sans exploser les coûts d'attention.
Intégration à l'Entraînement : Le modèle est entraîné sur des exemples d'agrégation construits à partir de déploiements d'experts (SFT) et de déploiements autonomes (RL), assurant qu'il apprend à agréger efficacement les queues candidates.

3. Contributions Clés

Modèle ZAYA1-8B : Un modèle MoE avec 0,7B de paramètres actifs / 8B de paramètres totaux qui atteint des performances de raisonnement compétitives.
Markovian RSA : Une méthode TTC novatrice permettant un raffinement de raisonnement récursif avec un contexte borné, découplant la profondeur du raisonnement de la taille de la fenêtre de contexte.
Rognage Préservant la Réponse : Une technique de construction de données permettant l'utilisation de données CoT longues dans des contextes de préentraînement/midtraining plus courts que la longueur de la trace.
Entraînement RL MoE Stable : Démontre la nécessité du Rejeu du Routeur et de paramètres de précision spécifiques (BF16 avec opérations FP32 sélectives) pour stabiliser PipelineRL dans les modèles MoE.
Validation de la Stack AMD : Valide la stack complète AMD MI300X et réseau Pollara pour le préentraînement MoE à grande échelle et l'entraînement sur de longs contextes.

4. Résultats

Évalué sur le harnais Zyphra, ZAYA1-8B démontre les performances suivantes :

Performance à Déploiement Unique : Égale ou dépasse DeepSeek-R1-0528 (37B actifs / 671B totaux) sur plusieurs benchmarks, notamment AIME'26 (89,1 % contre 87,5 %) et HMMT'26 (71,6 % contre 79,4 % - note : DeepSeek-R1-0528 est à 79,4 % dans le Tableau XI, mais 79,4 % dans le texte contre 71,6 % pour ZAYA1 ; cependant, l'article affirme que ZAYA1 égale ou dépasse DeepSeek-R1-0528 sur plusieurs benchmarks, et le Tableau VIII montre ZAYA1 à 89,1 contre DeepSeek-R1-0528 à 87,5 pour AIME'26). Il est compétitif avec des modèles open-weight plus grands comme Nemotron-3-Nano-30B-A3B et Qwen3-Next-80B-A3B-Think.
Performance de Calcul au Moment de l'Inférence (TTC) : Avec Markovian RSA (budget de raisonnement 40K, queue 4K), ZAYA1-8B atteint 91,9 % sur AIME'25 et 89,6 % sur HMMT'25. Cela réduit l'écart avec des modèles propriétaires beaucoup plus grands, notamment Gemini-2.5 Pro, DeepSeek-V3.2 et GPT-5-High.
Efficacité de Mise à l'Échelle : Le modèle atteint ces résultats avec seulement 0,7B de paramètres actifs, suggérant que le nombre de paramètres actifs et les tokens au moment de l'inférence sont des axes de mise à l'échelle complémentaires.

5. Signification et Revendications

L'article affirme qu'un raisonnement mathématique compétitif peut être atteint avec moins d'un milliard de paramètres actifs lorsque l'architecture du modèle, l'entraînement axé sur le raisonnement, le RL vérifiable et l'agrégation au moment de l'inférence sont co-conçus.

Efficacité : ZAYA1-8B démontre que les modèles MoE à faible nombre de paramètres actifs peuvent exploiter le calcul au moment de l'inférence pour approcher les performances des modèles à l'échelle de pointe, offrant un compromis favorable en termes de coût de paramètres actifs × tokens générés.
Conception de l'Entraînement : Les résultats soulignent l'importance de l'entraînement pour le flux de travail d'inférence spécifique (Markovian RSA) et le rôle critique des mécanismes de stabilité comme le Rejeu du Routeur dans le RL MoE.
Matériel : Ce travail sert de validation de la plateforme complète AMD pour l'entraînement de modèles de raisonnement MoE complexes.
Limites : Les auteurs notent que si le modèle excelle en raisonnement et en code, il est en retrait par rapport aux modèles dotés d'un RL agentique multi-tours dédié sur des benchmarks comme BFCL-v4 et $\tau^2$ . De plus, bien qu'il soit fort à son échelle sur les benchmarks de connaissances (MMLU-Pro, GPQA), il ne comble pas entièrement l'écart avec des modèles beaucoup plus grands, ce qui est cohérent avec l'intuition que le raisonnement et le stockage factuel évoluent différemment.

L'article conclut que le calcul au moment de l'inférence est une voie prometteuse pour les modèles plus petits axés sur le raisonnement, à condition qu'ils soient entraînés à exploiter les flux de travail d'agrégation et possèdent des architectures supportant un traitement efficace de longs contextes.