💬 NLP

ZAYA1-8B Technical Report

El artículo presenta ZAYA1-8B, un modelo de razonamiento MoE de 8 mil millones de parámetros altamente eficiente, entrenado íntegramente en infraestructura AMD, que logra un rendimiento de vanguardia en benchmarks de matemáticas y programación mediante una cascada especializada de RL de cuatro etapas y el novedoso método de cómputo en tiempo de prueba Markoviano RSA, reduciendo eficazmente la brecha con modelos mucho más grandes.

Autores originales: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

Publicado 2026-05-08

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Panorama General: Un Cerebro Pequeño con un Superpoder

Imagina que tienes un estudiante diminuto e increíblemente inteligente llamado ZAYA1-8B. Este estudiante tiene un cerebro con solo 700 millones de neuronas activas (un tamaño muy pequeño para una IA), pero forma parte de una "escuela" más grande con 8 mil millones de neuronas en total.

Por lo general, para resolver problemas matemáticos difíciles o escribir código complejo, necesitas un cerebro gigante (como una IA masiva con miles de millones de parámetros). ZAYA1-8B es especial porque, a pesar de ser pequeño, puede resolver estos problemas difíciles tan bien como, o incluso mejor que, estudiantes "genios" mucho más grandes.

¿Cómo? Usando tres armas secretas: una nueva forma de pensar, un campamento de entrenamiento especial y un método único para verificar su propio trabajo.

1. La Arquitectura: Un Equipo Especializado

La mayoría de los modelos de IA son como una sola persona intentando hacerlo todo sola. ZAYA1-8B está construido como un equipo especializado que utiliza una "Mezcla de Expertos" (MoE).

El Equipo: Imagina un aula con 16 maestros diferentes (expertos). Cuando llega una pregunta, un "enrutador" (el monitor de clase) decide qué maestro está mejor preparado para responderla.
El Nuevo Monitor (Enrutador ZAYA1): En los modelos antiguos, el monitor era un simple seguidor de reglas. ZAYA1-8B utiliza un monitor más inteligente y multicapa que toma mejores decisiones sobre quién debe enseñar, asegurando que el experto adecuado maneje el trabajo cada vez.
La Biblioteca Comprimida (CCA): Para leer libros largos o recordar historias extensas, el modelo utiliza un sistema de "biblioteca comprimida". En lugar de llevar cada página del libro en su cabeza, almacena una versión resumida y comprimida que ahorra espacio y energía, pero mantiene todos los detalles importantes. Esto le permite manejar conversaciones muy largas sin cansarse.

2. El Entrenamiento: Aprender a Pensar Antes de Hablar

El documento describe un proceso de entrenamiento único diseñado para convertir a este estudiante en una máquina de razonamiento.

El Recorte "Preservador de Respuestas": Los maestros a menudo tienen explicaciones largas y detalladas (rastros de razonamiento) que son demasiado extensas para caber en una sola página de un libro de texto. En lugar de cortar el medio de la historia (lo que arruinaría la lógica), ZAYA1-8B utiliza un truco especial: corta el final de la explicación pero mantiene la respuesta final. Esto enseña al modelo a planificar y pensar, incluso si el proceso de pensamiento completo es demasiado largo para caber de una sola vez.
El Campamento de Entrenamiento de Cuatro Etapas: Después de aprender lo básico, el modelo pasó por un riguroso campamento de "Aprendizaje por Refuerzo" (RL):
1. Calentamiento: Resolver acertijos y problemas matemáticos fáciles para acostumbrarse a pensar intensamente.
2. El Gimnasio: Un entorno personalizado con 400 generadores de acertijos diferentes que se vuelven más difíciles a medida que el modelo mejora.
3. El Evento Principal: Enfrentar desafíos reales de matemáticas y programación, incluida una fase especial de "Cálculo en Tiempo de Prueba" (TTC) donde aprende a generar múltiples respuestas posibles y elegir la mejor.
4. Pulido: Una etapa final para aprender a conversar educadamente y seguir instrucciones, como un buen asistente.

3. El Secreto: "Markovian RSA" (El Pensamiento de Grupo)

Esta es la parte más innovadora del documento. Por lo general, cuando una IA resuelve un problema difícil, intenta pensar la respuesta en un solo flujo largo y continuo. Si el flujo se vuelve demasiado largo, la IA se confunde.

ZAYA1-8B utiliza un método llamado Markovian RSA. Piénsalo como una carrera de relevos con un giro:

La Carrera: En lugar de que un solo corredor intente correr toda la maratón, el modelo envía 16 corredores (candidatos) al mismo tiempo.
El Cambio de Testigo: Cada corredor corre una distancia corta y segura (una "cola" de 4.000 palabras). No llevan toda la historia de la carrera; solo pasan sus últimos pasos (la cola) a la siguiente ronda.
La Agregación: Un "entrenador" observa los últimos pasos de los 16 corredores, combina las mejores ideas y los envía a otra ronda.
El Resultado: Al dividir el proceso de pensamiento en trozos pequeños y manejables y hacer que el equipo vote por el mejor camino, ZAYA1-8B puede resolver problemas matemáticos increíblemente difíciles (como las competiciones AIME y HMMT) que normalmente requieren cerebros mucho más grandes.

La Analogía: Imagina intentar resolver un rompecabezas gigante.

Antiguo Método: Una persona intenta sostener todo el rompecabezas en su cabeza a la vez. Se abruma.
Método ZAYA1-8B: Envías a 16 personas a trabajar en secciones pequeñas. Solo pasan unas pocas piezas de su sección al siguiente grupo. El grupo combina estas pequeñas piezas para construir la imagen completa. Es más rápido, usa menos memoria y obtiene un mejor resultado.

4. El Hardware: Construido sobre AMD

Todo el modelo fue entrenado utilizando chips de computadora AMD (específicamente las GPUs MI300X). Esto es un gran logro porque demuestra que no necesitas los chips más caros y propietarios para entrenar modelos de razonamiento de primer nivel. El equipo mostró que, con la configuración adecuada de software y hardware, los chips AMD pueden manejar el trabajo pesado de entrenar una IA compleja.

5. Los Resultados: Pequeño pero Poderoso

El documento afirma que con esta configuración:

ZAYA1-8B (con solo 0.7 mil millones de parámetros activos) supera o iguala a DeepSeek-R1 (que tiene 37 mil millones de parámetros activos) en pruebas de matemáticas y programación.
Al utilizar el método de pensamiento de grupo "Markovian RSA", obtiene puntuaciones en competiciones matemáticas difíciles que están muy cerca de modelos masivos y costosos como Gemini-2.5 Pro y GPT-5-High.

Resumen

ZAYA1-8B es una IA pequeña y eficiente que demuestra que no necesitas un cerebro gigante para ser un genio. Al utilizar una estructura de equipo inteligente, un método de entrenamiento especial que mantiene las respuestas seguras y una estrategia de "carrera de relevos de grupo" para pensar, puede resolver los problemas matemáticos y de programación más difíciles mientras utiliza una fracción de la potencia de cálculo de sus competidores más grandes.

Resumen Técnico: ZAYA1-8B

1. Enunciado del Problema

El artículo aborda el desafío de lograr capacidades de razonamiento matemático y de codificación de alto nivel en modelos de lenguaje grandes sin depender de conteos masivos de parámetros. Si bien los modelos de vanguardia suelen utilizar cientos de miles de millones de parámetros, existe la necesidad de determinar si un razonamiento competitivo puede lograrse con significativamente menos parámetros activos mediante innovación arquitectónica, entrenamiento centrado en el razonamiento y estrategias eficientes de cómputo en tiempo de prueba (TTC). Específicamente, los autores investigan si un modelo con menos de 1 mil millones de parámetros activos puede igualar o superar el rendimiento de modelos de razonamiento de código abierto y propietarios sustancialmente más grandes en benchmarks como AIME y HMMT.

2. Metodología

Arquitectura: Zyphra MoE++

ZAYA1-8B es un modelo de Mezcla de Expertos (MoE) con 8 mil millones de parámetros totales y 700 millones de parámetros activos. Introduce tres modificaciones arquitectónicas clave sobre los diseños estándar de Transformer MoE:

Atención Convolucional Comprimida (CCA): Reemplaza la atención estándar con un proyectador convolucional ligero para realizar la mezcla de secuencias en un espacio latente comprimido. Esto reduce los FLOPs y el tamaño de la caché KV, permitiendo un entrenamiento y una inferencia eficientes con contextos largos.
Enrutador ZAYA1: Reemplaza el enrutador lineal estándar con un diseño basado en MLP multicapa potenciado por Promedio de Profundidad Exponencial (EDA). Esto aumenta la expresividad del enrutamiento, mejora la especialización de los expertos y estabiliza el equilibrio de carga sin una sobrecarga significativa de parámetros.
Escalado Residual Aprendido: Aplica coeficientes de sesgo y puerta aprendidos al flujo residual y a las salidas de las capas para controlar el crecimiento de la norma residual a través de la profundidad, previniendo la desaparición del gradiente con un costo de parámetros despreciable.

Pipeline de Entrenamiento

El modelo fue entrenado desde cero en una plataforma de computación AMD de pila completa (GPUs MI300X y redes Pensando Pollara). El proceso de entrenamiento consiste en:

Preentrenamiento y Midentrenamiento: Incluye datos de razonamiento (Cadena de Pensamiento larga) desde el inicio. Se utiliza un esquema novedoso de Recorte que Preserva la Respuesta (AP) para manejar trazas de razonamiento más largas que la ventana de contexto. Este método trunca la cola de la traza de razonamiento mientras preserva la respuesta final, permitiendo que el modelo aprenda de datos de CoT largos incluso en contextos más cortos (4K, 32K y 131K).
Ajuste Fino Supervisado (SFT): Realizado a una longitud de contexto de 131K, centrado en ejemplos de chat, seguimiento de instrucciones, código, matemáticas y agregación para el cómputo en tiempo de prueba.
Cascada de Aprendizaje por Refuerzo (RL): Un pipeline de post-entrenamiento de cuatro etapas:
1. Calentamiento de Razonamiento: Matemáticas, acertijos y trazas de TTC.
2. Currículo RLVE-Gym: 400 entornos adaptativos tipo acertijo con dificultad calibrada a una tasa de aprobación de 0.5 utilizando Muestreo de Thompson e IRT.
3. Matemáticas + Código + TTC: Dos fases que combinan matemáticas olímpicas, programación competitiva y prompts de cómputo en tiempo de prueba. Incluye entornos de código sintéticos (predicción de E/S, reconstrucción, falsificación).
4. RL Conductual: Etapa final para el estilo de chat y el seguimiento de instrucciones.

El pipeline de RL utiliza PipelineRL para entrenamiento asíncrono, DPPO Binary-TV para enmascaramiento de región de confianza, Dr-GRPO para agregación de pérdidas y MaxRL para estimación de ventaja. Crucialmente, los autores implementan Reproducción de Enrutador (Router Replay), donde el entrenador reutiliza las decisiones de enrutamiento de expertos del motor de despliegue para evitar discrepancias de logits específicas de MoE que desestabilizan el entrenamiento.

Cómputo en Tiempo de Prueba: RSA Markoviana

El artículo introduce RSA Markoviana, un método de cómputo en tiempo de prueba que combina la Autoagregación Recursiva (RSA) con el principio de espacio de trabajo acotado del Pensamiento Markoviano.

Mecanismo: El modelo genera $N$ trazas de razonamiento candidatas en paralelo. En lugar de pasar cadenas completas a la siguiente ronda de agregación (lo que hace crecer el contexto linealmente), pasa solo los últimos $\tau$ tokens (la "cola") de cada traza.
Eficiencia: Esto acota el tamaño del contexto de agregación ( $C \times \tau$ ) independientemente del presupuesto de razonamiento por despliegue ( $\beta$ ), permitiendo un razonamiento profundo sin que exploten los costos de atención.
Integración en el Entrenamiento: El modelo se entrena con ejemplos de agregación construidos a partir de despliegues de expertos (SFT) y despliegues propios (RL), asegurando que aprenda a agregar colas candidatas de manera efectiva.

3. Contribuciones Clave

Modelo ZAYA1-8B: Un modelo MoE de 0.7B activos / 8B totales de parámetros que logra un rendimiento de razonamiento competitivo.
RSA Markoviana: Un método TTC novedoso que permite el refinamiento recursivo del razonamiento con contexto acotado, desacoplando la profundidad del razonamiento del tamaño de la ventana de contexto.
Recorte que Preserva la Respuesta: Una técnica de construcción de datos que permite el uso de datos de CoT largos en contextos de preentrenamiento/midentrenamiento más cortos que la longitud de la traza.
Entrenamiento Estable de MoE con RL: Demuestra la necesidad de la Reproducción de Enrutador y configuraciones de precisión específicas (BF16 con operaciones selectas FP32) para estabilizar PipelineRL en modelos MoE.
Validación de la Pila AMD: Valida la pila completa de AMD MI300X y redes Pollara para el preentrenamiento de MoE a gran escala y el entrenamiento con contextos largos.

4. Resultados

Evaluado en el entorno de pruebas Zyphra, ZAYA1-8B demuestra el siguiente rendimiento:

Rendimiento de Despliegue Único: Iguala o supera a DeepSeek-R1-0528 (37B activos / 671B totales) en varios benchmarks, incluyendo AIME'26 (89.1% vs 87.5%) y HMMT'26 (71.6% vs 79.4% - nota: DeepSeek-R1-0528 tiene 79.4% en la Tabla XI, pero 79.4% en el texto vs 71.6% para ZAYA1; sin embargo, el artículo afirma que ZAYA1 iguala o supera a DeepSeek-R1-0528 en varios benchmarks, y la Tabla VIII muestra a ZAYA1 en 89.1 frente a DeepSeek-R1-0528 en 87.5 para AIME'26). Es competitivo con modelos de código abierto más grandes como Nemotron-3-Nano-30B-A3B y Qwen3-Next-80B-A3B-Think.
Rendimiento de Cómputo en Tiempo de Prueba (TTC): Con RSA Markoviana (presupuesto de razonamiento de 40K, cola de 4K), ZAYA1-8B alcanza 91.9% en AIME'25 y 89.6% en HMMT'25. Esto reduce la brecha con modelos propietarios mucho más grandes, incluyendo Gemini-2.5 Pro, DeepSeek-V3.2 y GPT-5-High.
Eficiencia de Escalado: El modelo logra estos resultados con solo 0.7B de parámetros activos, sugiriendo que la cantidad de parámetros activos y los tokens en tiempo de inferencia son ejes de escalado complementarios.

5. Significado y Afirmaciones

El artículo afirma que se puede lograr un razonamiento matemático competitivo con menos de 1B de parámetros activos cuando la arquitectura del modelo, el entrenamiento centrado en el razonamiento, el RL verificable y la agregación en tiempo de prueba están co-diseñados.

Eficiencia: ZAYA1-8B demuestra que los modelos MoE con pocos parámetros activos pueden aprovechar el cómputo en tiempo de prueba para acercarse al rendimiento de modelos a escala de vanguardia, ofreciendo una compensación favorable en el costo de parámetros activos $\times$ tokens generados.
Diseño de Entrenamiento: Los resultados destacan la importancia de entrenar para el flujo de trabajo de inferencia específico (RSA Markoviana) y el papel crítico de los mecanismos de estabilidad como la Reproducción de Enrutador en el RL de MoE.
Hardware: El trabajo sirve como validación de la plataforma de pila completa de AMD para entrenar modelos de razonamiento MoE complejos.
Limitaciones: Los autores señalan que, aunque el modelo destaca en razonamiento y código, queda por detrás de modelos con RL agéntico multi-turno dedicado en benchmarks como BFCL-v4 y $\tau^2$ . Además, aunque es fuerte para su escala en benchmarks de conocimiento (MMLU-Pro, GPQA), no cierra completamente la brecha con modelos mucho más grandes, lo cual es consistente con la intuición de que el razonamiento y el almacenamiento factual escalan de manera diferente.

El artículo concluye que el cómputo en tiempo de prueba es una vía prometedora para modelos más pequeños centrados en el razonamiento, siempre que estén entrenados para utilizar flujos de trabajo de agregación y posean arquitecturas que soporten un procesamiento eficiente de contextos largos.