🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

El artículo propone QUADS, un método de alineación de error de cuantificación de doble lado que estabiliza el aprendizaje por refuerzo con NVFP4 para modelos de Mezcla de Expertos al abordar los errores de activación mediante el entrenamiento consciente de la cuantificación asimétrica y la compensación de activación residual, logrando así una precisión de nivel BF16 con un rendimiento significativamente mejorado en comparación con FP8.

Autores originales: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Publicado 2026-07-20

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot superinteligente a resolver acertijos complejos, como problemas matemáticos o escribir código. Para volverse realmente bueno en esto, el robot no solo memoriza respuestas; practica probando miles de soluciones diferentes, recibiendo retroalimentación sobre lo que funcionó y luego ajustando su cerebro para hacerlo mejor la próxima vez. Este proceso se llama Aprendizaje por Refuerzo. Sin embargo, hay un inconveniente: la parte del robot que piensa y aprende (el entrenador) suele estar separada de la parte que genera las respuestas (el motor de despliegue o rollout engine). Para que el aprendizaje funcione, estas dos partes deben hablar exactamente el mismo lenguaje. Si el entrenador piensa en alta definición (como una película en 4K), pero el generador se ve obligado a hablar en una versión de baja resolución y borrosa (como un juego pixelado de 8 bits), el robot se confunde. Comienza a cometer errores porque la "importancia" de sus acciones se distorsiona debido al desenfoque. Este desajuste es un gran problema porque ralentiza todo el proceso de aprendizaje, haciendo que el robot tarde una eternidad en volverse inteligente.

Imagina que queremos hacer que el robot piense más rápido. Podríamos encoger su cerebro aún más, usando un formato de resolución superbaja llamado "NVFP4". Esto es como intentar correr una carrera de alta velocidad en una pista de tierra hecha de guijarros diminutos y toscos. Promete ser increíblemente rápido —mucho más rápido que el estándar actual— pero los guijarros son tan rugosos que las ruedas del coche (la lógica del robot) empiezan a resbalar y a perder el control. El robot intenta aprender, pero la pista rugosa hace que choque tras solo unas pocas vueltas. La gran pregunta es: ¿Podemos hacer que esta pista superrápida y rugosa funcione sin que el robot choque?

Este es exactamente el problema que los investigadores de este artículo se propusieron resolver. Descubrieron que el simple hecho de poner al robot en esta pista rápida y rugosa hace que falle estrepitosamente en unos 150 pasos de entrenamiento. Las puntuaciones de confianza del robot (log-probabilidades) se separan de forma tan salvaje que el aprendizaje se detiene por completo. A través de experimentos cuidadosos, descubrieron por qué sucede esto. Resulta que el problema no son los pesos (el conocimiento almacenado del robot), que pueden sincronizarse fácilmente. El verdadero culpable son las activaciones —los cálculos frescos y realizados sobre la marcha que el robot hace mientras piensa—. Debido a que la pista rugosa (NVFP4) es tan tosca, estos cálculos frescos se distorsionan de una manera que el entrenador no puede arreglar simplemente mirando los pesos.

Para solucionar esto, el equipo inventó una estrategia ingeniosa de dos partes llamada QUADS (QUantization-error Alignment across Dual Sides o Alineación de error de cuantización a través de dos lados). Piensa en esto como un baile entre el entrenador y el generador. En el lado del entrenador, utilizan una técnica especial llamada "Entrenamiento Consciente de la Cuantificación Asimétrica". En lugar de intentar forzar al entrenador a hablar el lenguaje tosco del generador, mantienen su "pensamiento" (activaciones) en alta definición, pero obligan a su "memoria" (pesos) a coincidir con el formato tosco del generador. De esta manera, el entrenador sabe exactamente lo que el generador está viendo cuando mira los pesos, evitando la confusión.

Pero eso no fue suficiente por sí solo. El generador seguía tropezando con los guijarros rugosos cuando intentaba realizar nuevos pensamientos. Así que, en el lado del generador, añadieron una "Compensación de Activación Residual". Imagina que el generador está caminando por la pista rugosa y se da cuenta de: "¡Oye, mi pie está resbalando en este guijarro específico!". En lugar de detener toda la carrera para arreglar la pista, da un paso pequeño y rápido para corregir solo ese desliz específico antes de continuar. Identificaron las partes específicas del cálculo que tenían más probabilidades de resbalar (los "canales de alto residuo") y les dieron un pequeño impulso extra para mantenerse en el camino, todo ello mientras mantenían el resto de la carrera superrápida.

Los resultados son impresionantes. Al usar este baile de dos lados, el robot no solo sobrevivió en la pista rugosa; se desempeñó casi tan bien como si estuviera corriendo en una pista suave y de alta definición. En sus pruebas, el nuevo método mejoró la tasa de éxito del robot en aproximadamente 21.5 puntos en comparación con el intento de usar la pista rugosa sin ayuda. Mejor aún, mantuvo la ventaja de velocidad, corriendo aproximadamente un 16% más rápido que el método estándar anterior. El artículo demuestra que, si bien la pista rugosa es peligrosa por sí sola, con la alineación adecuada y una pequeña corrección adicional para los puntos resbaladizos, finalmente podemos hacer que estos modelos de IA de baja precisión y superrápidos funcionen de manera confiable.

Resumen Técnico: QUADS - Estabilización del Aprendizaje por Refuerzo con NVFP4 para MoE mediante la Alineación del Error de Cuantización

1. Declaración del Problema

El Aprendizaje por Refuerzo (RL) para Modelos de Lenguaje Grandes (LLMs) de Mezcla de Expertos (MoE) enfrenta un cuello de botella crítico: la generación de rollouts suele consumir más del 70% del tiempo de ejecución (wall-clock time) de extremo a extremo. Para acelerar esto, los investigadores han explorado la inferencia de baja precisión, donde FP8 sirve como una línea base estable que equilibra el rendimiento (throughput) y el desajuste entre entrenamiento e inferencia. Sin embargo, la arquitectura Blackwell de NVIDIA introduce NVFP4, un formato nativo W4A4 (pesos de 4 bits, activaciones de 4 bits) que ofrece hasta ~4× el rendimiento de GEMM de BF16 y ~2× el de FP8.

El artículo identifica que aplicar directamente el rollout NVFP4 W4A4 al RL de MoE con entrenamiento en BF16 causa una inestabilidad inmediata. En experimentos, el RL con NVFP4 ingenuo colapsa después de aproximadamente 150 pasos de entrenamiento, caracterizado por una brecha rápidamente creciente entre las log-probabilidades del rollout y del entrenador, lo que conduce a razones de importancia corruptas y al colapso de la recompensa. El desafío central es que la cuadrícula E2M1 de FP4 (solo 8 niveles positivos representables por signo) amplifica el sesgo numérico de forma más severa que FP8, haciendo que las correcciones estándar de muestreo de importancia sean insuficientes.

2. Metodología: QUADS

Los autores proponen QUantization-error Alignment across Dual Sides (QUADS), un marco diseñado para estabilizar el RL con NVFP4 abordando las fuentes específicas de desajuste entre entrenamiento e inferencia. La metodología se fundamenta en un análisis detallado del error que descompone la brecha de log-probabilidad ( $\delta_t$ ) en error de peso ( $\delta^{weight}_t$ ), error de activación ( $\delta^{act}_t$ ) y diferencias de ruta numérica ( $\delta^{num}_t$ ).

2.1 Análisis de Error y Diagnóstico

A través de ablaciones controladas, los autores determinan que la cuantización de la activación es la fuente dominante de inestabilidad, no la cuantización de los pesos.

Pesos: Pueden sincronizarse entre los motores de inferencia y de entrenamiento. Dado que los pesos se replican, aplicar la misma ruta de cuantización-decuantización (QDQ) en el lado del entrenador elimina efectivamente el desajuste inducido por los pesos.
Activaciones: Se recalculan en línea durante la inferencia. La cuadrícula de FP4 E2M1 introduce un error de cuantización significativo ( $\Delta X_q$ ) que se ve exacerbado por la deriva inherente del motor ( $\eta$ ) entre los kernels de inferencia y de entrenamiento. El Entrenamiento con Conciencia de Cuantización (QAT) simétrico W4A4, que realiza la cuantización falsa tanto de pesos como de activaciones en el entrenador, falla porque amplifica la deriva en lugar de reducirla.

2.2 Estrategia de Alineación de Doble Lado

QUADS aborda esta asimetría mediante dos componentes complementarios:

A. Entrenamiento con Conciencia de Cuantización Asimétrica (Lado del Entrenador)
En lugar de un QAT W4A4 simétrico, los autores proponen un QAT Asimétrico W4A16:

Pesos: Cuantizados falsamente a NVFP4 (W4) en el lado del entrenador para alinear la ruta de cuantización con el motor de rollout.
Activaciones: Mantenidas en BF16 (A16) en el lado del entrenador.
Racional: Esto evita que el entrenador introduzca un error de cuantización de activación adicional que no puede alinearse con las activaciones de inferencia en línea. El optimizador actualiza los pesos maestros en BF16, pero cada paso hacia adelante (forward pass) ve los pesos discretizados utilizados por el rollout, eliminando $\delta^{weight}_t$ sin amplificar $\delta^{act}_t$ .

B. Compensación de Activación Residual (Lado del Rollout)
Para abordar el error de activación restante ( $\delta^{act}_t$ ) que no puede corregirse en el entrenador, el motor de rollout emplea una corrección dirigida:

Mecanismo: El sistema identifica canales de "alto residuo" donde el error de cuantización de FP4 es mayor. Aplica una segunda pasada de cuantización a estos canales específicos, calculando un término de corrección residual ( $\Delta X_q$ ) y sumándolo a la salida cuantizada.
Implementación: Una máscara de canal binaria selecciona el $k\%$ superior de los canales (por ejemplo, el 50%) basado en la magnitud del residuo. Esta corrección se implementa mediante kernels de Triton fusionados para minimizar la sobrecarga, preservando el rendimiento nativo de GEMM W4A4 para la mayor parte de la computación.
Objetivo: Esto reduce la distancia entre la salida del rollout y la referencia BF16, cerrando la brecha de log-probabilidad sin revertir a una inferencia completa en BF16.

3. Contribuciones Clave

Diagnóstico del Fallo de NVFP4 en RL: El artículo demuestra empíricamente que la cuantización de la activación, más que la cuantización de los pesos, es el principal motor de la divergencia de log-probabilidad y el colapso de la recompensa en el RL ingenuo con NVFP4 W4A4.
Esquema de QAT Asimétrico: Introducción de una estrategia en el lado del entrenamiento que cuantiza falsamente los pesos a FP4 mientras mantiene las activaciones en BF16, alineando efectivamente la ruta de los pesos sin exacerbar la deriva de las activaciones.
Compensación de Activación Residual: Una técnica en el lado del rollout que apunta a los canales de activación de alto error con una corrección de segunda pasada, preservando el rendimiento nativo de W4A4 mientras mitiga el desajuste inducido por la activación.
Validación Empírica: Demostración de que el flujo de trabajo QUADS permite un entrenamiento estable de MoE de parámetros completos con GRPO en hardware NVFP4, alcanzando una precisión de nivel BF16.

4. Resultados Experimentales

Los experimentos se realizaron con un modelo MoE de 25 mil millones de parámetros (2.8B de expertos activos) utilizando GPUs Blackwell, entrenado con GRPO en tareas de razonamiento matemático y generación de código.

Precisión: El flujo de trabajo QUADS logró un pass@1 promedio de 72.86% en cuatro entornos de prueba (benchmarks) retenidos (AIME 2024/25, HMT 2025, LiveCodeBench). Esto iguala el 73.15% logrado por la línea base completa de BF16 y supera significativamente al RL ingenuo con NVFP4 (51.37%) y al RL con FP8 (72.88%).
Estabilidad: Mientras que el RL ingenuo con NVFP4 colapsó después de ~150 pasos, QUADS mantuvo curvas de entrenamiento estables comparables a BF16. La brecha máxima de log-probabilidad por paso se redujo de ~1.3 (ingenuo) a ~0.86 (QUADS), acercándose al suelo de deriva de motor irreducible de ~0.74 observado en BF16.
Rendimiento (Throughput): QUADS entregó aproximadamente un 16% más de rendimiento de rollout en comparación con FP8. Aunque la compensación residual añadió una sobrecarga de ~5–9% respecto al plain W4A4, la aceleración neta sobre FP8 siguió siendo sustancial.
Estudios de Ablación:
- Eliminar la compensación residual (solo W4A16 QAT) estabilizó el entrenamiento pero dejó una brecha de precisión notable respecto a BF16.
- El QAT W4A4 simétrico (cuantizando tanto pesos como activaciones en el entrenador) resultó en desajustes mayores que el enfoque asimétrico, confirmando la necesidad de mantener las activaciones del entrenador en BF16.

5. Significado y Reivindicaciones

El artículo afirma que QUADS es el primer método que permite un entrenamiento de RL de MoE de parámetros completos estable utilizando GEMMs nativos W4A4 FP4 en hardware Blackwell.

La importancia radica en resolver el problema de la "alineación del error de cuantización" específico de la extrema finura de la cuadrícula E2M1 de FP4. Al reconocer que los pesos y las activaciones requieren estrategias de alineación fundamentalmente diferentes (sincronización vs. compensación en línea), los autores demuestran que es posible aprovechar las enormes ganancias de rendimiento de FP4 sin sacrificar la estabilidad numérica requerida para la optimización de gradiente de política. El trabajo establece que, con la correcta alineación de doble lado, NVFP4 puede servir como una alternativa viable y de alto rendimiento a FP8 para cargas de trabajo de RL, ofreciendo una ventaja de rendimiento de ~16% mientras mantiene el rendimiento del modelo a nivel de BF16.