🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

Le document propose QUADS, une méthode d'alignement de l'erreur de quantification à double face qui stabilise l'apprentissage par renforcement en NVFP4 pour les modèles Mixture-of-Experts en traitant les erreurs d'activation par une quantification consciente de l'entraînement asymétrique et une compensation de l'activation résiduelle, atteignant ainsi une précision de niveau BF16 avec un débit nettement amélioré par rapport au FP8.

Auteurs originaux : Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent à résoudre des énigmes complexes, comme des problèmes mathématiques ou l'écriture de code. Pour devenir vraiment performant, le robot ne se contente pas de mémoriser des réponses ; il s'entraîne en essayant des milliers de solutions différentes, reçoit un retour sur ce qui a fonctionné, puis ajuste son cerveau pour faire mieux la fois suivante. Ce processus est appelé Apprentissage par Renforcement (Reinforcement Learning). Cependant, il y a un piège : la partie du robot qui réfléchit et apprend (l'entraîneur) est souvent séparée de la partie qui génère les réponses (le moteur de déploiement). Pour que l'apprentissage fonctionne, ces deux parties doivent parler exactement la même langue. Si l'entraîneur pense en haute définition (comme un film 4K) mais que le générateur est forcé de parler une version beaucoup plus floue, en basse résolution (comme un jeu 8-bit pixélisé), le robot est confus. Il commence à commettre des erreurs parce que l'« importance » de ses actions est déformée par le flou. Ce décalage est un problème majeur car il ralentit tout le processus d'apprentissage, faisant en sorte que le robot mette une éternité à devenir intelligent.

Maintenant, imaginez que nous voulions faire réfléchir le robot plus vite. Nous pourrions réduire encore plus son cerveau, en utilisant un format à très basse résolution appelé « NVFP4 ». C'est comme essayer de faire rouler une voiture de course ultra-rapide sur une piste de terre faite de minuscules cailloux grossiers. Cela promet d'être incroyablement rapide — bien plus rapide que la norme actuelle — mais les cailloux sont si rugueux que les roues de la voiture (la logique du robot) commencent à glisser et à patiner. Le robot essaie d'apprendre, mais la piste rugueuse le fait s'écraser après seulement quelques tours. La grande question est : pouvons-nous faire fonctionner cette piste ultra-rapide et rugueuse sans que le robot ne s'écrase ?

C'est exactement ce que les chercheurs de ce papier ont cherché à résoudre. Ils ont découvert que le simple fait de placer le robot sur cette piste rapide et rugueuse le fait échouer spectaculairement après environ 150 étapes d'entraînement. Les scores de confiance du robot (les log-probabilités) s'écartent si violemment qu'il cesse totalement d'apprendre. Grâce à des expériences minutieuses, ils ont compris pourquoi cela arrive. Il s'avère que le problème ne vient pas des poids (la connaissance stockée du robot), qui peuvent être synchronisés facilement. Le véritable coupable, ce sont les activations — les calculs frais, réalisés à la volée, que le robot effectue pendant qu'il réfléchit. Parce que la piste rugueuse (NVFP4) est si grossière, ces calculs frais sont déformés d'une manière que l'entraîneur ne peut pas corriger simplement en regardant les poids.

Pour corriger cela, l'équipe a inventé une stratégie astucieuse en deux parties qu'ils appellent QUADS (Alignement de l'erreur de quantification à travers les deux côtés - QUantization-error Alignment across Dual Sides). Voyez cela comme une danse entre l'entraîneur et le générateur. Du côté de l'entraîneur, ils utilisent une technique spéciale appelée « Entraînement Sensible à la Quantification Asymétrique ». Au lieu d'essayer de forcer l'entraîneur à parler la langue rugueuse du générateur, ils gardent la « pensée » (les activations) de l'entraîneur en haute définition, mais forcent sa « mémoire » (les poids) à correspondre au format rugueux du générateur. De cette façon, l'entraîneur sait exactement ce que le générateur voit lorsqu'il regarde les poids, évitant ainsi la confusion.

Mais cela ne suffisait pas à lui seul. Le générateur trébuchait toujours sur les cailloux rugueux lorsqu'il tentait de calculer de nouvelles pensées. Alors, du côté du générateur, ils ont ajouté une « Compensation d'Activation Résiduelle ». Imaginez le générateur marchant sur la piste rugueuse, et il réalise : « Hé, mon pied glisse sur ce caillou spécifique ! » Au lieu d'arrêter toute la course pour réparer la piste, il prend un petit pas rapide pour corriger juste ce glissement avant de continuer. Ils ont identifié les parties spécifiques du calcul qui étaient les plus susceptibles de glisser (les « canaux à haut résidu ») et leur ont donné une petite impulsion supplémentaire pour rester sur la bonne voie, tout en gardant le reste de la course ultra-rapide.

Les résultats sont impressionnants. En utilisant cette danse des deux côtés, le robot n'a pas seulement survécu sur la piste rugueuse ; il a performé presque aussi bien que s'il courait sur une piste lisse et en haute définition. Dans leurs tests, la nouvelle méthode a amélioré le taux de réussite du robot d'environ 21,5 points par rapport à une tentative d'utilisation de la piste rugueuse sans aucune aide. Mieux encore, elle a conservé l'avantage de vitesse, étant environ 16 % plus rapide que la méthode standard précédente. Le papier démontre que si la piste rugueuse est dangereuse en soi, avec le bon alignement et une petite correction supplémentaire pour les zones glissantes, nous pouvons enfin faire fonctionner de manière fiable ces modèles d'IA ultra-rapides et à faible précision.

Résumé Technique : QUADS - Stabilisation de l'apprentissage par renforcement NVFP4 pour MoE via l'alignement de l'erreur de quantification

1. Énoncé du Problème

L'apprentissage par renforcement (RL) pour les modèles de langage (LLM) de type Mixture-of-Experts (MoE) fait face à un goulot d'étranglement critique : la génération de rollouts consomme souvent plus de 70 % du temps de calcul de bout en bout. Pour accélérer cela, les chercheurs ont exploré l'inférence à faible précision, le FP8 servant de base stable qui équilibre débit et décalage entraînement-inférence. Cependant, l'architecture Blackwell de NVIDIA introduit le NVFP4, un format natif W4A4 (poids 4-bits, activations 4-bits) offrant un débit GEMM jusqu'à ~4× supérieur au BF16 et ~2× supérieur au FP8.

L'article identifie que l'application directe du W4A4 NVFP4 pour le rollout MoE avec un entraînement en BF16 provoque une instabilité immédiate. Dans les expériences, le RL NVFP4 naïf s'effondre après environ 150 étapes d'entraînement, caractérisé par un écart croissant entre les log-probabilités du rollout et de l'entraîneur, entraînant des rapports d'importance corrompus et un effondrement des récompenses. Le défi central est que la grille E2M1 grossière du FP4 (seulement 8 niveaux positifs représentables par signe) amplifie le biais numérique plus sévèrement que le FP8, rendant les corrections classiques par échantillonnage d'importance insuffisantes.

2. Méthodologie : QUADS

Les auteurs proposent QUantization-error Alignment across Dual Sides (QUADS), un cadre conçu pour stabiliser le RL NVFP4 en traitant les sources spécifiques de décalage entre l'entraînement et l'inférence. La méthodologie repose sur une analyse détaillée de l'erreur décomposant l'écart de log-probabilité ( $\delta_t$ ) en erreur de poids ( $\delta^{weight}_t$ ), erreur d'activation ( $\delta^{act}_t$ ) et différences de chemin numérique ( $\delta^{num}_t$ ).

2.1 Analyse et Diagnostic de l'Erreur

À travers des ablations contrôlées, les auteurs déterminent que la quantification de l'activation est la source dominante d'instabilité, et non la quantification des poids.

Poids : Peuvent être synchronisés entre les moteurs d'inférence et d'entraînement. Comme les poids sont répliqués, l'application du même chemin de quantification-déquantification (QDQ) côté entraîneur élimine efficacement le décalage induit par les poids.
Activations : Sont recalculées en ligne pendant l'inférence. La grille grossière E2M1 introduit une erreur de quantification significative ( $\Delta X_q$ ) qui est exacerbée par la dérive intrinsèque du moteur ( $\eta$ ) entre les noyaux d'inférence et d'entraînement. Une QAT (Quantization-Aware Training) symétrique W4A4, qui fake-quantifie à la fois les poids et les activations sur l'entraîneur, échoue car elle amplifie la dérive plutôt que de la réduire.

2.2 Stratégie d'Alignement Dual

QUADS traite cette asymétrie via deux composantes complémentaires :

A. QAT Asymétrique (Côté Entraîneur)
Au lieu d'une QAT W4A4 symétrique, les auteurs proposent une QAT Asymétrique W4A16 :

Poids : Fake-quantifiés en NVFP4 (W4) sur le côté entraîneur pour aligner le chemin de quantification avec le moteur de rollout.
Activations : Maintenues en BF16 (A16) sur le côté entraîneur.
Raisonnement : Cela empêche l'entraîneur d'introduire une erreur de quantification d'activation supplémentaire qui ne peut pas être alignée avec les activations d'inférence en ligne. L'optimiseur met à jour les poids maîtres en BF16, mais chaque passage avant voit les poids discrétisés utilisés par le rollout, éliminant ainsi $\delta^{weight}_t$ sans amplifier $\delta^{act}_t$ .

B. Compensation de l'Activation Résiduelle (Côté Rollout)
Pour traiter l'erreur d'activation restante ( $\delta^{act}_t$ ) qui ne peut être corrigée par l'entraîneur, le moteur de rollout utilise une correction ciblée :

Mécanisme : Le système identifie les canaux à "haut résidu" où l'erreur de quantification FP4 est la plus grande. Il applique une seconde passe de quantification à ces canaux spécifiques, calculant un terme de correction résiduel ( $\Delta X_q$ ) et l'ajoutant à la sortie quantifiée.
Implémentation : Un masque de canal binaire sélectionne les $k\%$ de canaux supérieurs (ex: 50%) basés sur l'amplitude du résidu. Cette correction est implémentée via des noyaux Triton fusionnés pour minimiser l'overhead, préservant le débit GEMM W4A4 natif pour la majorité du calcul.
Objectif : Cela réduit la distance entre la sortie du rollout et la référence BF16, comblant l'écart de log-probabilité sans revenir à une inférence complète en BF16.

3. Contributions Clés

Diagnostic de l'échec du RL NVFP4 : L'article démontre empiriquement que la quantification de l'activation, plutôt que celle des poids, est le principal moteur de la divergence de log-probabilité et de l'effondrement des récompenses dans le RL NVFP4 naïf.
Schéma de QAT Asymétrique : Introduction d'une stratégie côté entraînement qui fake-quantifie les poids en FP4 tout en maintenant les activations en BF16, alignant efficacement le chemin de quantification sans exacerber la dérive d'activation.
Compensation de l'Activation Résiduelle : Une technique côté rollout qui cible les canaux d'activation à haute erreur avec une correction de seconde passe, préservant le débit W4A4 natif tout en atténuant le décalage induit par l'activation.
Validation Empirique : Démonstration que le pipeline QUADS permet un entraînement stable de MoE à paramètres complets avec GRPO sur du matériel NVFP4, atteignant une précision de niveau BF16.

4. Résultats Expérimentaux

Les expériences ont été menées sur un modèle MoE de 25 milliards de paramètres (2,8 milliards d'experts actifs) utilisant des GPU Blackwell, entraîné avec GRPO sur des tâches de raisonnement mathématique et de génération de code.

Précision : Le pipeline QUADS a atteint un pass@1 moyen de 72,86 % sur quatre benchmarks de test (AIME 2024/25, HMMT 2025, LiveCodeBench). Cela correspond aux 73,15 % obtenus par la référence complète en BF16 et surpasse significativement le RL NVFP4 naïf (51,37 %) et le RL FP8 (72,88 %).
Stabilité : Alors que le RL NVFP4 naïf s'est effondré après ~150 étapes, QUADS a maintenu des courbes d'entraînement stables comparables au BF16. L'écart maximal de log-probabilité par étape a été réduit de ~1,3 (naïf) à ~0,86 (QUADS), se rapprochant du plancher de dérive de moteur irréductible de ~0,74 observé en BF16.
Débit : QUADS a délivré un débit de rollout environ 16 % plus élevé que le FP8. Bien que la compensation résiduelle ajoute un overhead de ~5 à 9 % par rapport au W4A4 pur, l'accélération nette par rapport au FP8 reste substantielle.
Études d'Ablation :
- Le retrait de la compensation résiduelle (uniquement QAT W4A16) a stabilisé l'entraînement mais a laissé un écart de précision notable par rapport au BF16.
- La QAT symétrique W4A4 (quantifiant à la fois les poids et les activations sur l'entraîneur) a entraîné des décalages plus importants que l'approche asymétrique, confirmant la nécessité de maintenir les activations de l'entraîneur en BF16.

5. Signification et Revendications

L'article affirme que QUADS est la première méthode permettant un entraînement RL MoE à paramètres complets stable utilisant les GEMM NVFP4 W4A4 natifs sur le matériel Blackwell.

La signification réside dans la résolution du problème d'« alignement de l'erreur de quantification » spécifique à la granularité extrême de la grille E2M1 du FP4. En reconnaissant que les poids et les activations nécessitent des stratégies d'alignement fondamentalement différentes (synchronisation vs compensation en ligne), les auteurs démontrent qu'il est possible de tirer parti des gains massifs de débit du FP4 sans sacrifier la stabilité numérique requise pour l'optimisation de politique (policy-gradient). Ce travail établit qu'avec un alignement dual correct, le NVFP4 peut servir d'alternative viable et à haut débit au FP8 pour les charges de travail RL, offrant un avantage de débit d'environ 16 % tout en maintenant les performances du modèle de niveau BF16.