🤖 machine learning

Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention

Cet article introduit Full-Stack FP4, un cadre modulaire qui étend la quantification NVFP4 au-delà des projections linéaires pour inclure des états d'optimiseur stables, des calculs Root/Muon et une attention en précision mixte, atteignant une performance de préentraînement proche de BF16 avec des gains significatifs de mémoire et de vitesse sur une seule RTX 5090.

Auteurs originaux : Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Siyu Ding, Mingchuan Ma, Jiabo Tong, Xingrun Xing, Ziming Wang, Guoqi Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un cerveau géant et numérique à parler, écrire et penser. Ce « cerveau », c'est un grand modèle de langage (LLM), et pour apprendre, il doit traiter des montagnes d'informations. Mais il y a un piège : plus il apprend, plus il est gourmand en mémoire informatique et en électricité. C'est comme essayer de lire un film massif en haute définition sur un petit vieil ordinateur portable ; l'écran devient flou et le ventilateur hurle. Pour résoudre ce problème, les scientifiques tentent de réduire la taille des nombres que l'ordinateur utilise pour faire ses calculs. Au lieu d'utiliser des nombres super précis et lourds (comme une photographie détaillée), ils sont passés à des nombres plus petits et plus légers (comme un croquis pixélisé). C'est ce qu'on appelle l'« entraînement à faible précision ». Récemment, un nouveau type de nombre minuscule appelé « FP4 » (nombre à virgule flottante en 4 bits) est arrivé, promettant de rendre ces cerveaux géants beaucoup plus petits et rapides. Mais voici le problème : si les parties principales du cerveau peuvent gérer ces nombres minuscules, les parties « auxiliaires » — comme la mémoire qu'il garde pour apprendre et les calculs complexes qu'il effectue pour comprendre les phrases — continuent de planter ou de s'embrouiller lorsqu'elles sont forcées d'utiliser des nombres aussi petits. C'est comme avoir un moteur de voiture de course, mais essayer de le faire fonctionner avec une chaîne de vélo ; le moteur est prêt, mais le reste de la machine ne peut pas suivre.

Ce document présente un nouvel outil ingénieux appelé Full-Stack FP4, qui agit comme un mécanicien expert pour ces cerveaux numériques. Les chercheurs ont réalisé que l'on ne peut pas simplement utiliser les mêmes règles de nombres minuscules pour chaque partie du cerveau. Certaines parties, comme les connexions principales, peuvent gérer les nombres minuscules sans problème. Mais d'autres parties, comme la « mémoire » que l'ordinateur utilise pour se souvenir de ce qu'il a appris hier, sont très sensibles et nécessitent un soin particulier. L'équipe a créé un système modulaire où l'on utilise différentes « recettes » pour différentes parties du cerveau. Pour les connexions principales, ils utilisent une astuce appelée LoRA-SVD, qui consiste à conserver un croquis de haute résolution des détails les plus importants tout en utilisant des blocs pixélisés pour le reste. Pour la mémoire, ils ont inventé une façon de « lisser » les nombres avant de les compresser dans de minuscules boîtes afin qu'ils ne se perdent pas. Pour les calculs qui aident le cerveau à se concentrer sur les bons mots (l'attention), ils ont décidé de garder les parties les plus sensibles en haute définition tout en laissant le reste rester pixélisé.

Lorsqu'ils ont testé ce système complet sur un modèle de 3 milliards de paramètres (un cerveau numérique de taille moyenne) en utilisant 64 milliards de mots de données d'entraînement, les résultats ont été impressionnants. Le cerveau « Full-Stack FP4 » a appris presque aussi bien que la version traditionnelle et robuste. La différence entre leurs scores d'apprentissage est infime : 0,838 %, ce qui est à peine perceptible. En fait, lorsqu'ils ont testé la capacité du cerveau à répondre à des questions qu'il n'avait jamais vues auparavant, la nouvelle version à nombres minuscules était en fait légèrement meilleure pour deviner les bons mots, même en utilisant beaucoup moins de mémoire. Sur une seule carte graphique puissante (une RTX 5090), cette nouvelle méthode a rendu le processus d'apprentissage de ce cerveau 2,5 à 2,8 fois plus rapide pour certaines tâches et a utilisé 38 % à 42 % de mémoire en moins que la méthode standard de haute précision.

Les chercheurs précisent avec prudence que, bien que cela fonctionne très bien pour des modèles allant jusqu'à 3 milliards de paramètres, ils n'ont pas encore prouvé que cela fonctionnerait pour des cerveaux encore plus grands ou sur des périodes d'entraînement beaucoup plus longues. Ils ont également découvert que l'on ne peut pas simplement jeter des nombres minuscules sur tout ; si l'on tente de forcer les parties les plus sensibles du cerveau à utiliser les plus petits nombres sans ces recettes spéciales, l'apprentissage s'effondre. Mais pour l'instant, cette approche « Full-Stack » montre que nous pouvons construire une IA plus intelligente, plus rapide et moins coûteuse en traitant chaque partie du cerveau avec le niveau de précision spécifique dont elle a réellement besoin, plutôt que de forcer l'ensemble du système à adopter une taille unique.

Résumé Technique : Full-Stack FP4 : Préentraînement de LLM avec des projections, des optimiseurs et une attention quantifiés en FP4

1. Énoncé du problème

Les avancées récentes des GPU NVIDIA Blackwell ont fait du support natif des Tensor Cores NVFP4 (4 bits) une cible pratique pour le préentraînement de modèles de langage à grande échelle (LLM). Bien que la recherche actuelle ait démontré avec succès la stabilité du préentraînement en 4 bits pour les projections linéaires des Transformers, des lacunes importantes subsistent dans d'autres modules critiques de l'entraînement. La plupart des recettes NVFP4 actuelles conservent une précision plus élevée (par exemple, BF16 ou FP8) pour les états de l'optimiseur, les calculs de l'optimiseur et les mécanismes d'attention.

Le défi principal est que ces modules possèdent des structures numériques distinctes qu'une règle de quantification uniforme ne peut traiter :

Projections Linéaires : Les signaux de gradient s'affaiblissent au fil de l'entraînement tandis que le bruit de quantification reste constant, réduisant l'efficacité de la poursuite de l'entraînement en basse précision.
États AdamW : Le moment du second ordre est non négatif, à queue lourde, persistant et sensible aux valeurs du dénominateur, ce qui rend le stockage direct en 4 bits sujet à la distorsion.
Optimiseurs Root/Muon : Ceux-ci reposent sur des produits de matrices de Newton–Schulz répétés où les erreurs d'itération en basse précision peuvent s'accumuler et déstabiliser la convergence.
Attention : L'opérateur contient des chemins sensibles au softmax (par exemple, $PV$, $dOV^\top$ ) qui nécessitent une haute précision, tandis que d'autres chemins (par exemple, $QK^\top$ ) sont plus robustes à la quantification.

Par conséquent, il manque un cadre unifié et modulaire permettant un préentraînement NVFP4 stable sur l'ensemble de la pile d'entraînement (projections, optimiseurs et attention) sans dépendre de replis en précision mixte pour les composants critiques.

2. Méthodologie : Full-Stack FP4

Les auteurs présentent Full-Stack FP4, un cadre modulaire composé de quatre recettes indépendantes et composables conçues pour répondre aux difficultés numériques spécifiques de chaque module d'entraînement.

2.1 Projections Linéaires LoRA-SVD

Pour atténuer la dégradation des signaux de gradient lors des phases ultérieures de l'entraînement, les auteurs proposent LoRA-SVD.

Mécanisme : Cette méthode paramètre les poids sous la forme $W = W_{res} + \beta L_2 L_1$ . Elle maintient un sous-espace principal compact ( $L_2 L_1$ ) en BF16 tout en calculant le résiduel dominant ( $W_{res}$ ) en NVFP4.
Passage Arrière (Backward Pass) : Un passage arrière contraint par le sous-espace utilise une contrainte Cholesky-QR pour garantir que la mise à jour de la branche de bas rang en BF16 s'aligne avec le sous-espace principal, tandis que le résiduel met à jour la composante NVFP4.
Réalignement : Le sous-espace est périodiquement réaligné (tous les 2 048 pas) via une SVD aléatoire pour réinitialiser les composantes, garantissant que le sous-espace BF16 reste optimal.

2.2 AdamW à État Quantifié (Q-AdamW)

Pour stabiliser le stockage des états de momentum persistants et à queue lourde en NVFP4 :

Premier Moment ( $m_t$ ) : Applique un mélange de Hadamard pour lisser la distribution avant l'arrondi stochastique (SR) et une quantification adaptative 4/6.
Second Moment ( $v_t$ ) : Utilise un pipeline de prétraitement en trois étapes avant le stockage NVFP4 :
1. Racine Carrée : Raccourcit la queue lourde.
2. Moyenne par Tuile (Tile Mean) : Sépare la composante commune positive (stockée en BF16) d'un résiduel approximativement de moyenne nulle.
3. Transformée de Hadamard : Répartit l'énergie localisée dans le résiduel pour le rendre plus symétrique.
Reconstruction : L'état est reconstruit en inversant la transformée et la séparation de la moyenne, puis en élevant le résultat au carré. Ce pipeline évite le recours à des opérations de sous-espace basées sur la SVD.

2.3 Optimiseur Root NVFP4 (Q-Root)

Pour les itérations de Newton–Schulz (NS) utilisées dans l'optimiseur Root :

Exécution Directe en NVFP4 : Au lieu d'un parcours en précision mixte, les produits matriciels NS sont exécutés directement en NVFP4.
Stabilisation : La stabilité est obtenue grâce à des coefficients dépendants de la forme (coefficients $a, b, c$ optimisés pour des ratios d'aspect de matrice spécifiques) et un écrêtage p99 (outlier clipping). Cette approche limite l'amplification de l'erreur à travers les étapes successives de NS sans nécessiter de chemins auxiliaires en précision mixte.

2.4 Attention en Précision Mixte (Q-Attn)

Pour équilibrer précision et efficacité dans l'attention :

Division de la Précision : Le cadre assigne le NVFP4 aux chemins robustes ( $QK^\top$ et $dS$) et conserve le BF16 pour les chemins sensibles au softmax ($PV$, $P^\top dO$ , et $dOV^\top$ ).
Cohérence : Les vues quantifiées de $Q, K, V$ sont réutilisées entre les passages avant et arrière pour assurer la cohérence des tenseurs et éviter les flux de données redondants en mémoire.

3. Contributions Clés

Projections LoRA-SVD : Une reparamétrisation fusionnable qui réduit l'écart de perte des projections linéaires de 1,40 % à 0,61 % par rapport au NVFP4 standard, protégeant un sous-espace compact en BF16.
AdamW à État Quantifié : La première démonstration d'un stockage stable des états de momentum AdamW en NVFP4 dans un cycle de préentraînement intégré, utilisant un pipeline de transformation d'état qui réduit l'erreur de reconstruction du second moment d'environ 60 %.
Root NVFP4 : Un chemin direct de Newton–Schulz en basse précision rendu possible par des coefficients sensibles à la forme et l'écrêtage, réduisant l'erreur d'itération d'environ 10 % à 3 %.
Attention en Précision Mixte Entraînable : Une stratégie qui protège les chemins sensibles au softmax en BF16 tout en quantifiant les chemins avant et arrière appropriés, permettant un opérateur d'attention cohérent en NVFP4.

4. Résultats Expérimentaux

Les auteurs ont évalué le cadre sur un Transformer de 3 milliards de paramètres (3B) entraîné sur 64 milliards de tokens.

Perte d'Entraînement (Loss) : La référence BF16 a atteint une perte de 2,267, tandis que Full-Stack FP4 a atteint 2,286, soit un écart relatif de 0,838 %.
Performance Aval (Downstream) : L'évaluation zero-shot a montré que Full-Stack FP4 avait une perplexité moyenne de 26,665 (contre 26,675 pour BF16) et une précision moyenne seulement 0,10 point de pourcentage inférieure à la référence BF16.
Études d'Ablation :
- LoRA-SVD seul a réduit l'écart de perte des projections linéaires de 1,40 % à 0,61 %.
- Les recettes modulaires peuvent être activées indépendamment ou combinées, "Full-Stack" représentant la couverture agrégée.
Efficacité Matérielle Native (RTX 5090) :
- Accélération Root : Full-Stack FP4 a obtenu des accélérations de 2,50× à 2,83× par rapport au BF16 optimisé et de 1,83× à 2,17× par rapport à NVIDIA Transformer Engine (TE) pour l'étape de l'optimiseur Root.
- Économies de Mémoire : Le cadre a réduit la mémoire de pointe d'AdamW de 37,9 % à 42,5 % par rapport au BF16.
- Économies de Temps : Les économies de temps pour une perte équivalente ont été estimées entre 56,9 % et 61,9 % en tenant compte de la réduction du temps par étape et de la légère augmentation des tokens nécessaires pour égaler la perte de BF16.

5. Signification et Limites

Signification :
L'article démontre qu'une approche "Full-Stack" du préentraînement NVFP4 est réalisable, couvrant les projections, les états de l'optimiseur, le calcul de l'optimiseur et l'attention. Il établit que le préentraînement natif en 4 bits peut atteindre des performances comparables au BF16 (avec un écart de perte < 1 %) tout en offrant des avantages substantiels en termes de mémoire et de débit sur le matériel de classe Blackwell. Ce travail fournit un ensemble de recettes modulaires permettant aux praticiens d'adopter la basse précision de manière incrémentielle.

Limites :

Échelle : Les expériences sont limitées à des modèles allant jusqu'à 3 milliards de paramètres et 64 milliards de tokens. L'article n'établit pas de comportement pour les échelles de 7B+ ou sur des horizons d'entraînement plus longs.
Mesure de l'Efficacité : L'efficacité matérielle native a été mesurée sur quatre blocs de décodeur sur un seul RTX 5090, et non sur un modèle distribué complet.
Estimations : Les calculs d'économie de temps sont des estimations basées sur des réglages fixes et ne tiennent pas compte des gains potentiels de débit liés à l'augmentation de la taille des lots (batch size) grâce à la mémoire libérée.
Fusion de Noyaux (Kernels) : Certains noyaux (LoRA backward, attention) ne sont pas encore totalement fusionnés, et l'implémentation n'utilise pas encore toutes les optimisations de FlashAttention-4.
Spécificité du Format : Les recettes et les mesures sont spécifiques au NVFP4 et ne revendiquent pas de transférabilité vers MXFP4.