Pretraining Large Language Models with NVFP4

Cette étude présente une méthode novatrice permettant l'entraînement stable et précis de grands modèles de langage en format NVFP4 à l'aide de transformations de Hadamard aléatoires et d'autres techniques, démontrant que cette approche atteint des performances comparables à la précision FP8 tout en réduisant considérablement les coûts de calcul.

L'essentiel

Imaginez que vous essayez de construire une ville entière (un modèle d'intelligence artificielle) avec des briques.

Jusqu'à présent, les architectes utilisaient des briques en pierre massive (la précision 8 bits, ou FP8). C'est solide, précis, mais très lourd. Pour construire les plus grandes villes, il faut des camions gigantesques, beaucoup de carburant et cela prend énormément de temps.

NVIDIA vient de publier une étude révolutionnaire qui dit : « Et si on utilisait des briques en mousse ultra-légères (la précision 4 bits, ou NVFP4) ? »

Le problème ? La mousse est fragile. Si vous l'utilisez mal, la ville s'effondre avant même d'être finie.

Ce rapport explique comment NVIDIA a réussi à construire une ville de 12 milliards de paramètres (une ville immense !) en utilisant presque exclusivement ces briques en mousse, sans qu'elle ne s'effondre. Voici comment ils ont fait, expliqué simplement.

1. Le nouveau format : NVFP4 (La brique intelligente)

Il existait déjà des briques en mousse (appelées MXFP4), mais elles avaient un défaut : elles étaient trop grossières. Imaginez que vous deviez mesurer la hauteur d'une montagne, mais votre règle ne fait que des sauts de 10 mètres. Vous allez rater les détails importants.

NVIDIA a créé NVFP4. C'est comme une règle en mousse qui a été retravaillée :

• Plus de détails locaux : Au lieu de mesurer toute la ville avec une seule règle, NVFP4 utilise de petites règles locales pour chaque quartier. Cela permet de mieux capturer les variations subtiles.
• Une échelle double : Ils utilisent une "super-échelle" (en précision normale) pour ajuster les règles locales. C'est comme avoir un chef d'orchestre qui ajuste le volume de chaque musicien individuellement pour que l'ensemble reste harmonieux.

2. Les 4 astuces pour ne pas faire s'effondrer la ville

Utiliser des briques légères est risqué. Pour que tout tienne, l'équipe a appliqué quatre règles d'or, comme des techniques de construction secrètes :

A. Les "Piliers de Béton" (Précision mixte)

Même si on veut utiliser de la mousse partout, certains endroits sont trop critiques.

• L'analogie : Imaginez que vous construisez un gratte-ciel en mousse. Vous ne pouvez pas mettre de mousse dans les fondations ou au dernier étage où le vent souffle le plus fort.
• La solution : NVIDIA garde les tout premiers et les tout derniers étages de leur modèle en "béton" (précision normale, BF16). Cela représente seulement 15% du travail, mais cela stabilise toute la structure.

B. Le "Bouleversement Aléatoire" (Transformations Hadamard)

Parfois, dans les données, il y a des valeurs extrêmes (des "outliers"). C'est comme un géant qui essaie de passer dans une porte faite pour des nains. Il va bloquer tout le système.

• L'analogie : Imaginez que vous avez un tas de sable avec quelques gros cailloux. Si vous essayez de les passer dans un tamis fin, ça bloque. Mais si vous secouez le tas de sable violemment dans toutes les directions (le "Bouleversement"), les gros cailloux se dispersent et se mélangent au sable. Plus personne ne fait de blocage.
• La solution : Ils appliquent une transformation mathématique qui "secoue" les données avant de les mettre dans les briques en mousse, pour éviter les blocages.

C. La "Carte Identique" (Mise à l'échelle 2D)

Quand on apprend, le modèle regarde les données dans un sens (vers l'avant) et vérifie ses erreurs dans l'autre sens (vers l'arrière).

• Le problème : Avec les briques en mousse, si on regarde une image de face et de profil, elle peut sembler différente à cause de la compression. C'est comme si le modèle se souvenait d'une chose, mais vérifiait une autre chose. Ça crée de la confusion.
• La solution : Ils utilisent une méthode de "mise à l'échelle 2D" (comme une grille de 16x16) pour s'assurer que la brique ressemble exactement à la même chose, que vous la regardiez de face ou de dos. C'est crucial pour que l'apprentissage reste cohérent.

D. Le "Jeu de Dés" (Arrondi Stochastique)

Quand on réduit une précision, on doit arrondir. Si on arrondit toujours vers le haut ou toujours vers le bas, on crée un biais (une erreur systématique).

• L'analogie : Imaginez que vous devez payer 1,50 € avec des pièces de 1 €. Si vous donnez toujours 2 €, vous payez trop. Si vous donnez toujours 1 €, vous payez trop peu.
• La solution : Au lieu de décider, on lance une pièce de monnaie (un dé). Parfois on arrondit à 1, parfois à 2, selon la probabilité. Sur le long terme, l'erreur moyenne est nulle. C'est ce qu'ils font pour les gradients (les corrections d'erreurs), ce qui permet au modèle de ne pas "tourner en rond".

3. Le résultat : Une ville aussi belle, mais 2 fois plus rapide

Ils ont testé cette méthode en construisant une ville de 12 milliards de "briques" (paramètres) en utilisant 10 trillions de mots (tokens) pour l'entraînement.

• Résultat : La ville construite en mousse (NVFP4) est aussi solide et intelligente que celle construite en pierre (FP8).
• Le gain : Comme les briques sont deux fois plus petites, on a besoin de deux fois moins de mémoire et le calcul est beaucoup plus rapide (jusqu'à 3 fois plus rapide sur les nouveaux puces NVIDIA Blackwell).

En résumé

Ce papier nous dit que l'avenir de l'IA ne sera pas seulement d'avoir des modèles plus gros, mais d'être plus intelligents sur la façon de les construire.

En passant de la "pierre" à la "mousse intelligente" (NVFP4), en utilisant des astuces de construction (les 4 techniques ci-dessus), NVIDIA montre qu'on peut entraîner les géants de demain beaucoup plus vite, avec moins d'énergie, sans sacrifier la qualité. C'est comme passer d'un camion de déménagement à un vélo électrique pour transporter le même poids : plus léger, plus rapide, et tout aussi efficace.

Résumé technique

Résumé Technique : Préentraînement de Modèles de Langage à Grande Échelle avec NVFP4

1. Problématique

L'entraînement des modèles de langage de pointe (LLM) nécessite des investissements massifs en temps, en puissance de calcul et en énergie (de l'ordre de dizaines à centaines de yottaFLOPS). Bien que l'utilisation de la précision flottante 8 bits (FP8) soit désormais courante pour optimiser ces coûts, le passage à des précisions encore plus étroites, comme le 4 bits flottant (FP4), promet d'augmenter la vitesse de calcul de 2 à 3 fois et de réduire l'utilisation de la mémoire de moitié par rapport au FP8.

Cependant, l'entraînement en FP4 pose des défis majeurs :

• Instabilité de l'entraînement : La quantification agressive entraîne une perte de dynamique et de précision, menant souvent à la divergence du modèle.
• Gestion des valeurs aberrantes (Outliers) : Les LLM contiennent des valeurs extrêmes qui, lorsqu'elles sont quantifiées en FP4, saturent ou sont perdues, dégradant la convergence.
• Incohérence de la chaîne de rétropropagation : Les méthodes de mise à l'échelle (scaling) traditionnelles peuvent créer des représentations quantifiées différentes entre le passage avant (forward) et le passage arrière (backward), violant la règle de la chaîne et empêchant une estimation correcte des gradients.

2. Méthodologie et Approche Proposée

NVIDIA introduit une méthode d'entraînement stable utilisant le format NVFP4, une nouvelle norme 4 bits conçue spécifiquement pour l'entraînement, combinée à une méthodologie technique rigoureuse.

A. Le Format NVFP4
Contrairement au format MXFP4 standard (Microscaling), NVFP4 offre une meilleure précision numérique grâce à :

• Taille de bloc réduite : Les blocs de données sont de 16 éléments (contre 32 pour MXFP4), ce qui réduit la dynamique interne de chaque bloc et permet un meilleur ajustement aux valeurs FP4.
• Facteurs d'échelle précis : Utilisation d'un format de facteur d'échelle E4M3 (au lieu de UE8M0) pour les blocs, offrant plus de bits de mantisse pour une précision accrue.
• Mise à l'échelle à deux niveaux : Une échelle FP32 au niveau du tenseur est appliquée en plus de l'échelle par bloc, permettant de conserver une large plage dynamique tout en utilisant des facteurs d'échelle précis.

B. Méthodologie d'Entraînement Clé
Pour garantir la stabilité sur des horizons longs (10 trillions de tokens), quatre techniques principales sont combinées :

1. Précision Mixte (Mixed Precision) :

   • La majorité des opérations GEMM (multiplications matricielles) sont effectuées en NVFP4.
   • Cependant, les couches linéaires les plus sensibles (notamment les dernières couches du réseau) sont conservées en BF16 (environ 15 % des couches, soit les 2 premiers et 8 derniers blocs). Cela évite la divergence causée par la quantification excessive des couches critiques.

2. Transformations de Hadamard Aléatoires (RHT) :

   • Appliquées spécifiquement aux entrées des gradients de poids (Wgrad).
   • Ces transformations orthogonales redistribuent les valeurs aberrantes (outliers) pour les rendre plus proches d'une distribution gaussienne, facilitant leur représentation en FP4 sans saturation.

3. Mise à l'échelle bidimensionnelle (2D Scaling) :

   • Pour les poids, les blocs de quantification sont de taille 16x16.
   • Cela garantit que la même représentation quantifiée est utilisée à la fois dans le passage avant et le passage arrière, respectant ainsi la règle de la chaîne (chain rule) et évitant les erreurs de gradient systématiques.

4. Arrondi Stochastique (Stochastic Rounding) :

   • Utilisé exclusivement pour les tenseurs de gradients.
   • Contrairement à l'arrondi déterministe (qui introduit un biais systématique), l'arrondi stochastique arrondit probabilistiquement vers les deux nombres représentables les plus proches, éliminant le biais de quantification et améliorant la convergence.

3. Résultats Expérimentaux

Les auteurs ont validé leur approche en préentraînant un modèle hybride Mamba-Transformer de 12 milliards de paramètres sur 10 trillions de tokens.

• Performance de Perte (Loss) : La courbe de perte de validation du modèle NVFP4 suit étroitement celle d'un modèle de référence entraîné en FP8. L'erreur relative de perte reste inférieure à 1 % pendant la phase stable et dépasse légèrement 1,5 % vers la fin de l'entraînement.
• Précision des Tâches (Downstream Tasks) : Les performances sont comparables au FP8 sur une large gamme de benchmarks :
  • MMLU-Pro : 62,58 % (NVFP4) vs 62,62 % (FP8).
  • MATH : 81,48 % vs 83,32 %.
  • GSM8k : 92,27 % vs 89,08 %.
  • Les seules écarts notables concernent certaines tâches de codage, attribuées à la variabilité des évaluations plutôt qu'à une défaillance fondamentale du modèle.
• Comparaison NVFP4 vs MXFP4 : Sur un modèle de 8 milliards de paramètres, NVFP4 converge vers une perte inférieure à MXFP4. Pour atteindre la même performance que NVFP4 avec MXFP4, il faudrait augmenter le nombre de tokens d'entraînement de 36 %, ce qui rend NVFP4 nettement plus efficace en termes de temps et de coût.

4. Contributions Clés

1. Preuve de concept à grande échelle : Il s'agit de la première démonstration publique réussie de l'entraînement de modèles de plusieurs milliards de paramètres sur des horizons de tokens multi-trillions (10T) en précision 4 bits.
2. Innovation Algorithmique : Développement d'une méthodologie complète intégrant RHT, mise à l'échelle 2D et arrondi stochastique pour surmonter les limitations de stabilité du FP4.
3. Format NVFP4 : Présentation et validation d'un format de données supérieur au MXFP4 pour l'entraînement, optimisé pour les cœurs Tensor de la nouvelle architecture NVIDIA Blackwell.
4. Support Matériel : Le rapport confirme que les GPU Blackwell (série GB200/GB300) supportent nativement ces opérations avec des accélérations significatives (jusqu'à 6x par rapport au BF16 pour certaines opérations).

5. Signification et Impact

Ce travail marque une étape décisive dans l'optimisation des LLM. En démontrant que l'entraînement en 4 bits peut atteindre des performances équivalentes au FP8 sans sacrifier la qualité du modèle, NVIDIA ouvre la voie à :

• Une réduction drastique des coûts de calcul et d'énergie pour l'entraînement des futurs modèles de pointe.
• Une meilleure utilisation de la mémoire, permettant potentiellement d'entraîner des modèles plus grands ou avec des contextes plus longs sur le même matériel.
• L'adoption généralisée du format NVFP4 via le moteur Transformer Engine, rendant l'entraînement haute performance accessible et économiquement viable pour la prochaine génération d'intelligence artificielle.

En conclusion, ce rapport technique établit que l'entraînement en 4 bits n'est plus une simple curiosité théorique, mais une réalité pratique et efficace pour les modèles de langage de très grande envergure.