Pretraining large language models with MXFP4
Ce papier identifie que la quantification des gradients de poids (Wgrad) est la cause principale de l'instabilité dans l'entraînement FP4 en pipeline complet des grands modèles de langage et démontre que des rotations Hadamard déterministes, plutôt qu'un arrondi stochastique, sont essentielles pour restaurer la stabilité de la convergence.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'enseigner à un étudiant géant et brillant (un Modèle de Langage à Grande Échelle) comment écrire des histoires. Habituellement, pour maintenir cet étudiant dans une apprentissage efficace, vous lui donnez des notes écrites à l'encre de haute qualité et détaillée (appelée précision FP8). Cela fonctionne bien, mais les notes sont lourdes, occupent beaucoup d'espace dans le sac à dos de l'étudiant et ralentissent la vitesse à laquelle il peut les lire.
Les chercheurs voulaient voir s'ils pouvaient passer à des notes ultra-légères écrites avec seulement 4 bits d'information (MXFP4). Ces notes sont minuscules et rapides, promettant de permettre à l'étudiant d'apprendre beaucoup plus vite. Cependant, il y a un piège : lorsqu'ils ont essayé d'utiliser ces notes minuscules pour l'ensemble du processus d'apprentissage, l'étudiant était souvent confus, commençait à faire des suppositions sauvages et échouait à apprendre quoi que ce soit (l'entraînement « divergeait »).
L'article demande : Pourquoi cela se produit-il, et comment le corriger ?
L'Expérience : Un Test en Trois Étapes
Les chercheurs ont mis en place une expérience contrôlée pour déterminer exactement où se situe le problème. Ils ont décomposé le processus d'apprentissage en trois étapes et ont progressivement remplacé les notes lourdes par des notes légères, une étape à la fois :
- Passage Avant (Fprop) : L'étudiant lit la question.
- Gradients d'Activation (Dgrad) : L'étudiant détermine dans quelle mesure il a mal compris la question.
- Gradients de Poids (Wgrad) : L'étudiant met à jour son cerveau (les « poids ») pour se souvenir de la leçon pour la prochaine fois.
Les Résultats :
- Étape 1 & 2 : Lorsqu'ils ont utilisé des notes légères uniquement pour la lecture et la détermination des incompréhensions, l'étudiant s'en est bien sorti. Il a appris presque aussi bien qu'avec les notes lourdes, ayant simplement besoin de quelques questions d'exercice supplémentaires.
- Étape 3 (Le Problème) : Dès qu'ils ont basculé vers des notes légères pour mettre à jour le cerveau (Wgrad), l'étudiant a commencé à s'emballer hors de contrôle. Les chercheurs ont constaté que cette étape spécifique est le « maillon faible ». C'est comme essayer d'écrire une correction mathématique complexe sur un tout petit morceau de papier froissé ; les détails se perdent et l'étudiant apprend la mauvaise leçon.
Les Tentatives Échouées : Ajouter du Hasard
Lorsque l'étudiant a commencé à échouer, les chercheurs ont essayé un tour de passe-passe courant : la Stochastique (ajouter du hasard).
- L'Analogie : Imaginez que l'étudiant est confus, alors vous lui dites : « Devinez au hasard ! » ou « Faites tourner une roue pour décider de votre réponse. »
- Le Résultat : Cela n'a pas fonctionné. En fait, ajouter du hasard aux notes minuscules a aggravé les erreurs. Le « bruit » des suppositions aléatoires a amplifié les minuscules erreurs déjà présentes dans les notes légères, provoquant un crash complet de l'entraînement.
La Solution Gagnante : Le Mélange Déterministe
Les chercheurs ont ensuite essayé une approche différente : les Rotations Hadamard Déterministes.
- L'Analogie : Au lieu de deviner au hasard, imaginez que l'étudiant possède une règle spéciale et rigide qui réarrange parfaitement les notes minuscules avant qu'elles ne soient écrites. Cette règle n'ajoute pas de hasard ; elle organise simplement l'information d'une manière spécifique et prévisible afin que les notes minuscules ne soient pas froissées ou perdues.
- Le Résultat : Cela a fonctionné parfaitement. En utilisant cette méthode de « réarrangement » spécifique et prévisible, l'étudiant a pu utiliser les notes minuscules et rapides pour l'ensemble du processus (lecture, analyse et mise à jour) sans se confondre.
Le Bilan
L'article conclut par deux enseignements principaux :
- Le Goulot d'Étranglement : La raison principale pour laquelle l'entraînement en 4 bits échoue n'est pas que les notes sont généralement trop petites ; c'est spécifiquement parce que l'étape de mise à jour du cerveau (Wgrad) est trop sensible aux minuscules erreurs contenues dans ces notes.
- La Solution : Pour faire fonctionner l'entraînement en 4 bits, vous n'avez pas besoin d'ajouter plus de hasard. Vous avez besoin de structure. En utilisant un mélange mathématique spécifique et prévisible (rotation Hadamard), vous pouvez stabiliser le processus.
Le Bénéfice :
Lorsqu'ils ont résolu le problème avec cette « règle de réarrangement », le système est devenu 20 % plus rapide à chaque étape de l'apprentissage. Parce que l'étudiant a appris de manière stable sans avoir besoin de questions d'exercice supplémentaires, l'ensemble du processus s'est terminé environ 10 % plus vite du début à la fin par rapport à l'ancienne méthode à l'encre lourde.
En bref : vous pouvez utiliser les notes minuscules et ultra-rapides, mais seulement si vous les organisez parfaitement avant de les écrire. Si vous ajoutez simplement du hasard, tout se brise.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.