🤖 AI

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

Cet article identifie un « biais de rétrécissement » (Shrinkage Bias) fondamental dans les formats FP4 E2M1 non uniformes qui cause une instabilité de l'entraînement, et propose UFP4, une recette d'entraînement uniforme à 4 bits (E1M2/INT4) qui exploite la transformée de Hadamard aléatoire pour atteindre des performances de pré-entraînement supérieures à travers diverses échelles de modèles par rapport aux approches existantes basées sur l'E2M1.

Auteurs originaux : Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Publié 2026-06-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un château LEGO géant et incroyablement complexe (un Grand Modèle de Langage). Pour rendre la construction plus rapide et moins coûteuse, vous décidez de ne plus utiliser les briques standard, lourdes et précises, mais de passer à un nouveau jeu de briques ultra-légères de 4 bits.

Le problème est que les briques « standard » légères actuelles (appelées E2M1) ont une forme étrange et asymétrique. Les auteurs de cet article ont découvert que ces briques possèdent un défaut caché : elles ont naturellement tendance à rétrécir légèrement les choses chaque fois que vous les utilisez.

Voici la décomposition de leur découverte et de leur solution, expliquée simplement :

1. Le Problème : Les briques qui « rétrécissent »

Imaginez que les briques E2M1 standard aient un espacement irrégulier. Certains espaces entre les briques sont minuscules, tandis que d'autres sont énormes.

Le Défaut : En raison de cet espacement inégal, lorsque vous essayez d'emboîter une pièce de donnée dans l'une de ces briques, le calcul force l'arrondi vers le bas un peu plus souvent que vers le haut.
Le Résultat : Cela crée un « Biais de Rétrécissement » (Shrinkage Bias). C'est comme un seau percé ; chaque fois que vous faites passer un message à travers une couche du modèle, le message devient un tout petit peu plus petit et plus faible.
L'Effet Cumulé : Dans un modèle profond possédant des centaines de couches, ce minuscule rétrécissement se produit encore et encore. Au moment où le message atteint la fin, il a tellement rétréci que le modèle commence à perdre la tête (l'entraînement devient instable).

2. Le « Tour de Magie » qui a empiré les choses

Pour corriger le problème des données trop grandes ou trop bizarres (les valeurs aberrantes ou outliers), les ingénieurs utilisent une astuce appelée Transformée de Hadamard Aléatoire (RHT).

L'Analogie : Imaginez que vous avez un tas de sable où la majeure partie se trouve dans un seul énorme monticule (les outliers). La RHT est comme un mélangeur qui fait tourner le sable pour qu'il se répartisse uniformément sur tout le plateau.
Le Conflit : Lorsque vous mélangez le sable (RMT) et que vous essayez ensuite de le placer dans les briques asymétriques E2M1, le sable atterrit dans les pires interstices. L'espacement inégal des briques saisit le sable mélangé et le fait rétrécir encore plus qu'avant. L'article a découvert que la recette standard rend le problème du « seau percé » pire en utilisant ce mélangeur.

3. La Solution : Les briques « uniformes » (UFP4)

Les auteurs proposent une nouvelle recette appelée UFP4. Au lieu d'utiliser les briques asymétriques E2M1, ils utilisent un nouveau jeu de briques appelé E1M2/INT4.

La Différence : Ces nouvelles briques sont parfaitement uniformes. Les espaces entre elles sont tous exactement de la même taille.
Pourquoi cela fonctionne : Parce que les espaces sont réguliers, il n'y a pas de « biais de rétrécissement ». Lorsque le « sable mélangé » (les données RHT) atterrit dans ces briques uniformes, il s'y ajuste parfaitement sans perdre de volume.
La Stratégie : Avec ces nouvelles briques uniformes, les auteurs ont réalisé qu'ils pouvaient utiliser en toute sécurité le « mélangeur » (RHT) sur chaque partie du processus de construction (passe avant, passe arrière et mises à jour des poids). Auparavant, ils devaient être prudents et n'utiliser le mélangeur que dans un seul endroit pour éviter de casser le modèle. Désormais, ils peuvent l'utiliser partout.

4. La Preuve

L'équipe a testé cette nouvelle recette sur trois tailles différentes de modèles d'IA (petits, moyens et énormes).

Le Résultat : Les modèles construits avec la nouvelle recette UFP4 (briques uniformes) sont restés beaucoup plus proches des performances des briques lourdes et standard (BF16) que les modèles construits avec les anciennes briques E2M1 (briques asymétriques).
L'Idée à Retenir : La grille « uniforme » permet au modèle de s'entraîner plus longtemps et de manière plus stable sans perdre son signal.

Résumé

L'article soutient que l'industrie essaie de réparer un seau percé en colmatant les trous, mais que le seau lui-même n'a pas la bonne forme. En passant à un seau doté d'un espacement parfaitement régulier (Grilles Uniformes), nous pouvons enfin utiliser les puissants outils de mélange (RHT) qui étaient auparavant trop dangereux, ce qui conduit à un entraînement de l'IA plus rapide, moins coûteux et plus stable.

L'essentiel : Ne vous contentez pas de colmater l'ancien format 4 bits asymétrique ; passez à un nouveau format 4 bits uniforme pour empêcher le signal de s'évaporer par rétrécissement.

Résumé Technique : Repenser le Biais de Rétrécissement (Shrinkage Bias) dans le Pré-entraînement LLM en FP4

Énoncé du Problème

À mesure que les modèles de langage de grande taille (LLM) passent à l'échelle, les coûts de calcul et de mémoire du pré-entraînement nécessitent une transition vers des formats de précision inférieure. Bien que le FP8 ait été largement adopté, le matériel émergent (par exemple, NVIDIA Blackwell/Rubin, AMD MI350) prend en charge nativement le calcul en FP4. Les recettes actuelles de pré-entraînement en FP4, telles que NVFP4, reposent principalement sur le format E2M1 (2 bits d'exposant, 1 bit de mantisse) combiné à la Transformation de Hadamard Aléatoire (RHT) pour atténuer la sensibilité aux valeurs aberrantes (outliers).

Cependant, ces recettes basées sur l'E2M1 souffrent d'une instabilité d'entraînement et d'une dégradation significative de la perte par rapport aux bases en BF16. Le document identifie une limitation fondamentale, auparavant négligée : le Biais de Rétrécissement (Shrinkage Bias). Il s'agit d'une erreur de l'arrondi négative systématique inhérente aux formats de quantification non uniformes comme l'E2M1. L'asymétrie géométrique des bacs (bins) représentables de l'E2M1 provoque un « rétrécissement » systématique des magnitudes sous l'effet de l'arrondi Round-to-Nearest-Even (RTNE). Crucialement, le document soutient que si la RHT est conçue pour disperser les valeurs aberrantes et améliorer l'utilisation du codebook, elle exacerbe par inadvertance ce biais dans l'E2M1 en déplaçant la masse des tenseurs vers les régions de l'arrondi les plus asymétriques, entraînant une décroissance multiplicative du signal à travers les réseaux profonds.

Méthodologie

1. Analyse Théorique du Biais de Rétrécissement

Les auteurs formalisent le Biais de Rétrécissement comme une erreur attendue négative dans l'espace de magnitude normalisé causée par l'asymétrie géométrique des bacs RTNE.

Origine Géométrique : Dans les grilles non uniformes comme l'E2M1, l'espacement entre les valeurs représentables change (par exemple, de 0,5 à 1,0 à 1,5). Pour un niveau $q_i$ , les largeurs de bac à gauche et à droite ( $\ell_i$ et $r_i$ ) sont souvent inégales. Si $r_i > \ell_i$ , l'erreur attendue conditionnelle sous une densité locale uniforme est négative ( $\frac{\ell_i - r_i}{2} < 0$ ).
Impact Systémique : Contrairement au bruit à moyenne nulle qui s'annule, ce biais agit comme un facteur d'atténuation systématique ( $\alpha < 1$ ) dans les multiplications de matrices (GEMM). À travers $K$ couches, ces facteurs s'accumulent multiplicativement ( $\prod \alpha_k \approx \exp(-\sum \delta_k)$ ), provoquant une décroissance systématique du signal.
Interaction avec la RHT : La RHT transforme les tenseurs d'un état limité par la « plage dynamique » vers un état limité par la « résolution locale ». Bien que cela améliore l'utilisation des bacs, cela force les données dans les régions de magnitude intermédiaire où l'asymétrie de l'E2M1 est la plus prononcée, amplifiant ainsi le biais de rétrécissement.

2. La Recette UFP4

Sur la base de la découverte que les grilles uniformes contournent cette erreur géométrique, les auteurs proposent l'UFP4 (Uniform FP4), une recette d'entraînement construite sur une grille uniforme de type E1M2/INT4.

Grille Uniforme : Contrairement à l'E2M1, la grille E1M2 maintient un espacement égal entre les niveaux ( $\ell_i = r_i$ ), éliminant la source géométrique du Biais de Rétrécissement.
Couverture Complète de la RHT : Parce que la grille uniforme est sans biais, l'UFP4 applique en toute sécurité la RHT à les trois chemins de GEMM d'entraînement : Forward (FPROP), Data Gradient (DGRAD) et Weight Gradient (WGRAD). Les recettes E2M1 précédentes restreignaient la RHT au chemin du gradient de poids pour éviter de cumuler les erreurs dans les chemins non-feuilles.
Arrondi Stochastique (SR) : Le SR est appliqué uniquement au gradient amont ($dY$) pour préserver les espérances de gradient, tandis que le RTNE est utilisé ailleurs.

Principales Contributions

Identification du Biais de Rétrécissement : Le document définit et démontre formellement que les formats non uniformes (E2M1) souffrent intrinsèquement d'une erreur d'arrondi négative systématique due à l'asymétrie géométrique, distincte des erreurs de quantification induites par la distribution.
Explication Unifiée de l'Instabilité : Il fournit une explication théorique et empirique de l'instabilité d'entraînement des recettes existantes basées sur l'E2M1, montrant comment le Biais de Rétrécissement s'accumule multiplicativement et est exacerbé par la RHT.
Proposition de l'UFP4 : Une nouvelle recette d'entraînement en 4 bits utilisant des grilles uniformes (E1M2/INT4) qui permet une application généralisée de la RHT à tous les GEMM d'entraînement, convertissant l'amélioration de l'utilisation des bacs en une meilleure qualité de quantification.
Validation à l'Échelle Industrielle : L'approche est validée sur des modèles Dense 1.5B, MoE 7.9B et MoE 124B, démontant que les grilles uniformes sont des formats de pré-entraînement FP4 pratiques et de premier rang.

Résultats Expérimentaux

Diagnostics de Quantification et de GEMM

Effet de la RHT : Sur les tenseurs riches en valeurs aberrantes, la RHT améliore considérablement le ratio de remplissage effectif des bacs pour les deux formats. Cependant, le rapport signal sur bruit de quantification (SQNR) résultant diverge : l'E1M2 montre un SQNR amélioré après RHT, tandis que l'E2M1 subit souvent une dégradation ( $\Delta$ SQNR négatif) car les données déplacées atterrissent dans des bacs asymétriques.
Sorties de GEMM : Dans les tests de GEMM simple, l'E1M2 préserve ou améliore le SQNR de sortie à travers les chemins forward et backward avec la RHT, alors que l'E2M1 souffre de dégradation, particulièrement dans les chemins backward.

Pré-entraînement de Bout en Bout

Dégradation de la Perte : Sur des tâches de pré-entraînement de longue durée, l'UFP4 (E1M2) atteint systématiquement une dégradation de la perte relative au BF16 plus faible par rapport aux bases E2M1 robustes.
- Dense 1.5B : Erreur relative réduite de 1,2570 % (E2M1) à 0,9673 % (UFP4).
- MoE 7.9B : Réduite de 2,3596 % à 1,8469 %.
- MoE 124B : Réduite de 1,7308 % à 1,3863 %.
Lois d'Échelle (Scaling Laws) : L'avantage de l'UFP4 persiste à travers les échelles de modèles (de 10M à 324M de paramètres). Les courbes de perte ajustées montrent que l'écart de l'E1M2 par rapport au BF16 reste plus petit que celui de l'E2M1, et que la pénalité FP4 ne croît pas avec l'échelle de calcul.
Études d'Ablation :
- Portée de la RHT : Une couverture RHT complète (tous les trois GEMM) donne les meilleurs résultats pour l'UFP4, alors que la restriction de la RHT (comme dans les recettes E2M1) limite les performances.
- Restriction de Plage : Les tentatives pour émuler une grille uniforme en restreignant la plage dynamique de l'E2M1 (par exemple, en plafonnant la valeur maximale) n'ont pas réussi à égaler la performance de l'E1M2 natif, sacrifiant la plage dynamique sans éliminer totalement le biais.

Efficacité

Fusion de Noyaux (Kernel Fusion) : Les auteurs démontrent que la RHT peut être fusionnée efficacement avec la quantification FP4. Sur le matériel testé (SM90/SM100), la latence fusionnée RHT+quantification n'est que de ~1,06x–1,07x par rapport à la quantification seule, contre ~1,4x–1,6x pour les implémentations non fusionnées.

Signification et Revendications

Le document soutient que la norme actuelle consistant à traiter l'E2M1 comme le seul format de pré-entraînement FP4 viable est sous-optimale en raison de ses limitations géométriques. La signification de ce travail réside dans :

Remise en cause du Statu Quo : Il suggère que les futurs accélérateurs de ML devraient supporter des grilles 4 bits uniformes de type E1M2/INT4 comme primitives de pré-entraînement de premier rang aux côtés de l'E2M1, plutôt que de se reposer uniquement sur l'E2M1.
Inadéquation Régime-Format : Il souligne que l'efficacité des techniques d'atténuation des valeurs aberrantes comme la RHT dépend de la géométrie de la grille sous-jacente. La RHT est bénéfique pour les grilles uniformes mais préjudiciable pour les grilles non uniformes dans les régimes d'entraînement profonds.
Recette Pratique : L'UFP4 offre une recette concrète et évolutive qui réduit l'écart entre le pré-entraînement FP4 et BF16 sans nécessendre de modifications complexes des estimateurs, simplement en alignant la géométrie de la grille avec la distribution des tenseurs post-RHT.

Les auteurs concluent que bien que l'E2M1 reste approprié pour les charges de travail limitées en plage dynamique et pour l'inférence, le matériel d'entraînement devrait évoluer pour supporter les grilles uniformes afin de réaliser pleinement le potentiel du pré-entraînement en FP4.