🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

Ce papier identifie et résout deux modes de défaillance distincts dans l'entraînement quantifié conscient (W8A8) HiF8 — la saturation de l'amax et l'oubli catastrophique — en introduisant une stratégie d'estimation d'échelle par fenêtre maximale et un calendrier de préchauffage BF16, permettant ainsi d'atteindre des performances quasi sans perte sur le modèle OpenPangu-Embedded-1B.

Auteurs originaux : Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant et bien informé (le modèle d'IA) qui a passé des années à mémoriser une vaste bibliothèque de livres. Maintenant, vous voulez réduire cette immense bibliothèque pour qu'elle tienne dans un petit sac à dos portable (un appareil faible en puissance) sans perdre aucune des histoires ou des faits qu'elle contient. Ce processus s'appelle la Quantification.

L'article décrit une expérience spécifique où les chercheurs ont tenté de réduire un modèle d'IA de 1 milliard de paramètres en utilisant un nouveau format compact appelé HiF8 (Float 8 haute précision). Considérez HiF8 comme une « compression intelligente » qui conserve les détails les plus importants nets tout en compressant le reste.

Cependant, les chercheurs ont découvert que simplement réduire la bibliothèque ne suffisait pas. Ils ont identifié deux « pièges » cachés qui pourraient ruiner la mémoire du modèle, même si le processus d'entraînement semblait parfait sur le papier.

Voici le détail de leur parcours, expliqué simplement :

Les Deux Pièges Cachés

1. Le Piège du « Point Aveugle » (Saturation Amax)
Imaginez que le bibliothécaire essaie d'organiser des livres sur une étagère, mais qu'il utilise une règle légèrement trop courte.

Le Problème : L'IA doit connaître le nombre le plus « fort » ou le plus « grand » qu'elle voit pour définir l'échelle de compression. Les chercheurs ont utilisé une méthode appelée Mise à l'échelle tensorielle différée (DTS). C'est comme si le bibliothécaire regardait le livre précédent pour deviner la taille du livre actuel.
L'Échec : Si le livre actuel est soudainement énorme (un « pic » dans les données), la supposition du bibliothécaire (basée sur le livre précédent) est trop petite. Le livre se retrouve « coupé » ou tronqué au bord de l'étagère.
La Ruse : Le « bulletin de notes » interne de l'IA (la perte d'entraînement) ne montrait pas que cela se produisait. C'était comme si le bibliothécaire disait : « Je m'organise bien ! » tout en arrachant secrètement des pages des livres. Les dégâts ne se sont révélés que plus tard, lorsqu'ils ont testé les connaissances du bibliothécaire lors de quiz spécifiques (comme ARC ou MMLU).

2. Le Piège de « l'Étudiant Trop Zélé » (Oubli Catastrophique)
Imaginez que le bibliothécaire est si impatient d'apprendre de nouvelles histoires à partir d'un nouveau lot de livres qu'il commence à effacer les classiques anciens de sa mémoire pour faire de la place.

Le Problème : Les chercheurs enseignaient au modèle avec un « taux d'apprentissage » (la vitesse à laquelle il apprend) trop agressif.
L'Échec : Le modèle apprenait les nouvelles données si vite qu'il oubliait complètement le bon sens et les faits appris lors de son entraînement initial.
La Ruse : Cela s'est produit même sans compression. S'ils avaient simplement entraîné le modèle normalement à cette vitesse élevée, il aurait tout de même tout oublié. Mais parce qu'ils compressaient également le modèle, ils ont blâmé la compression pour l'échec, et non la vitesse.

La Solution : Une Réparation en Deux Parties

Les chercheurs ont mené huit expériences différentes pour déterminer comment résoudre ces pièges. Ils ont constaté que corriger un seul aspect ne suffisait pas ; ils devaient corriger les deux simultanément.

Correction n°1 : Le « Filet de Sécurité » (Stratégie de Fenêtre Maximale)
Pour arrêter le « Point Aveugle », ils ont changé la façon dont le bibliothécaire devine les tailles des livres.

Au lieu de regarder uniquement le livre précédent, ils ont demandé au bibliothécaire de regarder le plus grand livre vu parmi les 64 derniers livres.
C'est une approche « conservatrice ». Elle rend l'étagère légèrement plus grande que strictement nécessaire (un peu trop conservatrice), mais elle garantit qu'aucun livre ne sera jamais coupé. Cet « espace supplémentaire » a en fait aidé le modèle à rester stable, agissant comme un régularisateur doux.

Correction n°2 : Le « Refroidissement » (Échauffement et Apprentissage Plus Lent)
Pour arrêter l'« Étudiant Trop Zélé », ils ont modifié le calendrier d'entraînement.

L'Échauffement : Pendant les 500 premières étapes, ils n'ont pas compressé le modèle du tout. Ils l'ont laissé s'habituer aux nouvelles données dans son format complet et haute qualité (BF16). Cela a permis au modèle de se stabiliser avant que la compression « sac à dos » ne soit appliquée.
Le Ralentissement : Ils ont considérablement ralenti la vitesse d'apprentissage (en abaissant le taux d'apprentissage). Cela a empêché le modèle d'écraser frénétiquement ses anciennes connaissances précieuses avec de nouvelles données.

Le Résultat

Lorsqu'ils ont combiné ces deux corrections, le résultat a été quasi sans perte.

Le modèle compressé (HiF8) a fonctionné presque exactement aussi bien que le modèle complet non compressé.
La baisse de performance sur les quiz difficiles était minime (moins de 0,5 % dans la plupart des cas).
Crucialement, ils ont prouvé que si vous n'utilisiez que le « Filet de Sécurité » mais gardiez la vitesse « Trop Zélée », le modèle échouait toujours. Et si vous ralentissiez la vitesse mais gardiez la règle du « Point Aveugle », cela échouait aussi. Les deux corrections étaient nécessaires.

Ce Qui N'a Pas Fonctionné (Et Pourquoi)

Regarder uniquement le dernier livre : Provoquait le découpage des livres.
Lisser la supposition : Tenter de moyenner les livres passés, mais échouait lorsque les données changeaient de manière imprévisible.
Vérifier le livre actuel instantanément : Cela nécessitait un deuxième regard sur les données, ce qui était trop lent et provoquait des sauts trop importants de la taille de l'étagère, confondant le modèle.
Entraînement à haute vitesse : Même sans compression, cela faisait oublier tout au modèle.

L'Essentiel

L'article nous enseigne que lorsque l'on réduit un modèle d'IA intelligent, on ne peut pas se contenter de regarder le « score d'entraînement » pour voir si cela fonctionne. Il faut faire attention à comment on mesure les données (pour éviter le découpage) et à quelle vitesse on l'enseigne (pour éviter l'oubli). En utilisant un « filet de sécurité » pour la taille des données et un rythme d'apprentissage « lent et régulier », vous pouvez faire tenir un cerveau géant dans un petit sac à dos sans qu'il perde la tête.

Résumé Technique : Estimation de l'Échelle Max-Fenêtre pour l'Entraînement Conscient de la Quantification HiF8 W8A8 Presque Sans Perte

Énoncé du Problème

Le déploiement des Grands Modèles de Langage (LLM) dans des environnements aux ressources contraintes nécessite une quantification agressive, en particulier l'utilisation de formats à virgule flottante 8 bits (FP8) comme HiF8 (High-precision Float 8). Bien que l'Entraînement Conscient de la Quantification (QAT) vise à adapter les modèles préentraînés à des représentations de faible précision, il introduit des modes de défaillance subtils invisibles pour les métriques d'entraînement standard telles que la perte d'entropie croisée.

Plus précisément, l'application du QAT aux modèles préentraînés implique un compromis complexe : préserver les connaissances préentraînées tout en adaptant les représentations internes au bruit de quantification. Les auteurs identifient que la perte d'entraînement standard échoue souvent à signaler la dégradation, conduisant à deux modes de défaillance distincts et orthogonaux dans le QAT HiF8 W8A8 :

Saturation de $A_{max}$ : Causée par le retard temporel dans l'Échelle Tensorielle Différée (DTS), où le facteur d'échelle estimé est basé sur des données historiques. Si le maximum d'activation réel de l'étape actuelle dépasse l'échelle prédite, les valeurs sont tronquées, corrompant les activations forward tandis que l'Estimateur Direct (STE) fait passer incorrectement les gradients comme si aucune troncature n'avait eu lieu.
Oubli Catastrophique : Causé par un taux d'apprentissage trop agressif lors de la poursuite du préentraînement, qui écrase les connaissances de bon sens préentraînées indépendamment du schéma de quantification.

Méthodologie

L'étude se concentre sur le modèle OpenPangu-Embedded-1B (1 milliard de paramètres) utilisant le format HiF8 W8A8. La méthodologie implique une investigation systématique à travers huit expériences contrôlées pour démêler les causes de la dégradation des performances.

Configuration de Quantification

Format : HiF8 utilise une précision de mantisse échelonnée basée sur la magnitude de la valeur (3 bits pour $|x| \le 8$ , 2 bits pour $|x| \le 128$ , 1 bit pour les valeurs plus grandes).
Sélection des Modules : Pour équilibrer efficacité et stabilité, seuls les couches MLP (projections gate, up et down) dans les 21 blocs Transformer du milieu sont quantifiés. Les projections d'attention, les embeddings, les normalisations de couche et les blocs limites (les 3 premiers et les 2 derniers) restent en BF16 pour préserver la gestion des valeurs aberrantes et la précision de sortie.
Protocole d'Entraînement : Les expériences utilisent le jeu de données FineWeb avec une taille de lot globale de 1024 et une longueur de séquence de 1024 sur 10 000 étapes.

Variables Expérimentales

Le cœur de l'investigation compare différents algorithmes d'estimation de $A_{max}$ et taux d'apprentissage :

Algorithmes $A_{max}$ :
- Plus-Récent (DTS) : Utilise le maximum de l'étape précédente.
- Lissage Exponentiel (DTS) : Utilise une moyenne mobile.
- Max-Fenêtre (DTS) : Utilise la valeur maximale sur une fenêtre d'historique de 64 étapes.
- Échelle Tensorielle Courante (CTS) : Calcule le maximum à partir de l'étape actuelle (nécessite un second passage forward).
Taux d'Apprentissage : Les expériences ont testé $10^{-4}$ (initialement jugé sûr pour les références BF16) et $10^{-5}$ .
Warmup : Une phase de warmup BF16 de 500 étapes a été introduite dans les expériences ultérieures pour stabiliser les poids et peupler l'historique $A_{max}$ avant d'activer la quantification.

Contributions Clés

Le papier fait quatre contributions principales basées sur le démêlage des modes de défaillance :

Identification de Modes de Défaillance Orthogonaux : Les auteurs démontrent que la dégradation des benchmarks dans le QAT HiF8 provient de deux sources indépendantes : la saturation de $A_{max}$ (un problème spécifique à la quantification) et l'oubli catastrophique (un problème de dynamique d'entraînement). Crucialement, aucun n'est détectable via la perte d'entraînement seule ; tous deux ne se manifestent que lors de l'évaluation en aval.
Stratégie Conservatrice Max-Fenêtre : Pour résoudre la saturation de $A_{max}$ , le papier propose de remplacer les algorithmes standards par un algorithme max sur une fenêtre d'historique de 64 étapes. Cela fournit une garantie stricte contre la saturation induite par l'échelle pour toute étape dans la fenêtre d'observation. Le léger excès de prudence agit comme une régularisation bénéfique.
Protocole d'Entraînement en Deux Phases : Pour atténuer l'oubli catastrophique, les auteurs introduisent un protocole impliquant un warmup BF16 de 500 étapes suivi d'un QAT à un taux d'apprentissage réduit de $10^{-5}$ . Le warmup assure que le modèle atteint un régime de poids stable et peuple l'historique $A_{max}$ avec des valeurs représentatives, tandis que le taux d'apprentissage plus faible empêche l'écrasement des connaissances préentraînées.
Analyse Complète des Défaillances : L'étude documente pourquoi les approches précédentes ont échoué :
- Plus-Récent souffre d'une saturation due au délai d'une étape.
- Lissage Exponentiel échoue sous des dynamiques d'activation non monotones.
- CTS introduit des fluctuations par étape qui corrompent les représentations stables.
- Taux d'Apprentissage Élevés ( $10^{-4}$ ) causent un oubli significatif indépendamment de la quantification.

Résultats

La configuration finale (algorithme Max-Fenêtre + warmup de 500 étapes + $lr=10^{-5}$ ) atteint une quantification presque sans perte par rapport à une référence BF16 appariée entraînée au même taux d'apprentissage :

MMLU : Baisse de 0,43 % (43,17 % vs 43,36 % pour la référence).
HellaSwag : Baisse de 0,58 %.
ARC-Challenge : Baisse de 0,22 %.
Perte d'Entraînement : L'Erreur Moyenne en Pourcentage (APE) entre le QAT HiF8 et la référence BF16 est de seulement 0,11 % sur 10 000 étapes.

Il est à noter que les expériences ont montré qu'aucune correction seule n'était suffisante. L'utilisation de l'algorithme Max à $lr=10^{-4}$ a toujours entraîné des baisses d'environ 3 % sur les tâches ARC en raison de l'oubli. Inversement, l'utilisation de $lr=10^{-5}$ avec un algorithme standard plus-récent aurait toujours souffert de saturation.

Importance et Revendications

Le papier revendique que le QAT HiF8 réussi pour les modèles préentraînés nécessite de traiter l'interaction entre stabilité de l'échelle et dynamiques d'apprentissage simultanément. L'importance du travail réside dans :

Le Diagnostic de la Défaillance "Invisible" : Mettre en évidence que la perte d'entraînement standard est une métrique insuffisante pour la qualité du QAT, car elle masque la saturation et l'oubli qui n'apparaissent que dans les benchmarks en aval.
La Fourniture d'une Solution Robuste : Démontrer qu'une stratégie d'estimation de $A_{max}$ conservatrice combinée à un taux d'apprentissage plus faible et un warmup peut atteindre des performances presque sans perte (baisse inférieure à 1 % sur les principaux benchmarks) pour des modèles de 1 milliard de paramètres.
La Clarification des Axes de Conception : Établir que le choix de l'algorithme $A_{max}$ et du taux d'apprentissage sont des axes de conception critiques et interdépendants, plutôt que des hyperparamètres isolés.

Les auteurs concluent que bien que la configuration actuelle soit efficace pour les modèles de 1 milliard de paramètres, les travaux futurs pourraient explorer des taux d'apprentissage par couche, des warmups adaptatifs et l'augmentation du nombre de couches haute précision pour combler davantage les écarts restants.