Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats

Cette étude évalue les formats HiFloat (HiF8 et HiF4) sur les NPU Ascend pour l'inférence de grands modèles de langage, démontrant leur supériorité dans la gestion des données à forte variance et leur capacité à éviter l'effondrement de la précision en 4 bits par rapport aux formats entiers, tout en restant compatibles avec les cadres de quantification actuels.

L'essentiel

Imaginez que vous essayez de faire voyager un géant (une intelligence artificielle très puissante) dans un petit ascenseur (votre carte graphique ou processeur). Le problème ? Le géant est trop lourd et prend trop de place. Pour le faire entrer, il faut le "compresser", un peu comme si on lui demandait de se mettre en position fœtale ou de ranger ses affaires dans des valises plus petites.

C'est exactement ce que fait ce papier de recherche de Huawei. Ils testent de nouvelles façons de compresser ces géants numériques pour les faire tourner sur des puces spéciales appelées Ascend NPU (les "moteurs" de Huawei).

Voici l'explication simple, avec quelques analogies :

1. Le Problème : Trop de détails, pas assez de place

Les modèles d'IA actuels sont énormes. Pour les faire tourner vite et sans consommer toute la batterie, on utilise la quantification. C'est le processus qui consiste à remplacer des nombres très précis (comme 3,1415926...) par des nombres plus simples (comme 3,14).

• L'ancienne méthode (Entiers/INT) : Imaginez que vous avez une règle avec des graduations toutes égales (1 cm, 2 cm, 3 cm...). C'est simple, mais si vous devez mesurer quelque chose de très petit (0,001 cm) ou de très grand (1000 km), votre règle devient soit imprécise, soit inutile.
• La nouvelle méthode (HiFloat) : Les chercheurs ont créé une règle "magique" qui change de taille selon ce que vous mesurez. Si vous mesurez un grain de sable, la règle devient microscopique. Si vous mesurez une montagne, elle s'étire. C'est ce qu'on appelle le format HiFloat (HiF8 et HiF4).

2. La Découverte Majeure : Tout dépend de ce que vous mesurez

Le papier révèle une astuce cruciale qui change la façon dont on doit emballer l'IA :

• Pour les "Poids" (la mémoire statique de l'IA) : C'est comme ranger des livres sur une étagère. Les livres sont tous de taille similaire et ne bougent pas. Ici, la vieille règle à graduations égales (INT8) fonctionne mieux ! Elle est précise là où il faut, sans gaspiller d'espace. Les règles magiques (HiFloat) gaspillent de l'espace pour des tailles de livres qu'on n'a jamais.
• Pour les "Activations" (les pensées en cours de l'IA) : C'est comme une foule en mouvement. Parfois, tout le monde est calme, mais soudain, quelqu'un crie très fort (un "pic" ou outlier). La vieille règle casse ou devient floue à cause de ce cri. Ici, la règle magique (HiFloat) brille ! Elle s'adapte instantanément pour mesurer le cri sans perdre la précision des chuchotements.

3. Le Grand Saut : Le passage au 4 bits (La compression extrême)

C'est là que ça devient fascinant. Quand on essaie de compresser l'IA encore plus (passer de 8 bits à 4 bits, c'est comme passer d'une valise à un sac à dos de randonnée), les vieilles méthodes s'effondrent.

• Le drame des entiers (INT4) : Imaginez essayer de dessiner un portrait réaliste avec seulement 16 crayons de couleur. C'est impossible. Le dessin devient une tache informe. C'est ce qui arrive aux modèles classiques : ils perdent toute leur intelligence.
• Le héros HiF4 : Le format HiF4 est comme un système de zoom à trois niveaux.
  1. Il regarde la grande image (le bloc entier).
  2. Il regarde un sous-groupe.
  3. Il regarde un petit détail.
     Cette structure hiérarchique lui permet de gérer les cris (les valeurs extrêmes) sans sacrifier la précision des chuchotements. Résultat : L'IA reste intelligente même avec un sac à dos minuscule !

4. La Mémoire à Court Terme (KV Cache)

L'IA a besoin de se souvenir de ce qu'elle vient de dire pour continuer une conversation. C'est la "mémoire tampon" (KV Cache).

• Avec les anciennes méthodes, cette mémoire se brouille vite quand on compresse trop.
• Avec HiF4, la mémoire reste claire. C'est comme si vous aviez un carnet de notes qui s'auto-ajuste : si vous écrivez un mot énorme, le carnet s'agrandit pour ne pas le couper, mais reste compact pour les petites phrases.

En Résumé : Pourquoi c'est important ?

Ce papier dit essentiellement : "Arrêtez d'utiliser la même boîte pour tout ranger !"

• Si vous rangez des poids statiques (les connaissances de l'IA), utilisez des boîtes rigides et égales (Entiers).
• Si vous rangez des choses dynamiques et imprévisibles (les pensées en cours ou la mémoire), utilisez des boîtes intelligentes et adaptables (HiFloat).

Grâce à cette découverte, les puces Ascend de Huawei peuvent faire tourner des modèles d'IA gigantesques beaucoup plus vite et avec beaucoup moins de mémoire, sans que l'IA ne devienne "bête". C'est une victoire pour l'efficacité énergétique et la vitesse, permettant d'avoir des super-intelligences dans des appareils plus petits.

Résumé technique

Résumé Technique : Évaluation des Formats HiFloat pour l'Inférence LLM sur les NPU Ascend

1. Problématique

L'expansion exponentielle des Modèles de Langage à Grande Échelle (LLM) impose une pression croissante sur le débit de calcul et la bande passante mémoire. La quantification (réduction de la précision des nombres) est devenue un paradigme essentiel pour alléger ces goulots d'étranglement.
Cependant, les méthodes actuelles reposent majoritairement sur des formats entiers (INT) ou des formats flottants standards (IEEE 754). Les travaux récents montrent que :

• Les formats entiers (INT) souffrent d'un manque de flexibilité face aux distributions de données à forte variance et aux valeurs aberrantes (outliers) fréquentes dans les activations des LLM.
• Les formats flottants à faible précision (comme MXFP ou NVFP4) offrent un meilleur dynamisme mais peuvent être sous-optimaux pour des données statiques comme les poids, où la densité uniforme des entiers est préférable.
• Il existe un manque d'évaluation approfondie des formats flottants hiérarchiques spécifiques aux NPU (Unités de Traitement Neuronal) d'Ascend de Huawei, notamment pour la quantification post-entraînement (PTQ).

2. Méthodologie

Les auteurs évaluent la famille de formats HiFloat (HiF8 et HiF4), conçue spécifiquement pour les NPU Ascend, en la comparant aux standards de l'industrie (MXFP, NVFP4) et aux formats entiers (INT).

• HiF8 (8-bit) : Utilise un code préfixe dynamique pour adapter l'allocation des bits entre l'exposant et la mantisse selon la magnitude des données. Il offre une flexibilité de représentation pour des charges de travail variées.
• HiF4 (4-bit) : Adopte une structure de mise à l'échelle hiérarchique à trois niveaux :
  1. Un facteur d'échelle global par bloc de 64 éléments (E6M2).
  2. Des facteurs d'échelle intermédiaires par sous-bloc de 8 éléments (E1).
  3. Des facteurs d'échelle fins par micro-bloc de 4 éléments (E1).
     Cette structure permet d'isoler les valeurs aberrantes tout en préservant la précision locale.
• Évaluation :
  • Données : Modèles Qwen3-8B et openPangu-7B.
  • Tâches : Quantification des poids, des activations, et du cache KV (Key-Value).
  • Métriques : Rapport Signal-sur-Bruit de Quantification (SQNR), perplexité (PPL) sur Wikitext-2 et C4, et précision sur des benchmarks de raisonnement (MMLU, ARC, GSM8K, etc.).
  • Synergie : Analyse de l'interaction avec des frameworks PTQ existants comme SmoothQuant et SVDQuant.

3. Contributions Clés

1. Formulation Mathématique : Définition formelle des logiques de quantification et de déquantification pour la famille HiFloat.
2. Analyse Distributionnelle : Démonstration que les formats flottants sont supérieurs pour les données à forte variance (activations), tandis que les formats entiers (INT8) sont optimaux pour les poids statiques à distribution étroite.
3. Évaluation End-to-End : Première étude complète de HiFloat pour l'inférence LLM, couvrant l'ensemble de la chaîne (poids, activations, cache KV).
4. Analyse de Synergie : Mise en évidence de la complémentarité entre HiFloat et les techniques d'atténuation des valeurs aberrantes (outlier mitigation).

4. Résultats Principaux

A. Régime 8-bit (W8A8) :

• Poids : INT8 surpasse les formats flottants (HiF8, MXFP8) car les poids des modèles pré-entraînés ont une distribution bornée et symétrique. Les formats flottants gaspillent des bits sur des plages d'exposants inutilisées.
• Activations : Les formats flottants (HiF8, MXFP8) surpassent INT8 grâce à leur large plage dynamique capable de gérer les valeurs aberrantes.
• Cache KV : INT8 reste compétitif car les projections linéaires atténuent les valeurs aberrantes, rendant la plage dynamique excessive des flottants moins critique.
• Conclusion 8-bit : Une approche hybride (INT8 pour les poids, flottant pour les activations) est idéale, mais HiF8 (avec mise à l'échelle) rivalise avec MXFP8.

B. Régime 4-bit (W4A4) - Le point de rupture :

• Échec des entiers : La quantification INT4 entraîne un effondrement catastrophique de la précision (perte de >70% de la performance BF16) car l'espacement uniforme ne peut pas représenter les distributions complexes à 4 bits.
• Supériorité HiF4 : La structure hiérarchique de HiF4 permet d'isoler les valeurs aberrantes tout en maintenant une précision locale fine.
  • Sur Qwen3-8B, HiF4 maintient 96,5% de la précision BF16 (avec RTN simple) et améliore ce résultat avec SmoothQuant/SVDQuant.
  • Sur openPangu-7B, HiF4 limite la dégradation à 3,0% (contre une perte massive pour INT4).
• Comparaison avec NVFP4 : HiF4 se distingue particulièrement dans le contexte du cache KV quantifié en 4 bits, surpassant NVFP4 et MXFP4 sur l'ensemble du pipeline d'inférence.

C. Synergie avec PTQ :
L'intégration de HiFloat avec SmoothQuant et SVDQuant permet une récupération quasi-totale de la précision BF16, confirmant que HiFloat est compatible avec les frameworks d'état de l'art.

5. Signification et Impact

Ce travail établit que HiFloat, et en particulier HiF4, est une solution robuste pour l'inférence de LLM à très faible précision sur les NPU Ascend.

• Innovation Architecturale : La structure hiérarchique à trois niveaux de HiF4 résout le compromis fondamental entre la plage dynamique (nécessaire pour les outliers) et la densité de représentation (nécessaire pour la précision locale), un défi majeur en quantification 4-bit.
• Viabilité Industrielle : Les résultats démontrent que l'inférence 4-bit complète (W4A4 + KV Cache 4-bit) est possible sans perte significative de performance, ouvrant la voie au déploiement de modèles massifs sur du matériel contraint en mémoire.
• Orientation Future : L'étude suggère que l'avenir de la quantification sur NPU réside dans des formats flottants adaptatifs et hiérarchiques plutôt que dans des approches purement entières ou des flottants statiques simples.

En résumé, l'article valide HiFloat comme un standard robuste pour l'inférence LLM haute efficacité sur l'architecture Ascend, comblant le fossé entre la théorie de la quantification et la pratique du déploiement matériel.