🤖 machine learning

Search Your Block Floating Point Scales!

Cet article présente ScaleSearch, une stratégie novatrice qui optimise les facteurs d'échelle en virgule flottante par blocs grâce à une recherche fine des bits de mantisse afin de réduire considérablement l'erreur de quantification et d'améliorer les performances des modèles génératifs de faible précision, y compris un algorithme spécialisé ScaleSearchAttention qui atteint une perte de performance quasi nulle.

Auteurs originaux : Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Ranger une Valise Efficacement

Imaginez que vous essayez de ranger une valise (la mémoire d'un ordinateur) pour un voyage. Vous avez beaucoup d'objets (des données) à faire entrer, mais la valise est petite. Pour que tout rentre, vous devez écraser les objets (ceci s'appelle la quantification).

Par le passé, lorsque l'on rangeait un groupe d'objets, on regardait le plus grand objet du groupe et l'on disait : « D'accord, je vais rétrécir tout le reste pour que le plus grand objet rentre parfaitement. » C'est la méthode standard utilisée par les puces d'IA modernes.

Le Problème :
Les auteurs ont remarqué que le simple fait que le plus grand objet rentre ne signifie pas que le reste des objets est rangé efficacement. Parfois, rétrécir tout le monde en se basant sur le plus grand objet laisse beaucoup d'espace vide ou écrase trop les petits objets, les rendant difficiles à reconnaître plus tard. C'est comme essayer de faire entrer un ours en peluche géant et un petit bouton dans une boîte ; si vous dimensionnez la boîte pour l'ours, le bouton se perd dans le bruit.

La Solution : « ScaleSearch » (L'Emballer Intelligent)

Le papier introduit une nouvelle stratégie appelée ScaleSearch. Au lieu de simplement regarder le plus grand objet et de fixer la règle une fois pour toutes, l'algorithme utilise un petit « projecteur » et vérifie quelques façons différentes de ranger la valise.

L'Ancienne Façon : « Le plus grand objet mesure 10 pouces de haut. Je vais régler mon échelle sur 10. »
La Nouvelle Façon (ScaleSearch) : « Le plus grand objet mesure 10 pouces. Mais attendez... si je règle mon échelle sur 9,5, le grand objet rentre toujours, mais les objets de taille moyenne deviennent beaucoup plus clairs. Si je le règle sur 10,5, les petits objets paraissent mieux. Laissez-moi tester rapidement ces quelques options et choisir celle qui fait que l'ensemble du groupe paraît le meilleur. »

Le papier montre qu'en effectuant cette recherche minuscule et rapide, l'ordinateur peut ranger les données beaucoup plus précisément, réduisant l'« erreur de quantification » (le désordre causé par l'écrasement des données) d'environ 27 %.

Le Matériel Spécial : NVFP4

Ce tour de magie fonctionne spécifiquement grâce à de nouvelles puces d'ordinateur ultra-rapides (l'architecture Blackwell de NVIDIA) qui utilisent un format appelé NVFP4.

Imaginez l'ancienne méthode de rangement comme l'utilisation d'une règle avec seulement de grandes graduations (1, 2, 3). Les nouvelles puces ont une règle avec de petites graduations fines (1,0 ; 1,1 ; 1,2, etc.). ScaleSearch est la technique qui utilise ces petites graduations fines pour trouver l'ajustement parfait, plutôt que de simplement deviner avec les grandes graduations.

La Mise à Niveau de l'« Attention » : ScaleSearchAttention

Les modèles d'IA (comme les chatbots) doivent prêter attention aux mots qu'ils ont déjà dits pour comprendre le mot suivant. Cette « mémoire » s'appelle le Cache KV. Stocker cette mémoire prend beaucoup de place et ralentit les choses.

Les auteurs ont créé une version spéciale appelée ScaleSearchAttention.

Ce qu'elle fait : Elle applique la logique de l'« Emballer Intelligent » à la mémoire de l'IA.
Le Résultat : Elle permet à l'IA de stocker sa mémoire dans un format très compact (4 bits) sans perdre sa capacité à comprendre le contexte.
L'Analogie : Imaginez un bibliothécaire qui doit habituellement écrire chaque titre de livre en détail complet (lent et encombrant). Avec cette nouvelle méthode, le bibliothécaire utilise un code abrégé astucieux qui est petit et rapide à écrire, mais il vérifie deux fois le code pour s'assurer qu'il n'a manqué aucun détail important.

Qu'Ont-ils Démontré ? (Les Résultats)

Le papier a testé cela sur de vrais modèles d'IA (comme Llama et Qwen) et des outils de génération vidéo (comme Mochi).

Meilleure Mathématique et Raisonnement : Lorsqu'ils ont utilisé ScaleSearch sur des problèmes de mathématiques, l'IA est devenue significativement plus intelligente. Pour un modèle, le score à un test de mathématiques a bondi de 15 points par rapport à la méthode standard.
Meilleure Langue : Lorsque l'IA écrivait des histoires ou répondait à des questions, elle commettait moins d'erreurs. La « perplexité » (une mesure de la confusion de l'IA) a diminué, ce qui signifie que l'IA semblait plus naturelle et humaine.
Vitesse : La meilleure partie ? Cette « recherche » est si rapide qu'elle ralentit à peine l'ordinateur. C'est comme vérifier trois façons différentes de nouer vos lacets ; cela prend une fraction de seconde mais assure que vous ne trébucherez pas plus tard. Le système fonctionne à 98 % de la vitesse de la méthode standard.

Résumé

Le papier dit : « Ne devinez pas simplement comment rétrécir vos données en vous basant sur le plus grand morceau. Prenez une fraction de seconde pour vérifier quelques options voisines, et vous obtiendrez un résultat beaucoup plus clair et plus précis avec presque aucune pénalité de vitesse. »

Ils appellent cela ScaleSearch, et lorsqu'il est appliqué à la mémoire de l'IA, ils l'appellent ScaleSearchAttention. Cela rend les modèles d'IA plus intelligents et plus efficaces sans avoir besoin de nouveau matériel.

Résumé technique : Recherchez vos échelles de point flottant par bloc !

Énoncé du problème

La quantification est une technique standard pour accélérer l'inférence des modèles génératifs, mais le maintien de la précision à des largeurs de bits ultra-faibles reste difficile. Bien que les formats de point flottant par bloc (BFP) offrent un compromis équilibré entre plage dynamique, efficacité mémoire et débit, les algorithmes BFP standards reposent sur une échelle fixe déterminée par la magnitude absolue maximale au sein d'un bloc. Les auteurs observent que cette heuristique de « mise à l'échelle maximale » est souvent sous-optimale, entraînant des erreurs de quantification inutiles. Cette question est particulièrement pertinente avec l'avènement de l'architecture Blackwell de NVIDIA, qui introduit un support matériel pour les formats BFP à micro-échelle comme NVFP4. Contrairement au BFP traditionnel, NVFP4 inclut des bits de mantisse dans son échelle de bloc de 8 bits (format E4M3), offrant une granularité plus fine pour la sélection de l'échelle que la mise à l'échelle maximale standard ne parvient pas à exploiter.

Méthodologie

ScaleSearch

La contribution centrale est ScaleSearch, un algorithme qui exploite les bits de mantisse dans les formats à micro-échelle pour effectuer une recherche fine de l'échelle de bloc optimale.

Mécanisme : Au lieu de sélectionner rigoureusement l'échelle en fonction de la valeur maximale du bloc ( $s = \text{round}(\|x\|_\infty / 6.0)$ ), ScaleSearch explore un voisinage d'échelles autour de cette valeur par défaut. Il traite l'échelle comme un décalage entier $f$ appliqué à la représentation binaire de l'échelle par défaut : $s(f) = \text{reinterpret}(\text{reinterpret}(s, \text{int8}) + f, \text{fp8}_{UE4M3})$ .
Stratégie de recherche : L'algorithme recherche exhaustivement un petit intervalle de décalages (par exemple, $f \in [-2, 6]$ ) pour trouver l'échelle qui minimise l'erreur quadratique moyenne (MSE) pour la distribution donnée du bloc.
Justification : L'analyse empirique sur des données gaussiennes synthétiques et des activations de réseaux de neurones réels (par exemple, les états clés de Llama 3.1) révèle une distribution bimodale des décalages optimaux. Alors que l'échelle par défaut (décalage 0) mappe la plus grande magnitude à la valeur FP4 6, une part significative des blocs est mieux représentée en mappant la plus grande magnitude à la valeur FP4 4, ce qui nécessite un facteur d'échelle environ 1,5 fois plus grand. ScaleSearch identifie ces mappages optimaux.

ScaleSearchAttention

Pour étendre ces avantages au mécanisme d'attention et au cache KV, les auteurs proposent ScaleSearchAttention. Il s'agit d'un algorithme d'attention FP4 de bout en bout conçu pour la modélisation linguistique causale qui évite les surcoûts de déquantification.

Exécution native NVFP4 : Il effectue les multiplications matricielles QKT et PV directement sur les Tensor Cores en utilisant la précision NVFP4 avec une accumulation FP32.
Traitement d'incohérence (IP) et réduction de magnitude : Pour atténuer les valeurs aberrantes et réduire l'erreur de quantification dans les tenseurs Q et K, la méthode emploie des transformations de Hadamard (suivant QuIP#) et une paire de transformations linéaires supplémentaire ( $Q' = QR^{-T}, K' = KR$ ) qui préserve les scores d'attention tout en réduisant la magnitude quadratique moyenne des tenseurs projetés.
Mise en cache mixte sensible aux puits d'attention : Reconnaissant que les scores d'attention se concentrent sur les tokens initiaux et récents (Puits d'attention), la méthode stocke les premiers et derniers blocs du cache KV en pleine précision, tandis que les blocs intermédiaires sont stockés en NVFP4 compressé. Cela assure une haute précision pour les tokens critiques sans augmenter l'utilisation de la mémoire avec la longueur de la séquence.

Contributions clés

Algorithme ScaleSearch : Une technique de recherche d'échelle pour la quantification de point flottant par bloc qui minimise l'erreur de quantification au niveau du bloc en explorant des échelles représentables voisines. Elle exploite spécifiquement la résolution de mantisse du format d'échelle NVFP4 E4M3.
ScaleSearchAttention : Un mécanisme d'attention FP4 co-optimisé qui permet une inférence de bout en bout avec une dégradation de précision quasi nulle. Il intègre ScaleSearch, le traitement d'incohérence et la mise en cache mixte KV pour effectuer les opérations QKT et PV directement en NVFP4 sur les Tensor Cores.
Validation empirique : Des expériences extensives démontrant des gains constants en perplexité et en précision des benchmarks par rapport aux précédentes références FP4 (telles que SageAttention3 et Naive-FP4) sur des modèles linguistiques et des modèles de diffusion à grande échelle.

Résultats expérimentaux

Quantification post-entraînement (PTQ)

Modèles linguistiques : Sur le modèle Qwen3-8B, ScaleSearch a amélioré les performances jusqu'à 15 points sur le benchmark MATH-500 par rapport à la quantification NVFP4 standard. Il a également considérablement réduit l'écart sur les benchmarks GPQA et MMLU.
Modèles de diffusion : Appliqué aux modèles Mochi et CogVideoX utilisant SageAttention3, ScaleSearch a amélioré les métriques VQA-a, VQA-t et FScore tout en correspondant aux scores d'alignement en pleine précision (CLIPSIM, CLIP-T).

Attention et perplexité

Perplexité (Wikitext-2) : ScaleSearchAttention a réduit la perplexité jusqu'à 22 % pour Llama 3.1 70B par rapport à la quantification FP4 vanilla. Pour Llama 3.1 70B, il a atteint une PPL de 2,6348, une amélioration significative par rapport à SageAttention3 (3,3899) et Naive-FP4 (3,4000).
GPQA Diamond : Sur le modèle Llama 3.1 8B Instruct, ScaleSearchAttention a atteint une précision de 32,32 %, surpassant SageAttention3 (26,26 %) et correspondant à la référence en pleine précision (31,81 %).

Efficacité et surcoûts

Surcoût de quantification : ScaleSearch introduit un surcoût minimal de 1,74x lors de la phase de quantification de FP32 à NVFP4 (0,0449 ms contre 0,0258 ms pour la référence) pour un intervalle de recherche restreint.
Débit : Dans les noyaux d'attention, ScaleSearch atteint 98,3 % du débit de référence (SageAttention3) pour l'attention non causale à des longueurs de séquence de 32K, démontrant un impact négligeable sur le temps d'exécution.
Latence : La latence de bout en bout pour la génération de texte vers vidéo n'a augmenté que marginalement (par exemple, de 353,40 s à 364,68 s pour Mochi), confirmant l'applicabilité de la méthode pour des charges de travail réelles.

Importance

L'article affirme que ScaleSearch adresse une sous-optimalité fondamentale dans les stratégies d'échelle BFP standard en exploitant les bits de mantisse sous-utilisés dans les formats à micro-échelle. En recherchant systématiquement l'échelle optimale plutôt que de s'appuyer sur un maximum heuristique, la méthode réduit considérablement l'erreur de quantification. L'introduction de ScaleSearchAttention démontre que ces gains peuvent être étendus au mécanisme d'attention, gourmand en mémoire et en calcul, permettant une inférence à faible précision et haut débit avec une perte de précision quasi nulle. Les auteurs positionnent ce travail comme une étape vers l'utilisation complète des capacités matérielles émergentes en 4 bits (comme NVIDIA Blackwell) pour une IA générative efficace.