🤖 machine learning

Finer is Better (with the Right Scaling)

Ce papier résout le paradoxe selon lequel la réduction des tailles de blocs de quantisation dégrade les performances des grands modèles de langage en démontrant que le problème provient de distributions à queues lourdes interagissant de manière défavorable avec les formats FP4, et montre que des interventions algorithmiques ciblées telles que l'échelle 4-over-6 et la prévention du sous-débordement permettent aux formats conformes au matériel standard d'atteindre une qualité optimale avec une granularité plus fine.

Auteurs originaux : Clemens Schaefer, Gil Tabak

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Clemens Schaefer, Gil Tabak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Paradoxe du « Trop Fin »

Imaginez que vous essayez de faire une valise pour un voyage. Vous avez un énorme tas de vêtements (données) et un espace limité (mémoire). Pour tout faire rentrer, vous décidez de couper les vêtements en paquets de plus en plus petits (appelés blocs) afin de les organiser plus efficacement.

Intuitivement, vous penseriez : « Plus les paquets sont petits, mieux je peux tout faire rentrer, non ? »

Dans le monde de l'IA, cela s'appelle la quantification. Les scientifiques ont essayé de rétrécir ces paquets pour rendre les modèles d'IA plus petits et plus rapides. Mais ils ont rencontré un paradoxe étrange : Quand ils rendaient les paquets trop petits, l'IA devenait en fait moins performante. C'était comme essayer de faire une valise avec trop de soin, au point d'écraser les vêtements et de les rendre inutilisables.

Pourquoi cela s'est-il produit ?

Les auteurs de ce papier ont enquêté sur les raisons de ce paradoxe « trop fin ». Ils ont identifié deux coupables principaux :

1. Le Bug du « Zéro » (La Boîte Vide)
Imaginez que vous avez une boîte qui ne peut contenir que des nombres. Si un nombre est minuscule, la règle de la boîte pourrait l'arrondir à zéro. Si vous avez un paquet entier de nombres minuscules, la règle pourrait dire : « D'accord, tout ce paquet est zéro », et jeter le tout.

La Solution : Le papier suggère une règle simple : Ne laissez jamais la règle dire zéro. Si un nombre est trop petit, forcez la règle à utiliser le plus petit nombre positif possible à la place. Cela maintient l'information en vie.

2. Le Problème de la « Règle Grossière » (La Grille Grossière)
C'est le problème le plus important. L'IA utilise un type spécifique de « règle » (appelée E4M3) pour mesurer ces paquets. Cette règle a des écarts très grands entre ses graduations, surtout vers le haut.

L'Analogie : Imaginez que vous essayez de mesurer une chaîne de montagnes avec une règle qui n'a des marques que pour 1 pied, 2 pieds, 4 pieds et 6 pieds.
- Si vous avez une petite colline (un petit bloc de données), la règle pourrait vous forcer à arrondir une colline de 5,9 pieds à 6 pieds. C'est une énorme erreur !
- Quand vous rendez les paquets plus petits, vous vous retrouvez avec plus de ces nombres « hauts » qui sont forcés dans ce grand seau maladroît de 6 pieds. Plus le paquet est petit, plus cette mauvaise arrondie se produit souvent, et plus l'IA performe mal.

Les Solutions : Comment ils l'ont réparé

Les auteurs ont testé trois façons principales de résoudre ce problème, prouvant que des blocs plus fins sont meilleurs, mais seulement si vous utilisez les bons outils.

1. La Règle « Ne Pas Aller à Zéro »
Ils ont simplement programmé le système pour ne jamais laisser un facteur d'échelle devenir zéro.

Résultat : Cela a résolu le problème pour les nombres très minuscules, mais cela n'a pas résolu le problème pour les nombres « hauts » qui étaient arrondis vers le haut jusqu'à 6.

2. Le Choix « 4 ou 6 » (La Méthode 4-sur-6)
C'est l'« ingrédient secret » du papier. Au lieu d'utiliser une règle fixe, le système peut choisir entre deux paramètres spécifiques pour chaque paquet : 4 ou 6.

L'Analogie : Imaginez que vous remplissez une boîte. Parfois, vos objets s'adaptent mieux si vous utilisez une boîte « Moyenne » (4), et parfois ils s'adaptent mieux dans une boîte « Grande » (6). Au lieu de forcer tout dans une boîte « Grande » (ce qui écrase les petits objets), le système vérifie : « Laquelle de ces deux boîtes convient le mieux à ce paquet spécifique ? »
Résultat : Cela a permis à l'IA d'éviter les erreurs d'arrondi maladroites. Quand ils ont utilisé cette méthode, le « paradoxe » a disparu. Les petits paquets sont soudainement devenus beaucoup meilleurs, exactement comme ils auraient dû l'être.

3. La Vérification « Force Brute »
Pour prouver leur point, ils ont lancé une recherche informatique qui a essayé toutes les façons possibles de mesurer les paquets pour trouver la parfaite.

Résultat : Cela a prouvé que théoriquement, des paquets plus petits fonctionnent toujours mieux si vous choisissez la mesure parfaite. Le fait que l'IA échouait auparavant n'était pas dû au fait que les petits paquets sont mauvais ; c'était simplement parce qu'ils utilisaient une mauvaise méthode de mesure.

Le Test du Monde Réel : Est-ce que cela fonctionne sur de vraies IA ?

Ils ont testé cela sur quatre modèles d'IA célèbres (Granite, Llama, DeepSeek et Qwen).

Le Problème : Deux des modèles (Granite et Llama) devenaient moins performants quand les paquets devenaient plus petits, exactement comme le prédisait le paradoxe.
La Solution : Quand ils ont appliqué le choix « 4 ou 6 » et la règle « Ne pas aller à zéro », ces modèles ont arrêté de se détériorer. En fait, ils sont devenus meilleurs à mesure que les paquets devenaient plus petits.
La Comparaison : Ils ont aussi essayé d'utiliser une règle plus sophistiquée et plus coûteuse (appelée UE5M3) qui a plus de graduations. Cela a bien fonctionné aussi, mais cela nécessite plus de puissance matérielle. Leur astuce « 4 ou 6 » leur a permis d'utiliser la règle standard et moins chère tout en obtenant les mêmes excellents résultats.

La Conclusion

Le papier conclut que rendre les modèles d'IA plus petits et plus efficaces (en utilisant de minuscules blocs) est une excellente idée. La raison pour laquelle cela échouait auparavant n'était pas un défaut de l'idée elle-même, mais un défaut du « mètre ruban » utilisé.

En utilisant une méthode plus intelligente pour choisir comment mesurer les données (spécifiquement la méthode « 4-sur-6 »), nous pouvons rendre les modèles d'IA plus petits, plus rapides et plus précis sans avoir besoin de nouveau matériel coûteux. Le paradoxe est résolu : Plus c'est fin, mieux c'est, tant que vous avez le bon facteur d'échelle.

Résumé Technique : Plus Fin est Mieux (avec le Bon Échelle)

Énoncé du Problème
Le déploiement des modèles de langage de grande taille (LLM) sur des architectures de centres de données et de périphérie repose de plus en plus sur des formats de très faible précision (4 bits ou moins) pour atténuer les goulots d'étranglement de mémoire et de bande passante. Le micro-échelonnement, qui applique des facteurs d'échelle individuels à de petits blocs de données (par exemple, taille 16 ou 32), est une technique cruciale pour préserver la qualité du modèle dans ces régimes. Cependant, un paradoxe récent identifié dans la littérature [1] contredit l'attente intuitive selon laquelle des tailles de bloc plus fines produisent une erreur de quantification plus faible. Plus précisément, lors de l'utilisation d'un échelonnement standard par maximum absolu (abs-max) avec des facteurs d'échelle E4M3, la réduction des tailles de bloc peut paradoxalement dégrader la qualité du modèle, entraînant une erreur quadratique moyenne (MSE) plus élevée et une perplexité en aval accrue. Cet article examine les mécanismes sous-jacents de ce phénomène pour déterminer s'il s'agit d'une limitation inhérente à la granularité fine ou d'un problème algorithmique résoluble.

Méthodologie
Les auteurs mènent une enquête en deux phases combinant une analyse numérique et une évaluation de modèle complet :

Étude Numérique : Les auteurs analysent le comportement de quantification à travers diverses tailles de blocs (4, 8, 16, 32) en utilisant FP4 (OCP E2M1) pour les données et E4M3 pour les facteurs d'échelle. Ils échantillonnent des distributions normales pour isoler le comportement théorique de la MSE.
Stratégies d'Échelle : L'étude évalue plusieurs méthodologies d'échelle :
- Abs-Max Standard : La méthode de référence où l'échelle est la valeur absolue maximale dans le bloc, arrondie à la valeur représentable la plus proche dans le format E4M3.
- Prévention du Zéro : Une modification où le facteur d'échelle est contraint à la plus petite valeur représentable non nulle ( $\epsilon_{SF}$ ) pour empêcher la sous-flot vers zéro, ce qui effondrerait autrement toutes les valeurs d'un bloc vers zéro.
- 4-sur-6 : Une intervention algorithmique [2] qui sélectionne le facteur d'échelle parmi les deux plus grandes valeurs représentables dans la plage FP4 (4,0 et 6,0) pour minimiser la MSE d'un bloc spécifique, adaptant ainsi efficacement la géométrie de quantification.
- Recherche par Force Brute : Une référence optimale qui recherche tous les facteurs d'échelle possibles pour trouver la MSE théorique minimale, établissant la limite supérieure de performance.
- Échelonnement Hiérarchique : Un processus en deux étapes impliquant une échelle globale par tenseur suivie d'échelles de bloc locales.
Évaluation en Aval : Les stratégies proposées sont appliquées à la quantification des poids et des activations (spécifiquement les couches MLP) de quatre LLM distincts : Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base et Qwen2.5-14B. La performance est mesurée via les écarts de perplexité par rapport aux références non quantifiées.

Résultats et Conclusions Clés
L'étude identifie que la dégradation observée avec des tailles de bloc plus petites n'est pas un défaut inhérent de la granularité fine, mais une conséquence de distributions de tenseurs à queues lourdes interagissant mal avec les grands compartiments de quantification supérieurs du format FP4 (E2M1).

Région A (Échelles Extrêmement Faibles) : L'échelonnement standard par abs-max provoque fréquemment la sous-flot du facteur d'échelle vers zéro, créant un pic dans la MSE. L'ajustement Prévention du Zéro élimine complètement cette erreur localisée en forçant l'échelle vers la plus petite valeur positive.
Région B (Échelles Modérées) : Même avec la prévention du zéro, une inversion paradoxale persiste où des blocs plus petits produisent une MSE plus élevée. Cela se produit parce que les plus grandes valeurs d'un bloc s'alignent souvent mal avec la grille grossière E4M3, entraînant un écrêtage excessif dans le compartiment de plus grande magnitude (6,0). La méthodologie 4-sur-6 résout cela en choisissant de manière adaptative entre des facteurs d'échelle de 4,0 et 6,0, permettant aux valeurs de s'adapter à la partie plus uniforme de la plage FP4 et évitant un écrêtage fort.
Référence Optimale : La recherche par force brute confirme que lorsque le facteur d'échelle idéal est sélectionné, la MSE s'améliore strictement à mesure que les tailles de bloc diminuent, validant que « plus fin est mieux » est théoriquement fondé.
Comportement Spécifique au Modèle : Dans les évaluations de LLM en aval, des modèles comme DeepSeek et Qwen se comportent de manière intuitive, montrant une perplexité améliorée avec des tailles de bloc plus petites. À l'inverse, Granite et Llama présentent une dégradation paradoxale aux tailles de bloc 4 et 8 sous un échelonnement standard.
- L'application de la Prévention du Zéro offre des améliorations localisées mais ne résout pas entièrement la courbe de perplexité en forme de U pour Granite et Llama.
- L'application de la méthode 4-sur-6 réduit considérablement l'écart de perplexité (par exemple, réduisant l'écart de Llama de 0,725 à 0,270 à la taille de bloc 4), éliminant efficacement le paradoxe.
- Interchangeabilité des Formats : L'article démontre que l'utilisation de facteurs d'échelle E4M3 standards combinés à un échelonnement hiérarchique et à la stratégie 4-sur-6 produit des résultats comparables à l'utilisation de formats personnalisés à exposant plus large comme UE5M3. Bien que UE5M3 offre intrinsèquement une plage absolue plus large, la recette algorithmique (E4M3 + 4-sur-6 + Hiérarchique) réalise des améliorations de qualité similaires.

Signification et Revendications
Les auteurs revendiquent avoir entièrement résolu le « paradoxe de la taille de bloc » en démontrant que la dégradation est pilotée par des interactions spécifiques entre les distributions de tenseurs et la géométrie de quantification, et non par la taille de bloc elle-même.

Résolution Algorithmique : Le travail établit que des formats standards, conformes au matériel (comme OCP E4M3), peuvent égaler les performances de formats personnalisés à exposant plus large (comme UE5M3) si la recette algorithmique correcte (spécifiquement 4-sur-6 et échelonnement hiérarchique) est appliquée.
Compromis Matériels : L'article met en évidence un compromis : bien que UE5M3 offre une plus grande flexibilité sans nécessiter d'échelonnement hiérarchique, l'algorithme 4-sur-6 engendre une surcharge computationnelle (nécessitant deux quantifications et calculs de MSE par bloc). Cette surcharge est acceptable pour la quantification des poids hors ligne mais peut être prohibitif pour la quantification dynamique des activations.
Directions Futures : Les auteurs notent que les heuristiques actuelles restent en deçà de la MSE théorique minimale établie par la recherche par force brute, indiquant que la conception d'algorithmes optimaux de sélection d'échelle reste un domaine critique pour la recherche future.

En conclusion, l'article affirme qu'avec les bonnes stratégies d'échelle, les avantages théoriques d'une granularité de micro-échelonnement plus fine peuvent être réalisés en pratique, permettant des améliorations robustes de la perplexité en aval à travers diverses architectures de LLM.