An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
Cet article présente un catalogue indépendant des fournisseurs de 84 formats numériques et de six packs de conformité bit à bit, accompagnés d'artefacts JSON validés de manière croisée et d'un tableau de correspondance IEEE P3109, afin de fournir une référence commune pour diagnostiquer les divergences silencieuses dans les implémentations matérielles de l'apprentissage automatique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un maître charpentier essayant de construire une chaise. Vous avez un plan qui dit : « Coupez ce pied à 24 pouces. » Mais quand vous allez au magasin de bricolage, vous trouvez trois règles différentes : l'une indique « 24 pouces », une autre « 24,1 pouces », et une troisième « 24 pouces, mais si vous coupez au-delà de 24, le bois se transforme en poussière. »
Si vous utilisez la mauvaise règle, votre chaise aura peut-être l'air correcte au début, mais elle vacillera ou se cassera quand quelqu'un s'assiéra dessus.
Ce document traite d'un problème similaire dans le monde des puces d'Intelligence Artificielle (IA). Les ingénieurs construisent des « règles » plus rapides et plus petites (formats numériques) pour mesurer les nombres pour l'IA. Ils ont créé des dizs de nouveaux types, comme le FP8, le BF16 et le MXFP4. Le problème est que, bien que tout le monde soit d'accord sur le nom de la règle (par exemple, « FP8 E4M3 »), ils ne sont pas toujours d'accord sur la façon dont les graduations sont placées. Une puce peut gérer un nombre énorme en le plafonnant à une valeur maximale, tandis qu'une autre peut simplement générer une erreur (NaN) lorsque ce nombre devient trop grand.
Ce document introduit une « Règle Maîtresse Partagée » pour résoudre cette confusion.
Qu'est-ce que ce document ?
L'auteur, Dmitrii Vasilev, a créé deux outils principaux pour aider les ingénieurs à parler la même langue :
Le « Catalogue des Formats 84 » (L'Encyclopédie) :
Considérez cela comme un dictionnaire massif ou un catalogue de bibliothèque. Il répertorie 84 façons différentes dont les ordinateurs stockent les nombres, organisées en 13 familles. Pour chaque format, il liste les règles exactes : combien de bits sont utilisés, quelle est l'ampleur des nombres, et que se passe-t-il lorsqu'un nombre est trop grand (s'arrête-t-il à la limite, ou se transforme-t-il en « Not a Number » [Pas un Nombre] ?).- Analogie : C'est comme une liste maîtresse de chaque vis, boulon et écrou existant, avec un diagramme montrant exactement combien de filets possède chacun.
Les « Six Packs de Conformité » (Les Kits de Test) :
Le document ne se contente pas de lister les règles ; il fournit six kits de test spécifiques pour les formats les plus populaires utilisés actuellement dans le matériel IA (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2 et E8M0).- Chaque kit est un fichier numérique contenant une liste de « nombres de test ».
- Il vous indique exactement ce que la puce informatique doit produire pour chaque nombre.
- Il inclut un « Nombre d'Ancrage » spécial (la valeur 3.0) qui sert de vérification de cohérence. Si votre puce ne peut pas traiter correctement ce nombre spécifique, vous savez que quelque chose est cassé.
- Analogie : Ce sont comme des « poids d'étalonnage » que l'on pose sur une balance. Si la balance n'affiche pas exactement 3,0 livres lorsque vous posez le poids de 3 livres, vous savez que la balance est défectueuse.
La Grande Découverte : « L'Écart d'Interprétation »
La partie la plus importante du document n'est pas seulement que les règles existent, mais que l'auteur a découvert que les règles divergent à deux endroits spécifiques, même si les règles officielles autorisent les deux cas.
Écart 1 (Le Problème de l'Overflow/Dépassement) : Imaginez qu'un nombre soit si énorme qu'il ne rentre pas dans le format.
- La Puce A dit : « Je vais simplement le plafonner à la plus grande valeur que je peux contenir. » (Saturation)
- La Puce B dit : « Je ne peux pas contenir cela, donc je vais générer un message d'erreur (NaN). »
- Les deux puces suivent le manuel officiel, mais elles le font différemment. Ce document expose cette différence afin que les ingénieurs ne soient pas confus lorsqu'un modèle d'IA fonctionne sur une puce mais échoue sur une autre.
Écart 2 (Le Problème de la Structure de Bloc) : Certains formats regroupent les nombres par « blocs » (comme une boîte de 32 vis).
- Le Format A utilise une boîte de 32 vis avec une étiquette simple.
- Le Format B utilise une boîte de 16 vis avec une étiquette plus détaillée.
- Même si les vis individuelles (les nombres) semblent identiques, la façon dont elles sont emballées dans la boîte change le fonctionnement de l'ensemble. Le document souligne que vous ne pouvez pas simplement échanger ces formats sans vérifier la « taille de la boîte ».
Ce que ce document n'est PAS
L'auteur est très clair sur ce que ce document ne fait pas :
- Il ne dit pas quel format est « meilleur » ou plus rapide.
- Il ne teste pas les performances des modèles d'IA (comme la précision d'un chatbot).
- Il n'invente pas de nouveaux formats.
- C'est purement un outil de référence pour s'assurer que tout le monde mesure de la même manière.
Pourquoi est-ce important ?
Avant ce document, si un ingénieur déplaçait un modèle d'IA d'une puce d'une entreprise à une autre, il pouvait obtenir des résultats différents sans savoir pourquoi. C'était comme essayer de construire un pont où une équipe utilisait des pouces et l'autre des centimètres, mais sans que personne n'admette la différence.
Ce document fournit la règle partagée et les poids de test. Il permet aux ingénieurs de dire : « D'accord, ma puce réussit le test de l'ancre 3.0 et gère l'overflow exactement comme le fichier de référence. » Si ce n'est pas le cas, ils savent qu'ils ont un bug à corriger.
En résumé, ce document est le ruban à mesurer standardisé pour le monde chaotique des formats numériques de l'IA, garantissant que lorsque différentes entreprises construisent du matériel d'IA, elles parlent toutes le même langage mathématique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.