🔢 mathematics

Accurate Models of NVIDIA Tensor Cores

Cet article présente des modèles logiciels précis permettant d'émuler le comportement des multiplicateurs matriciels des GPU NVIDIA V100, A100, H100 et B200 pour diverses précisions, afin de pallier le manque de reproductibilité et de normalisation IEEE 754 dans les calculs d'IA.

Auteurs originaux : Faizan A. Khattak, Mantas Mikaitis

Publié 2026-04-07

📖 4 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Faizan A. Khattak, Mantas Mikaitis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎮 Le Secret des "Cerveaux" des Super-Ordinateurs : Une Enquête Numérique

Imaginez que les cartes graphiques (GPU) de nos ordinateurs sont comme des usines géantes. Leur travail principal est de construire des images pour les jeux vidéo, mais ces dernières années, elles ont été détournées pour une autre tâche : entraîner l'intelligence artificielle (IA).

Pour faire cela, ces usines utilisent des machines spéciales appelées "Tensor Cores" (cœurs tensoriels). C'est comme un robot super-rapide spécialisé dans une seule tâche : multiplier des grilles de nombres (des matrices) les unes avec les autres. C'est le cœur battant de l'IA moderne.

🚨 Le Problème : Des Robots qui ne parlent pas la même langue

Le problème, c'est que ces robots ne suivent pas les règles officielles de l'arithmétique (les règles IEEE 754, un peu comme le système métrique pour les mathématiques).

Chez NVIDIA (le fabricant de ces puces), chaque nouvelle génération de robot (V100, A100, H100, B200) a ses propres petites astuces.
L'un arrondit les nombres d'une certaine façon, l'autre garde des décimales cachées, un troisième coupe les chiffres trop petits.

C'est comme si vous demandiez à trois chefs cuisiniers différents de faire exactement le même gâteau. Même avec la même recette, le premier mettrait un peu trop de sucre, le second couperait les fruits en dés trop gros, et le troisième utiliserait un four à une température légèrement différente. Le résultat final (le gâteau) serait différent à chaque fois.

Pour les scientifiques, c'est un cauchemar : si vous lancez un calcul sur un ordinateur aujourd'hui, et que vous le relancez sur un ordinateur plus récent demain, vous obtenez un résultat légèrement différent. C'est non reproductible.

🔍 La Mission des Chercheurs : Devenir des Détectives

Les auteurs de ce papier, Faizan et Mantas, ont décidé de jouer les détectives. Leur but ? Comprendre exactement comment chaque modèle de robot NVIDIA fonctionne, jusqu'au plus petit détail (le "bit").

Ils ont utilisé deux méthodes principales, que l'on peut comparer à :

Les Pièges à Souris (Test Vectors) :
Au lieu de tester des millions de nombres au hasard, ils ont créé des "pièges" mathématiques très spécifiques. Imaginez que vous voulez savoir si un robot voit les objets très petits. Vous lui donnez un objet minuscule. S'il le voit, il réagit. S'il ne le voit pas, il ignore l'objet. En observant la réaction du robot à ces pièges, ils ont pu déduire ses règles secrètes (comment il arrondit, combien de chiffres il garde en mémoire, etc.).
Le Jeu du "Qui a raison ?" (Comparaison Massive) :
Une fois qu'ils ont une idée de la façon dont le robot fonctionne, ils construisent un jumeau numérique (un modèle logiciel) sur leur ordinateur. Ensuite, ils lancent des millions de calculs aléatoires (comme des lancers de dés) sur le vrai robot et sur leur jumeau.
- Si les résultats sont identiques : Bravo, le jumeau est parfait !
- Si les résultats diffèrent : Le détective doit regarder la différence, comprendre pourquoi le vrai robot a agi ainsi, et corriger le jumeau.
  Ils répètent ce processus jusqu'à ce que le jumeau soit parfaitement identique au robot réel, bit par bit.

🛠️ Le Résultat : Une Boîte à Outils Magique

Grâce à ce travail acharné, ils ont créé un logiciel gratuit (une boîte à outils) disponible pour tout le monde.

À quoi ça sert ?
Imaginez que vous êtes un architecte qui veut construire un pont. Avant de construire le vrai pont en béton (sur le matériel réel, coûteux et lent), vous pouvez utiliser un logiciel de simulation pour tester si votre design tient bon.
Grâce à ce logiciel, les développeurs d'IA et les scientifiques peuvent :
- Tester leurs algorithmes sur leur ordinateur portable avant de les envoyer sur des super-ordinateurs.
- S'assurer que leurs résultats seront les mêmes, peu importe la génération de carte graphique utilisée.
- Comprendre pourquoi un calcul échoue ou donne un résultat bizarre.

🌟 L'Analogie Finale : Le Traducteur Universel

En résumé, NVIDIA a construit des usines très rapides mais avec des dialectes internes secrets. Ce papier fournit le dictionnaire et le traducteur qui permettent à n'importe qui de comprendre exactement ce que dit chaque machine.

Ils ont non seulement décrypté les modèles actuels (V100, A100, H100, B200), mais ils ont aussi créé un modèle "modulable". C'est comme si vous aviez un robot Lego : vous pouvez changer ses règles d'arrondi ou sa mémoire pour simuler n'importe quelle future machine, ou même inventer vos propres règles pour voir comment cela affecterait vos calculs.

En conclusion : Ce travail rend l'intelligence artificielle et le calcul scientifique plus fiables, plus transparents et plus prévisibles, en remplaçant le mystère par une compréhension précise.

1. Problématique

La multiplication matricielle est une opération fondamentale pour l'entraînement des réseaux de neurones et l'inférence, ainsi que pour le calcul scientifique haute performance (HPC). Les GPU modernes intègrent des unités spécialisées, appelées Tensor Cores (ou Matrix Cores), pour accélérer ces opérations via des instructions de multiplication-accumulation (MMA).

Cependant, plusieurs problèmes majeurs persistent :

Non-conformité aux standards : Contrairement aux opérations flottantes IEEE 754 classiques, les Tensor Cores ne respectent pas strictement les normes de comportement numérique (arrondi, normalisation). Ils sont optimisés pour le débit plutôt que pour la précision absolue.
Hétérogénéité et manque de documentation : Différents fabricants (et même différentes générations de GPU au sein d'un même fabricant comme NVIDIA) implémentent ces unités de manière différente. Les caractéristiques numériques précises (largeur de l'accumulateur, points de normalisation, bits de garde, modes d'arrondi) ne sont pas documentées publiquement.
Irréproductibilité : Cette absence de standardisation entraîne des résultats non reproductibles entre différentes architectures de GPU, ce qui pose un problème critique pour la validation scientifique et l'analyse d'erreurs d'arrondi dans les algorithmes de précision mixte.
Limitations des méthodes actuelles : Les modèles existants sont souvent approximatifs ou basés sur des vecteurs de test manuels qui ne distinguent pas toujours les subtilités entre les modèles matériels. De plus, l'accès physique à une large gamme de GPU pour des tests exhaustifs est limité.

2. Méthodologie

Les auteurs proposent une approche itérative rigoureuse pour construire des modèles logiciels fidèles (au niveau du bit) des Tensor Cores NVIDIA. La méthode se décompose en trois étapes principales :

A. Test de Caractéristiques Numériques Généralisé (GNFT)

Cette étape initiale utilise des vecteurs de test conçus mathématiquement pour déclencher des comportements spécifiques au niveau des bits.

Objectif : Identifier les caractéristiques de base comme le support des nombres dénormaux, les modes d'arrondi, et la taille des blocs FMA (Fused Multiply-Accumulate).
Avantage : Contrairement aux approches précédentes nécessitant des dérivations manuelles ou des prouveurs de théorèmes lents, cette méthode utilise des expressions généralisées pour couvrir rapidement les formats de données (fp8, fp16, bf16, tf19, etc.).

B. Recherche dans l'Espace des Entrées (ISSM)

Une fois un modèle conceptuel approximatif obtenu via le GNFT, une phase de raffinement est lancée pour atteindre une précision au niveau du bit.

Processus : Le modèle logiciel est comparé aux résultats réels du GPU sur des millions de vecteurs d'entrée aléatoires (distributions normales et uniformes).
Itération : Si une divergence est détectée entre le modèle et le matériel, les auteurs analysent les cas d'échec pour formuler de nouvelles hypothèses sur les caractéristiques manquantes (ex: nombre de bits d'alignement supplémentaires, comportement des produits dénormaux).
Boucle de raffinement : Ce cycle (Génération de tests -> Comparaison -> Modification du modèle) se répète jusqu'à ce que le modèle logiciel produise des résultats identiques à ceux du matériel pour tous les tests.

C. Modélisation Logicielle

Les modèles sont implémentés en MATLAB en combinant l'arithmétique à virgule fixe avec le simulateur de format flottant personnalisé CPFloat. Cela permet de simuler précisément les étapes d'alignement, d'accumulation et de normalisation internes des Tensor Cores.

3. Contributions Clés

L'article présente plusieurs contributions majeures :

Détermination précise des caractéristiques numériques : Les auteurs ont analysé et documenté les caractéristiques internes de 31 modèles de Tensor Cores couvrant neuf générations de GPU NVIDIA (V100, A100, A2, A30, L40S, RTX 1000 Ada, H100, H200, B200). Cela inclut des formats d'entrée peu documentés comme le fp8 (E4M3 et E5M2) et le tf19.
Découverte de comportements subtils :
- Identification de la largeur exacte des bits d'alignement (ex: 2 bits supplémentaires sur H100/B200 vs 1 sur A100).
- Mise en évidence d'une limitation spécifique de l'exposant maximum lors de l'alignement des significandes pour les produits dénormaux (plafonné à -133 ou -126 selon le contexte).
- Détection d'un motif d'entrée entrelacé (interleaved) pour les calculs fp8 sur les architectures Hopper (H100/H200) via l'instruction mma.sync, où les éléments sont traités par paires alternées sur deux invocations de Tensor Core.
Boîte à outils MATLAB (Tensor Core v0.4.1) : Développement d'une bibliothèque logicielle open-source disponible sur GitHub. Elle inclut :
- Des modèles pré-entraînés pour chaque architecture GPU citée.
- Un modèle générique paramétrable permettant aux chercheurs de simuler des configurations arbitraires (taille FMA, bits d'alignement, modes d'arrondi) pour tester la robustesse des algorithmes.
Validation exhaustive : Les modèles ont été validés par des tests randomisés à grande échelle (jusqu'à $10^8$ échantillons pour certaines configurations) et sont bit-identiques aux résultats matériels.

4. Résultats

Précision des modèles : Les modèles logiciels reproduisent exactement les sorties des GPU (V100 à B200) pour tous les formats supportés (fp8, fp16, bf16, tf19, fp32), y compris les cas limites (NaN, Inf, nombres dénormaux).
Différences architecturales révélées :
- V100 : Utilise 4 produits par bloc FMA ( $N_{FMA}=4$ ) et 0 bit d'alignement supplémentaire.
- A100/A2/A30 : Utilise 8 produits ( $N_{FMA}=8$ ) pour fp16/bf16, avec 1 bit d'alignement supplémentaire.
- H100/H200/B200 : Utilise 16 produits ( $N_{FMA}=16$ ) pour fp16/bf16, avec 2 bits d'alignement supplémentaires. Pour le fp8, le comportement varie selon l'instruction utilisée (entrelacé via mma.sync vs natif via wgmma).
- L40S/Ada : Similaire à A100 pour les formats standards, mais avec une précision d'accumulateur réduite (13 bits fractionnaires) pour le fp8.
Impact sur les algorithmes : Une expérience de démonstration utilisant l'arithmétique multi-mots (multi-word) pour simuler une haute précision a montré que les erreurs varient significativement selon le modèle de Tensor Core utilisé. Par exemple, à grande échelle, le V100 peut présenter une erreur deux ordres de grandeur inférieure à celle du B200 dans certaines configurations, en raison des différences de gestion de l'arrondi et des bits d'alignement.

5. Signification et Impact

Ce travail est crucial pour plusieurs domaines :

Reproductibilité Scientifique : Il fournit aux chercheurs un moyen fiable de reproduire les résultats des calculs sur GPU sans avoir besoin d'accéder physiquement à chaque génération de matériel.
Développement d'Algorithmes : Les développeurs d'algorithmes de précision mixte peuvent utiliser ces modèles pour concevoir et valider leurs méthodes (comme l'affinement itératif) avant le déploiement sur du matériel coûteux ou indisponible.
Analyse d'Erreurs : En rendant explicites les comportements non standards (arrondi, normalisation), ces modèles permettent une analyse rigoureuse des erreurs d'arrondi, essentielle pour la fiabilité des simulations scientifiques.
Standardisation Future : En documentant les écarts entre les implémentations matérielles, ce travail éclaire les efforts de normalisation (comme IEEE P3109) pour définir des comportements plus prévisibles pour les opérations de réduction matricielle.

En résumé, cet article comble un vide critique entre la théorie des algorithmes numériques et la réalité du matériel hétérogène, offrant un outil indispensable pour la communauté du calcul haute performance et de l'intelligence artificielle.