🔢 mathematics

Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

Cet article présente une analyse d'erreur déterministe rigoureuse du schéma Ozaki-II pour la multiplication matricielle de haute précision, clarifiant ses limites de précision sous des distributions d'exposants larges et fournissant une méthode pour estimer le nombre nécessaire d'opérations de basse précision pour atteindre un niveau de précision souhaité.

Auteurs originaux : Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Construire un mur géant avec de minuscules briques

Imaginez que vous êtes un architecte essayant de construire un mur massif et incroyablement précis (un calcul de haute précision) en utilisant uniquement de minuscules briques rugueuses (des puces informatiques de faible précision).

Les ordinateurs modernes, en particulier ceux conçus pour l'intelligence artificielle, sont incroyablement rapides pour manipuler ces « minuscules briques rugueuses » (plus précisément, des entiers de 8 bits). Cependant, ils sont plus lents ou moins efficaces pour manipuler les « briques géantes et lisses » (les nombres standards de haute précision comme les flottants 32 bits ou 64 bits).

Le schéma Ozaki-II est une méthode de construction ingénieuse qui vous permet de construire un mur de haute précision parfait en utilisant uniquement ces minuscules briques rapides. Les auteurs de ce document ont créé un plan (analyse d'erreur) pour prouver exactement la solidité et la précision de ce mur, ainsi que le nombre de minuscules briques dont vous avez besoin pour accomplir le travail correctement.

Le problème : L'enjeu de la « large étendue »

Lors de tests précédents, cette méthode fonctionnait très bien, mais il y avait un piège. Si les nombres que vous multipliiez avaient une « large étendue » (certains étaient énormes, d'autres minuscules), le mur présentait parfois des fissures. Pour corriger cela, il fallait utiliser tellement de minuscules briques que le processus devenait à nouveau lent.

Les auteurs voulaient savoir : De combien de briques avons-nous exactement besoin pour garantir un mur parfait, quelle que soit l'étendue des nombres ?

La solution : Le tour de magie du « Théorème des restes chinois »

Pour résoudre cela, le schéma Ozaki-II utilise un tour de magie mathématique appelé le Théorème des restes chinois (CRT).

L'analogie : Les casiers à code secret
Imaginez que vous vouliez connaître le poids exact d'un éléphant géant, mais que votre balance ne puisse peser que de petits objets (jusqu'à 100 livres).

Vous placez l'éléphant dans un casier qui n'affiche que le poids modulo 7 (le reste de la division par 7).
Vous le placez dans un autre casier qui affiche le poids modulo 11.
Vous le placez dans un troisième qui affiche le poids modulo 13.

Même si chaque casier ne vous donne qu'un petit reste déroutant, si vous connaissez les restes pour plusieurs « modulos » différents (7, 11, 13, etc.), vous pouvez reconstruire mathématiquement le poids total exact de l'éléphant.

Le schéma Ozaki-II fait cela avec des matrices (des grilles de nombres) :

Découpage : Il décompose les grands nombres en morceaux plus petits qui rentrent dans les minuscules briques de 8 bits.
Calcul modulo : Il calcule le résultat en utilisant ces petits morceaux dans de nombreux différents « casiers » (en utilisant différents nombres premiers).
Réassemblage : Il utilise le CRT pour recoudre tous ces petits résultats en une seule réponse géante et précise.

Ce que ce document fait réellement : L'« inspecteur de sécurité »

Bien que nous sachions que cette méthode pouvait fonctionner, nous n'avions pas de règle du jeu rigoureuse pour savoir à quel point elle fonctionnerait dans chaque situation. Ce document agit comme l'inspecteur de sécurité.

Les auteurs ont réalisé une analyse d'erreur déterministe. Cela signifie qu'ils ne se sont pas contentés de deviner ou de tester des cas aléatoires ; ils ont utilisé des mathématiques strictes pour écrire une formule qui prédit la « fissure » (l'erreur) maximale possible dans le mur final.

Principaux résultats de l'inspection :

La Formule : Ils ont dérivé une équation spécifique qui vous indique exactement la précision du résultat en fonction de deux choses :
1. La « largeur » des nombres que vous multipliez (la distribution de l'exposant).
2. Le nombre de « casiers » (modulos) que vous avez utilisés.
Le compromis : Le document prouve que si les nombres sont très « larges » (certains énormes, d'autres minuscules), vous devez simplement augmenter le nombre de casiers (modulos) pour maintenir l'erreur faible.
Validation : Ils ont testé cette formule sur un GPU NVIDIA puissant (un RTX 4090). Les erreurs réelles observées dans l'ordinateur étaient toujours inférieures aux chiffres du « pire scénario » prédits par leur formule. Cela prouve que leur plan de sécurité est précis et fiable.

Pourquoi cela importe (selon le document)

Le document affirme que cette analyse est une base pour le réglage automatique.

Voyez cela comme une équipe de construction autonome. Auparavant, un humain devait deviner combien de briques utiliser. Désormais, avec cette formule, l'ordinateur peut regarder les nombres qu'il s'apprête à multiplier, calculer la « largeur » des données, et décider automatiquement : « D'accord, pour ce travail spécifique, j'ai besoin de 15 casiers pour être en sécurité. Pour cet autre travail, je n'ai besoin que de 5. »

Cela permet à l'ordinateur d'obtenir la vitesse la plus élevée possible sans sacrifier la précision, garantissant que la méthode de la « minuscule brique » est à la fois rapide et digne de confiance pour le calcul scientifique.

Résumé

Le but : Utiliser des puces informatiques rapides et de faible précision pour effectuer des calculs de haute précision lents.
La méthode : Utiliser un tour de magie mathématique (CRT) pour combiner de nombreux calculs simples et petits en un seul grand calcul précis.
La contribution du document : Il fournit une garantie mathématique stricte (une borne d'erreur) qui vous indique exactement la précision du résultat et le nombre de petits calculs nécessaires pour atteindre un niveau de précision souhaité.
Le résultat : La méthode est prouvée fiable, et la nouvelle formule permet aux ordinateurs d'ajuster automatiquement leurs paramètres pour obtenir le meilleur équilibre entre vitesse et précision.

Résumé Technique : Analyse d'Erreur de l'Émulation de Multiplication de Matrices via le Schéma Ozaki-II

Énoncé du Problème
Le matériel IA moderne, en particulier les GPU équipés de moteurs de matrices INT8, offre un débit exceptionnel pour l'arithmétique de faible précision, surpassant de manière significative les opérations en virgule flottante natives en simple (FP32) et double (FP64) précision. Cependant, les charges de travail classiques du calcul de haute performance (HPC) et de nombreux travaux d'apprentissage automatique nécessitent la fiabilité numérique d'une précision plus élevée. Bien que des méthodes d'émulation existent pour reconstruire des résultats de haute précision à l'aide de séquences d'opérations de faible précision, l'exactitude de ces méthodes n'est pas garantie pour toutes les distributions d'entrées. Plus précisément, le schéma Ozaki-II, qui exploite le théorème des restes chinois (CRT) pour émuler la multiplication de matrices, a démontré des performances élevées mais manque d'une analyse d'erreur déterministe rigoureuse. Des études antérieures ont noté que l'exactitude du schéma se dégrade lorsque les matrices d'entrée possèdent une large distribution d'exposants, nécessitant un grand nombre de multiplications de faible précision pour maintenir la précision. Sans une borne théorique, il est difficile de déterminer le nombre de modules requis pour atteindre une cible d'exactitude spécifique.

Méthodologie
L'article présente une analyse d'erreur déterministe rigoureuse pour le schéma Ozaki-II appliqué à la multiplication de matrices générales (GEMM) en précision simple (SGEMM) et double (DGEMM). La méthodologie comprend :

Formalisation du Schéma Ozaki-II : Les auteurs détaillent le processus d'émulation, qui convertit les matrices en virgule flottante $A$ et $B$ en matrices entières $A'$ et $B'$ via un étalonnage diagonal et un tronquage. Ces entiers sont ensuite décomposés modulo des entiers premiers entre eux $p_\ell$ . Les produits sont calculés à l'aide de moteurs de matrices INT8, et les résultats sont reconstruits à l'aide du CRT pour former une approximation entière du produit, qui est finalement remise à l'échelle au format virgule flottante.
Dérivation des Bornes d'Erreur : Les auteurs décomposent l'erreur totale en trois composantes principales :
- Erreur de Tronquage : Résultant de la conversion des entrées en virgule flottante en entiers mis à l'échelle.
- Erreur d'Accumulation : Résultant de la sommation des produits modulaires en arithmétique de virgule flottante de haute précision.
- Erreur de Réduction Finale : Se produisant lors des étapes de reconstruction par le CRT et de remise à l'échelle.
Preuves Théoriques : L'article fournit des preuves formelles pour une série de lemmes établissant l'unicité de la solution candidate, les bornes sur les erreurs de tronquage et d'accumulation, ainsi que la validité des opérations d'arrondi utilisées dans la reconstruction. Ces lemmes culminent dans le Théorème 2, qui fournit une borne supérieure déterministe pour l'erreur $|AB - C_b|$ , où $C_b$ est le résultat calculé.
Validation Expérimentale : Des expériences numériques ont été menées sur un GPU NVIDIA GeForce RTX 4090. Les bornes d'erreur théoriques dérivées de l'analyse ont été comparées aux erreurs numériques observées pour des matrices présentant des plages dynamiques variables (contrôlées par un paramètre $\phi$ ).

Contributions Clés

Analyse d'Erreur Déterministe Rigoureuse : La contribution principale est la dérivation d'une borne d'erreur déterministe (Théorème 2) pour le schéma Ozaki-II. Cette borne relie explicitement l'erreur numérique à la distribution d'exposants des matrices d'entrée et au nombre de modules ( $N$ ) utilisés dans le CRT.
Bornes Affinées : L'article propose deux formes d'estimation d'erreur : une borne plus serrée (Éq. 16) qui dépend de la magnitude du produit entier intermédiaire $|A'B'|$ , et une borne plus conservatrice mais plus économique en termes de calcul (Éq. 20) qui remplace ce terme par une borne supérieure constante.
Validation du Comportement de l'Exactitude : L'analyse explique théoriquement pourquoi l'exactitude du schéma dépend de la distribution d'exposants des entrées et confirme qu'augmenter le nombre de modules réduit l'erreur de tronquage, améliorant ainsi l'exactitude.
Preuve de Correction des Détails d'Implémentation : Les auteurs prouvent que des choix d'implémentation spécifiques, tels que l'utilisation de l'arithmétique double-double pour les constantes et la gestion spécifique du débordement (wrapping) INT8, n'introduisent pas d'erreurs non bornées qui compromettraient le résultat final.

Résultats

Erreur Théorique vs Observée : Les expériences numériques sur la RTX 4090 ont démontré que les erreurs d'émulation observées pour SGEMM et DGEMM sont systématiquement bornées par les estimations théoriques dérivées du Théorème 2.
Étroitesse de la Borne : La borne plus serrée (Éq. 16) s'est avérée mieux capturer la plage d'erreurs observées par rapport à la borne conservatrice (Éq. 20). Cependant, la borne conservatrice a été jugée pratique pour une estimation robuste de l'erreur car elle repose uniquement sur des produits matrice-vecteur plutôt que sur le calcul potentiellement coûteux de $|A'B'|$ .
Comparaison avec la Précision Native : Les résultats illustrent l'exactitude relative de l'émulation par rapport aux routines natives FP32 et FP64, confirmant que le schéma Ozaki-II peut atteindre une haute précision lorsqu'il est configuré avec un nombre approprié de modules.

Signification
L'article affirme que cette analyse d'erreur fournit un fondement critique pour le développement futur du schéma Ozaki-II. Plus précisément, elle permet le réglage automatique des paramètres liés à l'exactitude, tels que le nombre de modules, en fonction de la distribution d'exposants des matrices d'entrée afin d'atteindre un niveau d'exactitude numérique souhaité. En clarifiant la relation entre les caractéristiques d'entrée et la fiabilité numérique, l'analyse comble l'écart entre la haute performance du schéma et son exactitude variable, le rendant plus viable pour le calcul de haute précision à usage général sur le matériel d'IA moderne. Les auteurs notent que ce cadre analytique pourrait également être étendu à l'émulation de la multiplication de matrices à valeurs complexes dans des travaux futurs.