Résumé technique : Équilibrer l'inexactitude dans les calculs matriciels en précision mixte

Énoncé du problème

Alors que la puissance de calcul entre dans l'ère de l'exascale, les architectures de haute performance supportent de plus en plus l'arithmétique dans de multiples précisions et formats numériques. Cependant, un défi important subsiste : concevoir des algorithmes capables d'exploiter ces capacités en toute sécurité sans compromettre la précision.

En calcul scientifique, les calculs matriciels sont intrinsèquement inexacts en raison de multiples sources d'erreur, notamment l'erreur de modélisation, l'erreur de discrétisation, l'erreur d'approximation de linéarisation, l'erreur d'approximation algorithmique et l'erreur d'arrondi de précision finie. Historiquement, ces erreurs ont été étudiées de manière isolée, l'erreur d'arrondi étant souvent ignorée sous l'hypothèse que la double précision (64 bits) est suffisante.

Le problème central abordé par cet article est que, sur le matériel moderne doté de divers formats de largeur de bits (par exemple, FP16, BF16, FP8), ignorer l'erreur d'arrondi et son interaction avec d'autres sources d'inexactitude est à la fois dangereux et une opportunité manquée pour la performance. L'article soutient que lorsqu'autres sources significatives d'inexactitude sont déjà présentes (par exemple, les approximations de bas rang, la discrétisation), on peut réduire la précision en toute sécurité dans des étapes de calcul spécifiques. L'objectif est d'« équilibrer » ces erreurs — en choisissant des précisions telles que l'erreur d'arrondi ne domine pas le budget d'erreur total — afin d'améliorer les performances sans diminution notable de la précision.

Méthodologie

L'article adopte une approche analytique holistique, intégrant l'analyse d'erreur de précision finie aux limites d'erreur existantes provenant d'autres sources d'inexactitude. Plutôt que de traiter l'erreur d'arrondi comme une entité distincte, la méthodologie consiste à :

1. Dériver des bornes de précision mixte : Établir des bornes théoriques combinant l'erreur de l'approximation algorithmique (par exemple, troncature, randomisation) avec l'erreur d'arrondi introduite par l'arithmétique de plus faible précision.
2. Critères d'équilibrage d'erreur : Développer des conditions où l'erreur de précision finie est bornée par rapport à l'erreur d'approximation dominante. Cela permet la sélection de la précision la plus basse possible ($u$) satisfaisant la condition $u \lesssim \text{erreur d'approximation}$.
3. Validation empirique : Réaliser des expériences numériques à l'aide de MATLAB 2025a sur des matrices issues de la collection SuiteSparse pour vérifier les bornes théoriques et démontrer les gains de stockage et de performance.

L'article passe en revue l'histoire du raffinement itératif (IR) en précision mixte comme un exemple fondamental d'algorithmes « autocorrecteurs » où la précision mixte est naturelle, avant d'étendre cette philosophie à trois domaines spécifiques où les autres erreurs dominent.

Contributions clés et exemples

L'article présente trois exemples spécifiques démontrant l'approche d'« équilibrage » :

1. Préconditionneurs d'inverse approximatif creux (SPAI) en précision mixte

• Contexte : Les préconditionneurs SPAI sont utilisés dans les méthodes de sous-espace de Krylov. Leur construction est coûteuse en termes de calcul.
• Méthode : Les auteurs analysent la construction de l'inverse approximatif creux $M \approx A^{-1}$. Ils dérivent une condition où toute la construction peut être effectuée dans une précision inférieure $u_s$, à condition que $u_s \cdot \text{cond}_2(A) \lesssim \tau$, où $\tau$ est la tolérance d'arrêt du résidu.
• Résultat : Les expériences sur la matrice steam1 montrent que l'utilisation de la simple précision pour la construction du préconditionneur (dans un cadre GMRES-IR en double précision) constitue une alternative viable au préconditionnement par LU. Bien qu'elle puisse nécessiter légèrement plus d'itérations GMRES, le préconditionneur résultant est nettement moins coûteux à stocker et à appliquer (par exemple, 1 296 éléments non nuls contre 14 081 pour LU), démontant un compromis entre le nombre d'itérations et le coût d'application.

2. Approximation de Nyström randomisée en précision mixte

• Contexte : Cette méthode approxime une matrice symétrique semi-définie positive $A$ à l'aide d'une approximation de Nyström de rang $k$. Le coût dominant est le produit matrice-matrice $Y = A\Omega$.
• Méthode : L'article dérive une borne pour l'erreur totale comme étant la somme de l'erreur d'approximation exacte et de l'erreur de précision finie. Une heuristique est proposée : l'erreur de précision finie ne dominera pas si la précision $u_p$ utilisée pour accéder à $A$ satisfait $u_p \leq n^{-1/2} (\lambda_k / \lambda_1)$, où $\lambda_k$ et $\lambda_1$ sont respectivement la $k$-ième et la plus grande valeur propre.
• Résultat : Les expériences sur la matrice bcsstm07 confirment que pour les rangs cibles $k$ où la décroissance des valeurs propres est lente (erreur d'approximation élevée), la demi-précision peut être utilisée en toute sécurité pour l'accès à la matrice sans dégrader l'erreur totale par rapport à l'arithmétique exacte. La simple précision est montrée comme étant sûre sur une plage plus large.

3. Approximations de matrices hiérarchiques (HODLR) en précision mixte

• Contexte : Les matrices HODLR approchent les blocs hors-diagonaux comme des matrices de bas rang, réduisant la complexité de $O(n^2)$ à $O(pn \log n)$.
• Méthode : Puisque les blocs hors-diagonaux sont déjà approximés avec une erreur relative $\epsilon$, l'article analyse le stockage de ces blocs en précision inférieure $u_k$. Une borne est dérivée montrant que si $u_k \leq \epsilon / (2^{k/2}\xi_k)$, l'erreur globale reste dominée par l'erreur d'approximation $\epsilon$, et non par l'erreur d'arrondi.
• Résultat : Une approche de précision adaptative est développée. Les expériences sur diverses matrices SuiteSparse démontrent des économies de stockage significatives (jusqu'à 2x ou plus) en stockant les blocs hors-diagonaux en précision inférieure (par exemple, FP16 ou FP8) tout en maintenant l'erreur globale dans la cible $\epsilon$. L'article fournit également des directives pour fixer la précision de travail dans les opérations suivantes (comme les produits matrice-vecteur ou la factorisation LU) afin de garantir que l'erreur résiduelle ne dépasse pas l'erreur de représentation.

Résultats

Les expériences numériques démontrent systématiquement que :

• Gains de performance/stockage : Une précision inférieure peut être utilisée pour des composants spécifiques (construction de préconditionneur, accès matriciel dans les méthodes randomisées, blocs hors-diagonaux dans les matrices hiérarchiques) sans dégrader la précision de la solution finale.
• Dominance de l'erreur : Dans tous les cas, l'erreur de précision finie reste subdominante par rapport à l'erreur d'approximation inhérente (discrétisation, troncature ou approximation de bas rang) lorsque les conditions d'équilibrage dérivées sont respectées.
• Viabilité : La précision mixte n'est pas seulement une possibilité théorique, mais une stratégie pratique pour réduire l'empreinte mémoire et augmenter le débit sur le matériel exascale moderne.

Signification et perspectives

L'article affirme que la portée de ce travail réside dans le changement de paradigme de l'analyse d'erreur. Au lieu de considérer l'erreur d'arrondi comme un désagrément à minimiser en utilisant la précision la plus élevée possible, elle doit être vue comme une ressource à équilibrer avec d'autres erreurs inévitables.

Les auteurs soulignent qu'à mesure que le matériel devient plus hétérogène (intégrant des GPU, des accélérateurs spécialisés et des formats non-IEEE), la conception d'algorithmes doit évoluer pour considérer le « processus complet de la science computationnelle ». L'article conclut en notant que cet acte d'équilibre est crucial pour les futurs paradigmes, y compris le matériel approximatif, l'informatique quantique et l'informatique neuromorphique. Ce travail sert d'appel à l'action pour que les chercheurs analysent les sources d'erreur spécifiques dans leurs propres applications afin d'identifier les opportunités sûres d'exploitation de la précision mixte.

Le manuscrit est dédié à Nicholas J. Higham, en reconnaissance de son influence fondamentale sur les algorithmes de précision mixte.