💻 computer science

Floating-point autotuning with customized precisions

Cet article présente PROMISE, un outil de réglage de précision automatisé qui utilise un cadre de recherche parallèle conteneurisé pour identifier les configurations optimales de virgule flottante à précision mixte pour les applications numériques, démontrant que des gains significatifs de performance et d'efficacité sont réalisables en réduisant la précision sans compromettre l'exactitude.

Auteurs originaux : Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinye Chen, Thibault Hilaire, Fabienne Jézéquel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de cuisiner le gâteau parfait. Pendant des années, vous avez utilisé les verres doseurs les plus chers et les plus précis disponibles (appelons-les les « Verres d'Or ») pour chaque ingrédient, de la farine à une pincée de sel. Vous faites cela parce que vous craignez que si vous utilisez un verre moins cher, le gâteau ne s'effondre.

Mais et si vous réalisiez que pour la farine, une mesure approximative convient, mais que pour l'extrait de vanille, vous avez absolument besoin du Verre d'Or ? Si vous utilisiez des Verres d'Or pour tout, vous gaspilleriez de l'argent et du temps, même si le goût du gâteau resterait le même.

C'est exactement le problème auquel les informaticiens sont confrontés avec les nombres à virgule flottante (la façon dont les ordinateurs gèrent les décimales). Pendant des décennies, les ordinateurs ont utilisé un standard de « Verre d'Or » appelé Double Précision (FP64) pour presque tous les calculs. Il est incroyablement précis, mais il est lourd, lent et gourmand en énergie.

Ce document présente une nouvelle version d'un outil appelé PROMISE (qui signifie PRecision OptiMISE). Voyez PROMISE comme un sous-chef intelligent et automatisé qui goûte votre gâteau (exécute votre code) et vous dit exactement quels ingrédients nécessitent le Verre d'Or et lesquels peuvent être mesurés avec une petite cuillère en plastique bon marché.

Voici comment le document explique leur nouvelle approche, décomposée en concepts simples :

1. Le Problème : Une taille unique ne convient pas à tous

Les puces informatiques modernes (comme celles de votre téléphone ou de vos cartes graphiques) deviennent meilleures pour effectuer des calculs avec des « petits » nombres (comme le FP16 ou même des formats personnalisés à 8 bits). Ces petits nombres sont comme l'utilisation d'une cuillère en plastique : ils sont rapides et consomment très peu d'énergie. Cependant, si vous les utilisez pour tout, vos résultats pourraient devenir inutilisables (le gâteau brûle).

Le défi consiste à trouver le mélange parfait : utiliser les « cuillères en plastique » là où c'est sûr, et les « Verres d'Or » uniquement là où c'est absolument nécessaire.

2. L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode : Les outils précédents ne pouvaient basculer qu'entre quelques tailles standards (comme passer d'une cuillère à café à une cuillère à soupe). Ils ne pouvaient pas inventer de nouvelles tailles.
La Nouvelle Méthode (Précision Personnalisée) : Les auteurs ont amélioré PROMISE pour permettre des tailles de verres personnalisées. Imaginez que vous puissiez demander un outil de mesure qui fait exactement 5 bits pour la partie « nombre entier » et 2 bits pour la partie « décimale ». Ceci est crucial pour le nouveau matériel comme les FPGA (puces reconfigurables) qui permettent de concevoir vos propres règles mathématiques.

3. Comment fonctionne PROMISE : Le jeu du « Delta Debugging »

Comment l'outil sait-il quels variables (ingrédients) peuvent être réduites en taille ? Il utilise un jeu astucieux appelé Delta Debugging.

Imaginez que vous avez une ligne de 100 ingrédients. Vous voulez savoir lesquels peuvent être mesurés avec une cuillère en plastique.

Commencer haut : Vous mesurez d'abord tout avec le Verre d'Or pour obtenir une référence parfaite du gâteau.
L'hypothèse : Vous essayez de remplacer la moitié des ingrédients par des cuillères en plastique.
Le test de goût : Vous cuisez le gâteau à nouveau.
- Si le gâteau a le même goût (le calcul est toujours assez précis), vous gardez les cuillères en plastique et essayez de remplacer plus d'ingrédients.
- Si le gâteau est raté, vous savez que vous avez remplacé trop d'éléments. Vous revenez en arrière et essayez de remplacer moins d'ingrédients.
Le résultat : L'outil réduit rapidement la liste, trouvant le nombre exact de Verres d'Or nécessaires pour sauver le gâteau, tout en utilisant des cuillères en plastique pour le reste.

4. Les « Lunettes Magiques » (CADNA)

Pour savoir si le gâteau est « raté » sans réellement le cuire un million de fois, PROMISE utilise une bibliothèque appelée CADNA. Considérez CADNA comme une paire de lunettes magiques que l'ordinateur porte pendant qu'il cuisine. Ces lunettes ne voient pas seulement les nombres ; elles voient l'incertitude ou le « bruit » dans les nombres. Elles peuvent dire : « Hé, ce calcul est si sensible qu'une infime erreur de cuillère en plastique ruinera le résultat », ou « Ce calcul est si robuste qu'une cuillère en plastique convient parfaitement ».

5. La « Fabrique » (Cadre de test/Benchmarking)

Exécuter ces tests de goût prend beaucoup de temps. Pour accélérer le processus, les auteurs ont construit une fabrique conteneurisée.

Imaginez que vous avez 100 recettes différentes (algorithmes) à tester.
Au lieu de tester ces recettes une par une dans une seule cuisine, ils placent chaque recette dans son propre conteneur Docker (une unité de cuisine autonome).
Ils font tourner 6 de ces cuisines en même temps sur un serveur puissant.
Résultat : Ce qui prenait 13 heures ne prend plus que 3 heures. C'est comme avoir une équipe de chefs travaillant en parallèle au lieu d'un seul chef travaillant seul.

6. Ce qu'ils ont trouvé (Les Résultats)

L'équipe a testé cela sur diverses « recettes », notamment :

Les Réseaux de Neurones (apprendre aux ordinateurs à reconnaître des images).
Les Simulations Thermiques (déterminer comment la chaleur se déplace à travers une puce informatique).
L'Imagerie Médicale (suivre des particules dans des vidéos).
L'Algèbre Linéaire (résoudre des équations mathématiques complexes).

La Grande Découverte :
Ils ont découvert que pour la plupart de ces programmes, le standard « Verre d'Or » (Double Précision) est totalement excessif.

43 % des variables pouvaient être calculées en utilisant une précision de 32 bits (un verre de taille moyenne) ou moins.
28 % pouvaient être calculées avec une précision de 16 bits ou moins (petites cuillères en plastique).
Dans certains cas, ils pouvaient utiliser des formats personnalisés à 8 bits (comme le format E5M2 mentionné dans le document) pour environ 23 % des variables sans altérer la précision.

Résumé

Le document ne prétend pas avoir inventé une nouvelle recette de gâteau ou un nouveau traitement médical. Au lieu de cela, il propose une meilleure façon de mesurer les ingrédients.

En améliorant l'outil PROMISE pour gérer des verres doseurs de tailles personnalisées et en exécutant les tests dans une « fabrique » parallèle, les auteurs ont montré que nous pouvons rendre les programmes informatiques beaucoup plus rapides et économes en énergie sans sacrifier la précision. Nous devons simplement arrêter d'utiliser le Verre d'Or pour tout et commencer à utiliser le bon outil pour la bonne tâche.

Résumé Technique : Autotuning de la virgule flottante avec des précisions personnalisées

Énoncé du Problème
L'arithmétique à précision réduite offre un potentiel significatif pour améliorer les performances, l'utilisation de la mémoire et l'efficacité énergétique dans les applications numériques, particulièrement à mesure que le matériel accélérateur (par exemple, les GPU, les FPGA) prend en charge de plus en plus de formats non standards et à faible précision. Cependant, déterminer la configuration de précision optimale pour une application spécifique est un défi. La précision double standard (FP64) est souvent surdimensionnée, pourtant la réduction aveugle de la précision peut compromettre la stabilité numérique et la précision. Les outils de réglage de précision existants sont souvent limités aux formats IEEE 754 standards (FP16, FP32, FP64) ou manquent de la flexibilité nécessaire pour explorer des configurations de largeur de bits personnalisées (par exemple, des tailles d'exposant et de mantisse spécifiques) requises par le matériel émergent. De plus, le coût computationnel de l'exploration de l'immense espace des configurations de précision mixte pour de vastes bases de code reste un obstacle à un déploiement pratique.

Méthodologie
Les auteurs proposent une version améliorée de PROMISE (PRecision OptiMISE), un outil d'autotuning de précision basé sur le delta debugging et l'arithmétique stochastique discrète (DSA). La méthodologie intègre trois composantes clés :

Émulation de précision personnalisée via FloatX : L'outil est étendu pour supporter des formats de virgule flottante définis par l'utilisateur en intégrant FloatX, une bibliothèque C++ "header-only". Contrairement aux bibliothèques standards qui fixent les tailles d'exposant/mantisse ou reposent sur une allocation basée sur la mémoire (comme MPFR), FloatX permet aux utilisateurs de spécifier l'allocation exacte des bits pour l'exposant ( $e$ ) et la mantisse ( $t$ ). PROMISE exploite cela pour émuler des formats non standards (par exemple, E5M2, E4M3) et des configurations personnalisées au sein d'un cadre de précision mixte unifié. Pour garantir une émulation réaliste, les auteurs ont implémenté des versions de fonctions mathématiques à précision personnalisée (par exemple, sin, exp) en utilisant le surchargage de fonctions C++, garantissant que les entrées et les sorties sont arrondies à la précision cible avant et après le calcul.
Validation Numérique via CADNA : PROMISE utilise la bibliothèque CADNA, qui implémente la DSA pour estimer le nombre de chiffres significatifs corrects dans les calculs. En exécutant le code avec des modes de l'arrondi aléatoires, CADNA fournit une estimation statistique de la précision numérique et détecte les instabilités. Cela permet à PROMISE de valider si une configuration de précision réduite satisfait les contraintes de précision définies par l'utilisateur (par exemple, un nombre spécifique de chiffres corrects) sans nécessiter de solution de référence de vérité terrain, évitant ainsi le manque de fiabilité de l'utilisation de l'FP64 uniforme comme référence pour les comparaisons de précision moindre.
Stratégie de Recherche par Delta Debugging : L'outil emploie un algorithme de delta debugging pour rechercher systématiquement la configuration de précision la plus basse. La recherche part d'une base de haute précision et réduit itérativement la précision des variables. Si une configuration satisfait l'exigence de précision, la recherche continue dans cette direction ; sinon, elle effectue un retour en arrière (backtrack). Les auteurs implémentent une stratégie multi-niveaux où les types de précision sont triés par erreur d'arrondi relative (unit roundoff), et le delta debugging est appliqué de manière itérative entre des paires consécutives de types.
Cadre de Benchmarking Conteneurisé : Pour répondre au coût computationnel élevé de la recherche, les auteurs ont développé un cadre de benchmarking conteneurisé. Ce cadre enveloppe PROMISE dans un pipeline parallélisé, supportant à la fois le parallélisme local (via GNU Parallel) et l'exécution distribuée (via un ordonnanceur Python basé sur MPI). Cela permet l'exécution concurrente de multiples noyaux d'algorithmes à travers différentes configurations de paramètres, réduisant ainsi considérablement le temps d'exécution total.

Contributions Clés

Extension de PROMISE avec des Formats Personnalisés : Le papier introduit une nouvelle version de PROMISE qui permet la spécification de l'arithmétique en virgule flottante en définissant le nombre de bits pour la mantisse et l'exposant. Cela permet aux utilisateurs d'explorer des configurations de précision non standards adaptées aux contraintes matérielles spécifiques (par exemple, les FPGA) et aux formats émergents à faible précision.
Infrastructure de Benchmarking Scalable : Les auteurs ont développé un outil de benchmarking en précision mixte conçu pour un déploiement à grande échelle. Cela inclut une suite de benchmarks simulés pour les algorithmes numériques et un cadre d'exécution parallèle qui réduit le temps de fonctionnement des expériences de réglage de précision d'environ 3,4× (passant d'environ 13 heures à environ 3 heures dans leurs tests) grâce au parallélisme au niveau des processus.
Validation Empirique Complète : L'approche est validée sur une suite de programmes numériques, incluant des solveurs linéaires (factorisation LU dense et creuse) et des applications de la suite de benchmarks Rodinia (Back Propagation, HotSpot, Particle Filter, SRAD).

Résultats
Les expériences ont évalué deux combinaisons de précision : (I) E5M2-FP16-FP32-FP64 et (II) E5M2-BF16-FP32-FP64, à travers diverses exigences de précision (de 1 à 10 chiffres corrects).

Réduction de la Précision : Les résultats démontrent qu'une proportion substantielle de variables peut être passée en toute sécurité à une précision inférieure. En moyenne, 43 % des variables peuvent être représentées avec une précision de 32 bits ou moins, et 28 % peuvent être réduites à une précision de 16 bits ou moins.
Surdimensionnement de l'FP64 : L'étude confirme que la précision double standard est souvent surdimensionnée pour de nombreuses tâches de calcul scientifique.
Utilité des Formats Personnalisés : Les formats personnalisés comme l'E5M2 ont été jugés viables pour une proportion significative de variables (moyenne de 23 % des variables dans les configurations), l'E4M3 montrant des proportions similaires.
Sensibilité Spécifique à l'Algorithme : L'analyse a révélé que les exigences de précision varient selon le composant algorithmique. Par exemple, dans le Back Propagation, le chemin d'activation sigmoïde nécessitait une précision plus élevée pour stabiliser les évaluations exponentielles, tandis que dans la factorisation LU, les opérations de pivotage pouvaient souvent tolérer des formats de 8 bits.

Signification et Revendications
Le papier affirme que l'autotuning de précision automatisé, lorsqu'il est étendu pour supporter des formats personnalisés, peut dériver des configurations de précision mixte efficaces adaptées aux exigences de précision spécifiques à l'application. Les auteurs positionnent ce travail comme un guide pour la communauté scientifique, démontrant que des gains significatifs de performance et de ressources sont réalisables sans intervention manuelle. L'intégration de FloatX et du cadre de benchmarking parallèle répond au double défi de la flexibilité des formats et de la scalabilité de la recherche. Les auteurs notent modestement que bien que le travail actuel se concentre sur les solveurs linéaires directs et des noyaux spécifiques, les travaux futurs porteront sur les solveurs itératifs et l'intégration de noyaux numériques à précision mixte (par exemple, pour les méthodes de Krylov) dans le processus de réglage. L'outil et les benchmarks sont mis à disposition de la communauté pour faciliter la recherche ultérieure dans ce domaine.