Energy efficiency of a GPU-based computing system for High Energy Physics experiments

Cet article présente l'efficacité énergétique comme une nouvelle métrique pour évaluer les optimisations matérielles et algorithmiques des GPU en physique des hautes énergies, en proposant un modèle appliqué au déclencheur HLT1 de l'expérience LHCb afin de relier le débit aux spécifications matérielles et d'orienter le développement d'écosystèmes informatiques durables.

L'essentiel

Imaginez que vous dirigez une usine de tri massive et ultra-rapide. Chaque seconde, des millions de petits colis (des données provenant de collisions de particules) arrivent sur un tapis roulant. Votre tâche consiste à inspecter rapidement chaque colis, à décider s'il est intéressant, puis à le trier. C'est exactement ce que fait l'expérience LHCb au CERN avec les données du Grand collisionneur de hadrons.

Pendant longtemps, cette usine a utilisé des « ouvriers » CPU standards. Mais à mesure que l'usine s'encombre, ces ouvriers s'épuisent et la facture d'électricité s'envole. L'équipe a donc décidé d'embaucher un nouveau type d'ouvrier : les GPU (Unités de traitement graphique). Imaginez les GPU comme une équipe de milliers de robots ultra-rapides et spécialisés capables de travailler en parallèle.

Cet article traite de la détermination des meilleurs robots à embaucher, non seulement en fonction de leur vitesse, mais aussi de la quantité d'énergie qu'ils gaspillent.

Le Problème : Vitesse contre Énergie

Habituellement, lorsque vous achetez une nouvelle machine, vous regardez sa vitesse. Mais dans une usine géante, la vitesse n'est pas tout. Si une machine est ultra-rapide mais consomme de l'électricité comme un éléphant assoiffé, son coût d'exploitation devient prohibitif et elle génère tellement de chaleur que vous avez besoin d'une climatisation coûteuse.

Les auteurs voulaient une nouvelle façon de mesurer ces robots : l'Efficacité Énergétique. Il s'agit simplement de : Combien de colis ce robot peut-il trier pour chaque goutte d'électricité qu'il consomme ?

L'Expérience : Tester les Robots

L'équipe a mis en place un test utilisant 10 modèles différents de GPU NVIDIA (allant des modèles plus anciens aux tout derniers, les plus pointus). Ils ont exécuté la tâche de tri exacte (appelée HLT1) sur tous ces modèles.

Ils ont mesuré deux choses :

1. Le Débit : Combien de colis par seconde le robot a triés.
2. La Puissance : Combien d'électricité le robot a réellement consommée en effectuant le travail.

La Découverte Surprenante : Les Robots « Assoiffés » contre les Robots « Efficaces »

Voici la révélation qu'ils ont faite : Le fait qu'un robot soit puissant ne signifie pas qu'il fonctionnera à sa limite de puissance maximale.

Pensez à une voiture. Si vous conduisez une Ferrari dans un embouteillage, vous n'atteindrez peut-être jamais sa vitesse maximale, et vous n'utiliserez pas tout son carburant.

• Les Robots « Limités par la Puissance » : Certains robots de station de travail plus anciens ou spécifiques atteignent leur « limite de carburant » (TDP). Ils travaillent aussi fort que possible, mais ils sont limités par leur conception. Ils sont comme un coureur qui sprinte jusqu'à en manquer le souffle.
• Les Robots « Non Limités par la Puissance » : Beaucoup de robots récents et haut de gamme n'utilisaient en réalité pas toute leur capacité de carburant. Même s'ils triaient des colis à 100 % de leur vitesse, ils ne consommaient pas autant d'électricité que leurs spécifications indiquaient qu'ils pourraient. Ils étaient comme un coureur capable de sprinter plus vite, mais qui ne faisait que du jogging parce que la tâche ne nécessitait pas un sprint complet.

La Formule Magique : Prédire l'Avenir

L'équipe n'a pas seulement mesuré ces 10 robots ; elle a élaboré une recette prédictive (un modèle mathématique).

Ils ont réalisé que la vitesse d'un robot dépend de deux choses principales :

1. Le nombre de mains qu'il possède (Nombre de cœurs).
2. La vitesse à laquelle il peut saisir les objets (Bande passante mémoire).

Cependant, ils ont constaté que doubler le nombre de mains ne double pas la vitesse. Parce que les robots doivent communiquer entre eux et attendre des instructions, les gains de vitesse diminuent à mesure que vous ajoutez plus de mains. C'est comme ajouter plus de chefs dans une cuisine ; à la fin, ils se gênent mutuellement.

Grâce à cette recette, ils peuvent maintenant examiner la « fiche technique » d'un robot tout neuf qui n'a même pas encore été construit. En y entrant son nombre de cœurs et sa vitesse mémoire, ils peuvent prédire :

• À quelle vitesse il triera les colis.
• Combien d'électricité il consommera.
• Quelle sera son efficacité énergétique.

Le Gagnant

Lorsqu'ils ont classé les robots par efficacité énergétique (colis par joule d'électricité), les résultats ont été surprenants :

• Le robot le plus rapide (RTX PRO 6000) n'était pas le plus efficace. Il était rapide, mais il consommait beaucoup d'énergie.
• Le robot le plus efficace (RTX PRO 4000) était en réalité plus lent, mais il était si économe en électricité qu'il triait plus de colis par goutte d'énergie que les géants.

Pourquoi Cela Importe

L'expérience LHCb prévoit de mettre à niveau son usine prochainement. Ils ne peuvent pas se permettre d'acheter et de tester chaque nouveau modèle de robot qui sort ; cela prendrait trop de temps et coûterait trop cher.

Grâce à cet article, ils peuvent désormais consulter la brochure d'un futur robot, le soumettre à leur « recette » et savoir immédiatement s'il s'agit d'une bonne embauche. Ils peuvent choisir le robot qui leur offre le meilleur équilibre entre vitesse et factures d'énergie basses, garantissant ainsi que leur usine de données massive reste durable et abordable pour les années à venir.

En résumé : Ils ont trouvé comment prédire exactement combien coûtera l'exploitation d'une nouvelle puce informatique et à quelle vitesse elle fonctionnera, simplement en lisant ses spécifications, épargnant ainsi aux scientifiques du temps, de l'argent et de l'électricité.

Résumé technique

1. Énoncé du problème

Les expériences de physique des hautes énergies (PHE), en particulier le Grand collisionneur de hadrons (LHC) au CERN, font face à des défis majeurs en matière d'évolutivité et de consommation d'énergie alors qu'elles entrent dans l'ère du LHC à haute luminosité (HL-LHC).

• Problèmes d'évolutivité : Les architectures actuelles basées sur CPU peinent à gérer les volumes massifs de données (par exemple, 40 To/s pour LHCb) requis pour le déclenchement et la reconstruction en temps réel.
• Contraintes énergétiques : Les approches CPU traditionnelles manquent d'efficacité énergétique, entraînant des coûts électriques prohibitifs et des exigences d'infrastructure de refroidissement.
• Difficulté de sélection matérielle : Bien que les GPU offrent une alternative prometteuse, le marché propose une vaste gamme de modèles aux spécifications variables (nombre de cœurs, fréquences d'horloge, bande passante mémoire, puissance de dissipation thermique). Tester individuellement chaque GPU candidat est long et coûteux.
• Le vide : Il manque des modèles prédictifs capables d'estimer le débit et l'efficacité énergétique (événements traités par Joule) uniquement à partir des paramètres de spécification matérielle, sans nécessiter de tests de référence à grande échelle.

2. Méthodologie

Les auteurs ont développé un cadre prédictif pour modéliser les performances et la consommation d'énergie des GPU pour la charge de travail du Déclenchement de haut niveau 1 (HLT1) de LHCb.

• Jeu de données : L'étude a utilisé 10 GPU NVIDIA couvrant quatre architectures (Ampere, Ada Lovelace, Hopper, Blackwell) et deux procédés de fabrication (Samsung 8 nm et TSMC 4 nm).
• Charge de travail : Les tests de référence ont été exécutés en utilisant la séquence de reconstruction hlt1_pp_default (Allen v7r10p1), qui comprend environ 300 algorithmes pour le suivi des particules, la reconstruction des sommets et la classification.
• Mesures :
  • Débit : Événements par seconde mesurés (kHz).
  • Puissance : Surveillée via nvidia-smi et validée avec des unités de distribution d'alimentation (PDU) externes.
  • Métriques clés : L'horloge du multiprocesseur de flux (SM), l'horloge mémoire et la consommation électrique ont été enregistrées pendant le fonctionnement à l'état stable.
• Approche de modélisation :
  1. Modèle de débit : Une fonction de loi de puissance reliant le débit ($TP$) à la capacité de calcul ($N_{cœurs} \times f_{clk}$) et à la bande passante mémoire ($BW$).
  2. Modèle de puissance : Une distinction entre les GPU « limités par la puissance » et « non limités par la puissance », suivie d'un modèle de décroissance exponentielle pour la demande de puissance par cœur.
  3. Efficacité énergétique : Calculée comme le rapport entre le débit et la puissance ($E_{eff} = TP / P$).

3. Contributions et résultats clés

A. Modélisation du débit

Les auteurs ont ajusté un modèle de loi de puissance aux données mesurées :
$$TP = k \times (N_{cœurs} \times f_{clk})^a \times BW^b$$

• Résultats : Les exposants ajustés étaient $a = 0,59$ (capacité de calcul) et $b = 0,28$ (bande passante mémoire).
• Insight : La charge de travail HLT1 est limitée par le calcul plutôt que par la mémoire. L'échelle sous-linéaire ($a, b < 1$) indique que doubler les ressources matérielles ne double pas le débit en raison des frais de synchronisation et du flux de contrôle complexe (branchements) dans les algorithmes de reconnaissance de motifs.
• Précision : Le modèle prédit le débit avec un résidu quadratique moyen d'environ 3 % à travers différentes architectures.

B. Consommation d'énergie et critères de limitation

Une découverte critique est que 100 % d'utilisation du GPU ne garantit pas d'atteindre la puissance de dissipation thermique (TDP).

• Limité par la puissance vs Non limité par la puissance :
  • Limité par la puissance : La charge de travail demande plus de puissance que ce que le TDP du GPU permet (par exemple, les GPU Ampere et certains modèles de station de travail). Le GPU atteint son plafond TDP et les horloges peuvent être bridées.
  • Non limité par la puissance : La charge de travail demande moins de puissance que le TDP (par exemple, les GPU haut de gamme pour jeux vidéo et centres de données). Ces GPU fonctionnent en dessous de leur TDP car la logique de branchement de l'algorithme laisse certaines unités fonctionnelles inactives.
• Courbe de demande de puissance : Pour les GPU TSMC 4 nm, la demande de puissance par cœur ($P_{cœur}$) suit une décroissance exponentielle à mesure que le nombre de cœurs augmente, convergeant vers un plancher d'environ 19,6 mW.
  • Si le TDP d'un GPU par cœur est inférieur à cette courbe de demande, il est limité par la puissance.
  • S'il est supérieur, il n'est pas limité par la puissance, et la puissance réelle est prédite par la courbe de demande.

C. Efficacité énergétique

L'étude définit l'efficacité énergétique comme événements par Joule.

• Compromis : Le GPU ayant le débit brut le plus élevé n'est pas nécessairement le plus efficace énergétiquement.
  • Exemple : Le RTX PRO 6000 a le débit le plus élevé (229 kHz) mais se classe 4e en efficacité en raison d'une consommation électrique élevée (481 W).
  • Exemple : Le RTX PRO 4000 a un débit modeste (84 kHz) mais est le plus efficace énergétiquement (581 événements/J) grâce à son faible TDP (145 W).
• Impact de l'architecture : Les architectures plus récentes (Blackwell, Hopper) sur TSMC 4 nm sont nettement plus efficaces que les GPU Ampere plus anciens (Samsung 8 nm).

4. Importance et impact

• Sélection prédictive du matériel : Les modèles permettent aux collaborations du LHC (LHCb, ATLAS, CMS) de classer les GPU candidats pour les futures mises à niveau (par exemple, Run 4 et Run 5) en utilisant uniquement les paramètres des fiches techniques officielles, éliminant ainsi le besoin de tests de référence individuels coûteux.
• Orientation de l'optimisation des algorithmes : Les résultats suggèrent que les algorithmes optimisés pour les GPU limités par la puissance (comme le RTX A5000 actuel) peuvent ne pas être optimaux pour le matériel plus récent, non limité par la puissance. Les futures optimisations devraient viser à réduire les branchements et à améliorer l'utilisation des threads pour maximiser le débit sur les GPU modernes sans atteindre les limites de puissance.
• Calcul durable : En priorisant l'efficacité énergétique (événements/J) parallèlement au débit, le CERN peut gérer les budgets énergétiques massifs requis pour les mises à niveau du HL-LHC, assurant un écosystème de calcul durable.
• Généralisabilité : Bien que testé sur HLT1 de LHCb, la méthodologie est applicable à toute application basée sur GPU nécessitant une projection de performances à travers les générations de matériel.

Conclusion

Cet article établit un cadre robuste pour l'évaluation des systèmes de calcul PHE basés sur GPU. Il démontre que l'efficacité énergétique est une métrique distincte et critique, séparée du débit brut. En combinant un modèle de loi de puissance pour le débit avec un modèle nuancé de consommation d'énergie qui prend en compte les différences architecturales et les caractéristiques de la charge de travail, les auteurs fournissent un outil vital pour prendre des décisions matérielles durables et rentables pour l'avenir de la physique des particules.