JACC v1.0: High-productivity Performance Portability in the LLVM-compiled Julia Language

Les supercalculateurs modernes deviennent des machines de plus en plus complexes, dotées de différents types de processeurs capables de résoudre des problèmes à des vitesses incroyables. Depuis des décennies, les scientifiques s'appuient sur quelques langages standards pour dire à ces machines quoi faire, mais à mesure que le matériel évolue, l'écriture de code pour ces systèmes est devenue une tâche difficile et spécialisée. Les chercheurs se retrouvent souvent contraints de réécrire les mêmes programmes scientifiques plusieurs fois, une fois pour un type de puce informatique et une autre fois pour un autre, juste pour obtenir le même résultat. Cela crée un goulot d'étranglement où le temps passé à traduire le code pour différentes machines empiète sur le temps disponible pour la découverte réelle. L'objectif de nombreux acteurs du domaine est de trouver un moyen d'écrire un ensemble unique d'instructions qui fonctionne efficacement sur n'importe quelle machine, qu'il s'agisse d'un ordinateur portable personnel ou d'un immense supercalculateur national, sans avoir besoin de connaître les détails complexes de la conception de chaque processeur.

Une équipe de chercheurs de l'Oak Ridge National Laboratory et d'autres institutions a introduit un nouvel outil appelé JACC, qui vise à résoudre ce problème pour les scientifiques utilisant le langage de programmation Julia. Julia est un langage conçu pour être aussi facile à lire qu'une formule mathématique tout en étant aussi rapide que le code machine le plus efficace. Le nouveau logiciel JACC agit comme un traducteur universel pour ce langage, permettant aux scientifiques d'écrire une seule version de leur code qui peut s'exécuter sur les processeurs centraux d'un ordinateur ou sur les puces graphiques spécialisées utilisées pour les calculs intensifs. Les chercheurs ont constaté que cette approche ne rend pas seulement le codage plus facile ; elle permet au logiciel de fonctionner avec une vitesse presque identique à celle du code écrit spécifiquement pour chaque type de matériel individuel. Cela signifie qu'un scientifique peut développer une simulation sur un ordinateur portable et ensuite exécuter exactement le même programme sur un supercalculateur de classe mondiale sans changer une seule ligne de code.

Le cœur de cette réussite réside dans la manière dont JACC gère la relation entre le travail du scientifique et le matériel informatique. Par le passé, le passage d'un programme d'un type de processeur à un autre nécessitait souvent une réécriture complète, un peu comme traduire un livre de l'anglais vers le français, puis vers le japonais, chaque traduction risquant de perdre en nuance ou en vitesse. JACC élimine le besoin de ces traductions séparées. Il fournit un ensemble de commandes simples qui disent à l'ordinateur d'effectuer une tâche, telle que le calcul de valeurs à travers une grande grille de nombres, sans spécifier quel processeur spécifique doit effectuer le travail. Le logiciel détecte automatiquement si l'ordinateur possède une puce NVIDIA, AMD, Intel ou Apple, et dirige ensuite le travail vers le processeur le plus approprié disponible. Cette flexibilité permet aux chercheurs d'utiliser les cartes graphiques puissantes présentes dans les ordinateurs portables modernes pour des tests interactifs, puis de passer de manière transparente aux réseaux massifs de processeurs des supercalculateurs pour les exécutions finales à grande échelle.

Les chercheurs ont démontré l'efficacité de ce système en le testant sur une variété de problèmes scientifiques du monde réel. Ils ont appliqué l'outil à des simulations de dynamique des fluides, qui sont utilisées pour modéliser comment l'air circule sur des ailes ou comment l'eau circule dans des tuyaux. Lors de ces tests, le logiciel a fonctionné sur différents types de matériel avec une performance qui égalait ou approchait de très près le code spécialisé écrit par des experts pour chaque machine spécifique. Par exemple, lors de la simulation du mouvement des fluides, le système a atteint des vitesses sur les puces graphiques qui étaient à quelques pourcent de la meilleure performance possible, prouvant que la commodité d'une base de code unique ne se fait pas au détriment de la vitesse. L'équipe a également montré que le système pouvait gérer des tâches complexes impliquant plusieurs processeurs travaillant ensemble sur une seule machine, une capacité qui devient essentielle à mesure que les supercalculateurs concentrent plus de puissance dans moins d'unités physiques.

Au-delà de la simple vitesse, l'outil ouvre la porte à des explorations scientifiques plus complexes qui étaient auparavant trop difficiles à gérer. Les chercheurs ont montré que JACC pouvait être utilisé pour simuler des matériaux magnétiques quantiques, un domaine qui nécessite de suivre le comportement d'innombrables petites particules. En utilisant ce nouveau système, un calcul qui prenait auparavant une heure pour s'exécuter sur un seul processeur a été réduit à seulement quelques secondes lorsqu'il est exécuté sur une puce graphique, tout en utilisant le même code. Ce genre d'accélération est vital pour des domaines comme la chimie quantique et la physique nucléaire, où les scientifiques doivent exécuter des milliers de variations d'une simulation pour comprendre comment les matériaux se comportent sous différentes conditions. La capacité d'exécuter ces simulations sur différents matériels sans réécrire le code signifie que les scientifiques peuvent se concentrer davantage sur la physique et moins sur la mécanique de la programmation.

L'impact de ce travail s'étend à la façon dont le logiciel scientifique est construit et maintenu à l'avenir. Les chercheurs ont noté que le système est conçu pour fonctionner aux côtés des outils existants utilisés par la communauté scientifique, permettant une transition graduelle plutôt qu'une refonte complète des projets actuels. Cela signifie que les laboratoires peuvent adopter le nouveau système pièce par pièce, en testant des parties spécifiques de leur code avant de s'engager dans une migration complète. Le logiciel supporte également des fonctionnalités avancées comme la mémoire partagée, qui permet à différentes parties d'un calcul d'accéder rapidement aux données, et l'exécution asynchrone, qui permet à l'ordinateur de commencer une nouvelle tâche avant que la précédente ne soit totalement terminée. Ces caractéristiques sont cruciales pour tirer le meilleur parti des derniers supercalculateurs, qui sont conçus pour gérer de nombreuses tâches simultanément.

À l'avenir, les chercheurs voient cette technologie comme un fondement pour des applications encore plus avancées. Ils explorent comment le système pourrait être utilisé dans le développement d'ordinateurs quantiques, où les règles de la physique sont très différentes de celles des ordinateurs classiques que nous utilisons aujourd'hui. La capacité d'écrire du code qui est portable et efficace pourrait aider les scientifiques à concevoir et tester des algorithmes pour ces machines futures bien avant que le matériel ne soit pleinement prêt. De plus, le système est en cours d'intégration avec des logiciels intelligents capables de décider automatiquement quel processeur doit gérer une tâche spécifique, réduisant ainsi davantage la charge du programmeur humain. Cette combinaison de facilité d'utilisation et de haute performance suggère un avenir où la barrière entre l'idée d'un scientifique et une simulation en cours d'exécution est bien plus faible qu'elle ne l'est aujourd'hui.

Le travail présenté dans cet article représente une étape importante pour rendre le calcul de haute performance accessible à un plus large éventail de scientifiques. En fournissant un outil qui comble le fossé entre la programmation de haut niveau et les détails matériels de bas niveau, les chercheurs ont créé une voie pour une découverte scientifique plus efficace et plus productive. Les résultats montrent qu'il est possible d'avoir à la fois une haute productivité et une haute performance, deux objectifs qui ont souvent été opposés par le passé. Alors que le monde se dirige vers des systèmes informatiques encore plus complexes, des outils comme JACC deviendront probablement essentiels pour libérer le plein potentiel de ces machines, permettant aux scientifiques de s'attaquer à des problèmes qui étaient auparavant trop difficiles à résoudre.