A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

Dans le monde de l'intelligence artificielle, les percées les plus visibles proviennent souvent des logiciels, mais le moteur qui les propulse est le matériel. Pour apprendre à un ordinateur à reconnaître un chat sur une photographie ou à traduire une phrase dans une autre langue, les ingénieurs doivent entraîner des modèles mathématiques complexes. Ce processus d'entraînement est incroyablement exigeant, nécessitant à l'ordinateur d'effectuer des milliards de calculs en un temps très court. Pour gérer cette charge de travail, les chercheurs s'appuient sur des puces spécialisées appelées unités de traitement graphique, ou GPU, qui sont conçues pour traiter de nombreuses tâches simultanément. Cependant, le simple fait d'ajouter davantage de ces puces puissantes ne rend pas toujours le travail plus rapide. Tout comme une grande équipe de travailleurs peut ralentir un projet si le bureau est trop petit ou si les outils sont mal partagés, l'ajout de GPU peut parfois créer des goulots d'étranglement où les puces passent plus de temps à attendre des données qu'à travailler réellement. Le défi pour les scientifiques et les ingénieurs est de trouver le point d'équilibre où le matériel est utilisé efficacement, en équilibrant la vitesse avec le coût et la complexité du système.

Une équipe de chercheurs de l'Université des Îles Baléares a développé une nouvelle façon de résoudre ce casse-tête. Ils ont créé une méthode pour passer au crible diverses configurations informatiques utilisées pour entraîner un modèle de reconnaissance d'images populaire connu sous le nom de ResNet-50. Au lieu de regarder simplement quel système a terminé la tâche le plus rapidement, ils voulaient comprendre quels systèmes étaient les plus efficaces. Ils ont traité la performance de ces machines comme un paysage, cherchant des modèles dans la manière dont le temps d'entraînement, la vitesse et l'utilisation des ressources changeaient à mesure que le nombre de puces augmentait. En regroupant des systèmes similaires et en les comparant, ils ont découvert que les configurations les plus puissantes ne sont pas toujours celles qui possèdent le plus de puces.

Les chercheurs ont commencé par rassembler des données provenant d'un standard industriel largement utilisé appelé le benchmark MLPerf Training. Ce jeu de données contient les résultats de nombreuses organisations testant leur matériel sur la même tâche de reconnaissance d'images. L'équipe a examiné des détails spécifiques pour chaque système, tels que le type de puces graphiques utilisés, le nombre de puces installées, le temps nécessaire à l'entraînement et le nombre d'images que le système pouvait traiter par seconde. Ils ont ensuite utilisé une technique informatique pour mesurer quels détails de ces informations étaient les plus importants. En analysant les données disponibles, ils ont identifié un ensemble de variables qui avaient un impact significatif sur la performance et l'efficacité du système, en se concentrant sur les principaux moteurs de liconscalabilité mesurables. Ils ont constaté que la relation entre le nombre de puces et le gain de vitesse n'était pas une ligne droite. Dans un monde idéal, doubler le nombre de puces réduirait de moitié le temps d'entraînement. En réalité, les chercheurs ont observé qu'à mesure que les systèmes devenaient plus grands, le gain de vitesse supplémentaire apporté par chaque nouvelle puce commençait à diminuer.

Pour donner un sens à ces données complexes, les chercheurs ont regroupé les différentes configurations informatiques en cinq catégories distinctes basées sur leurs performances. Ils ont trouvé qu'un groupe spécifique se distinguait comme étant le plus efficace. Ces systèmes utilisaient un nombre modéré de puces graphiques de dernière génération, généralement entre quatre et seize unités, couplées à des processeurs centraux puissants. Ces configurations atteignaient un équilibre remarquable : elles entraînaient le modèle très rapidement tout en utilisant leurs ressources avec une grande efficacité. En revanche, les systèmes possédant le plus grand nombre de puces, certains utilisant des milliers d'unités, terminaient la tâche dans le délai le plus court absolu, mais étaient beaucoup moins efficaces. Dans ces installations massives, les puces ne travaillaient pas autant qu'elles le pourraient car elles attendaient des données ou attendaient les unes les autres, ce qui signifie qu'une grande partie du matériel coûteux restait inactive.

L'étude suggère que la meilleure approche pour entraîner des modèles d'intelligence artificielle n'est pas simplement de jeter plus de matériel face au problème. Au contraire, les systèmes les plus efficaces sont ceux où les différents composants travaillent en harmonie. Les chercheurs ont constaté que les configurations optimales utilisaient des connexions à haute vitesse entre les puces et des processeurs puissants pour alimenter ces dernières en données sans délai. Cela permettait aux puces graphiques de rester occupées et productives. Les conclusions indiquent qu'un système plus petit et bien réglé peut souvent surpasser un système massif et déséquilibré. Pour les organisations construisant ces systèmes, cela signifie qu'investir dans un nombre soigneusement sélectionné de puces de haut niveau et s'assurer qu'elles sont correctement connectées peut être un choix plus intelligent que d'acheter le plus grand cluster de matériel possible. La recherche fournit un guide clair pour la sélection des bons outils, montrant que l'efficacité et la performance sont mieux atteintes par l'équilibre plutôt que par la seule échelle.