A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

In der Welt der künstlichen Intelligenz kommen die sichtbarsten Durchbrüche oft aus der Software, aber der Motor, der sie antreibt, ist die Hardware. Um einem Computer beizubringen, eine Katze auf einem Foto zu erkennen oder einen Satz in eine andere Sprache zu übersetzen, müssen Ingenieure komplexe mathematische Modelle trainieren. Dieser Trainingsprozess ist unglaublich anspruchsvoll und erfordert, dass der Computer Milliarden von Berechnungen in sehr kurzer Zeit durchführt. Um diese Arbeitslast zu bewältigen, verlassen sich Forscher auf spezialisierte Chips, die als Grafikprozessoren oder GPUs bezeichnet werden und darauf ausgelegt sind, viele Aufgaben gleichzeitig zu verarbeiten. Doch das bloße Hinzufügen von mehr dieser leistungsstarken Chips macht die Arbeit nicht immer schneller. Genau wie ein großes Team von Arbeitern ein Projekt verlangsamen kann, wenn das Büro zu klein ist oder die Werkzeuge schlecht geteilt werden, kann das Hinzufügen von mehr GPUs manchmal zu Engpässen führen, bei denen die Chips mehr Zeit mit dem Warten auf Daten verbringen als mit der eigentlichen Arbeit. Die Herausforderung für Wissenschaftler und Ingenieure besteht darin, den optimalen Punkt zu finden, an dem die Hardware effizient genutzt wird, indem Geschwindigkeit mit den Kosten und der Komplexität des Systems abgewogen wird.

Ein Forschungsteam der Universität der Balearenischen Inseln hat einen neuen Weg entwickelt, um dieses Rätsel zu lösen. Sie entwickelten eine Methode, um verschiedene Computerkonfigurationen zu untersuchen, die zur Ausbildung eines populären Bilderkennungsmodells namens ResNet-50 verwendet werden. Anstatt nur zu betrachten, welches System die Aufgabe am schnellsten abgeschlossen hat, wollten sie verstehen, welche Systeme am effizientesten waren. Sie behandelten die Leistung dieser Maschinen wie eine Landschaft und suchten nach Mustern darin, wie sich Trainingszeit, Geschwindigkeit und Ressourcennutzung änderten, während die Anzahl der Chips zunahm. Durch das Gruppieren ähnlicher Systeme und deren Vergleich entdeckten sie, dass die leistungsstärksten Setups nicht immer diejenigen mit den meisten Chips sind.

Die Forscher begannen damit, Daten aus einem weit verbreiteten Industriestandard namens MLPerf Training Benchmark zu sammeln. Dieser Datensatz enthält die Ergebnisse vieler Organisationen, die ihre Hardware an derslich derselben Bilderkennungsaufgabe getestet haben. Das Team untersuchte spezifische Details für jedes System, wie etwa den Typ der verwendeten Grafikchips, wie viele davon installiert waren, wie lange das Training dauerte und wie viele Bilder das System pro Sekunde verarbeiten konnte. Anschließend nutzten sie eine Computermethode, um zu messen, welche dieser Details am wichtigsten waren. Durch die Analyse der verfügbaren Daten identifizierten sie eine Reihe von Variablen, die einen signifikanten Einfluss auf die Systemleistung und -effizienz hatten, wobei sie sich auf die entscheidenden Treiber der Skalierbarkeit konzentrierten, die messbar waren. Sie fanden heraus, dass die Beziehung zwischen der Anzahl der Chips und der gewonnenen Geschwindigkeit keine gerade Linie war. In einer idealen Welt würde die Verdoppelung der Anzahl der Chips die Trainingszeit halbieren. In der Realität beobachteten die Forscher, dass mit zunehmender Größe der Systeme der Gewinn an zusätzlicher Geschwindigkeit durch jeden neuen Chip abnahm.

Um diese komplexen Daten verständlich zu machen, gruppierten die Forscher die verschiedenen Computerkonfigurationen bas었습니다 in fünf verschiedene Kategorien, basierend darauf, wie sie abschnitten. Sie fanden heraus, dass eine bestimmte Gruppe als die effektivste herausstach. Diese Systeme nutzten eine moderate Anzahl der neuesten Generation von Grafikchips, typischerweise zwischen vier und sechzehn Einheiten, gepaart mit leistungsstarken Zentralprozessoren. Diese Konfigurationen erreichten ein bemerkenswertes Gleichgewicht: Sie trainierten das Modell sehr schnell und nutzten dabei ihre Ressourcen mit hoher Effizienz. Im Gegensatz dazu waren die Systeme mit der größten Anzahl an Chips, von denen einige tausende Einheiten nutzten, zwar am schnellsten fertig, aber weitaus weniger effizient. In diesen massiven Setups arbeiteten die Chips nicht so hart wie sie könnten, weil sie auf Daten oder aufeinander warteten, was bedeutete, dass ein Großteil der teuren Hardware untätig war.

Die Studie legt nahe, dass der beste Ansatz für das Training von Modellen der künstlichen Intelligenz nicht darin besteht, einfach mehr Hardware auf das Problem zu werfen. Stattdessen sind die effektivsten Systeme jene, in denen die verschiedenen Komponenten in Harmonie zusammenarbeiten. Die Forscher fanden heraus, dass die optimalen Setups Hochgeschwindigkeitsverbindungen zwischen den Chips und leistungsstarke Prozessoren nutzten, um die Daten ohne Verzögerung an sie zu liefern. Dies ermöglichte es den Grafikchips, beschäftigt und produktiv zu bleiben. Die Ergebnisse deuten darauf hin, dass ein kleineres, gut abgestimmtes System oft ein massives, unausgewogenes System übertreffen kann. Für Organisationen, die diese Systeme bauen, bedeutet dies, dass es eine klügere Wahl sein kann, in eine sorgfältig ausgewählte Anzahl von Top-Tier-Chips zu investieren und sicherzustellen, dass sie korrekt verbunden sind, als den größtmöglichen Cluster an Hardware zu kaufen. Die Forschung bietet einen klaren Leitfaden für die Auswahl der richtigen Werkzeuge und zeigt, dass Effizienz und Leistung am besten durch Balance statt durch reine Skalierung erreicht werden.