DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

Die Welt der künstlichen Intelligenz rast derzeit voran, angetrieben von massiven Computerchips namens GPUs, die als Motoren für das Training und den Betrieb komplexer Sprachmodelle fungieren. Diese Modelle können Geschichten schreiben, Probleme lösen und Gespräche führen, aber sie verlangen enorme Mengen an Rechenleistung. Um Schritt zu halten, rüsten Rechenzentren ihre Hardware ständig auf und setzen funktionstüchtige Chips außer Betrieb, um Platz für schnellere, neuere Modelle zu schaffen. Dieser Zyklus hinterlässt einen wachsenden Stapel an leistungsfähigen, aber „alten“ Beschleunigern, was einen Sekundärmarkt schafft, auf dem diese ausgemusterten Komponenten für einen Bruchteil ihres ursprünglichen Preises verkauft werden. Die Frage, vor der Forscher und Ingenieure stehen, ist, ob diesen ausgemusterten Maschinen ein produktives zweites Leben dienen kann, um moderne KI-Aufgaben zu bewältigen, oder ob ihr Alter sie zu ineffizient und verschwenderisch macht, um nützlich zu sein.

Ein Forscherteam machte sich daran, dies zu beantworten, indem es einen massiven Rechencluster komplett von Grund auf neu aus gebrauchten Teilen baute. Sie kauften nicht nur gebrauchte Grafikkarten; sie bezogen gebrauchte Prozessoren, Arbeitsspeicher, Motherboards und Netzwerkgeräte, um ein System aus 128 ausgemusterten NVIDIA V100 GPUs zu konstruieren. Diese Sammlung, die sie „DumpsterCluster“ nannten, wurde entwickelt, um zu testen, ob alte Hardware die schwere Arbeitslast beim Ausführen großer Sprachmodelle, speziell eines 70-Milliarden-Parameter-Modells namens LLaMA-70B, bewältigen kann. Das Team betrieb diesen Cluster ein Jahr lang in einer realen Umgebung und bediente tatsächliche Nutzeranfragen, um zu sehen, ob der Ansatz wirtschaftlich rentabel und ökologisch nachhaltig ist. Ihre Ergebnisse zeigen eine Geschichte überraschender Potenziale, die jedoch an eine strikte Reihe von Bedingungen geknüpft sind: Während die Hardware funktionieren kann, hängt ihr Erfolg vollständig davon ab, wo sie platziert und wie sie verwaltet wird.

Der wirtschaftliche Fall für diesen Ansatz ist beeindruckend. Die Forscher stellten ihr gesamtes 128-GPU-System für etwa 22.000 US-Dollar zusammen, ein Preis, der im Laufe ihrer Studie aufgrund von Marktabwertung von 32.000 US-Dollar gesunken ist. Im Gegensatz dazu kostet ein modernes System mit nur acht der neuesten Generation von GPUs etwa 600.000 US-Dollar. Dieser massive Unterschied bei den Anschaffungskosten bedeutet, dass selbst wenn die älteren Chips einzeln weniger leistungsstark sind, die schiere Anzahl von ihnen den Cluster in die Lage versetzt, ein erhebliches Datenvolumen zu verarbeiten. Durch den einjährigen Betrieb des Systems bewies das Team, dass sie das große Sprachmodell effektiv bedienen konnten, wobei sie eine Geschwindigkeit bei der Textgenerierung erreichten, die zwar langsamer als die der neuesten Super-Chips war, aber für viele praktische Anwendungen ausreichend war. Der Schlüssel zum Erfolg lag nicht nur im Kauf der Teile, sondern in der Umschreibung der Software, die sie steuert.

Die Standardsoftware für den Betrieb dieser Modelle ist für die neueste Hardware konzipiert, die über sehr schnelle Verbindungen zwischen den Chips verfügt. Die älteren V100-Chips im DumpsterCluster haben langsamere Verbindungen und weniger Speicher, was normalerweise dazu führen würde, dass sie bei großen Modellen „ersticken“. Um dies zu lösen, entwickelten die Forscher eine maßgeschneiderte Engine, die die Art und Weise verändert, wie die Arbeit aufgeteilt wird. Anstatt zu versuchen, die Chips ständig miteinander kommunizieren zu lassen, arrangierten sie das Modell so, dass jeder Chip einen spezifischen Teil der Berechnung in einer langen Kette übernimmt und die Ergebnisse die Linie hinunterweiterreicht. Sie optimierten das System auch so, dass der Zentralprozessor die Datentransfers im Hintergrund handhabt, während die Grafikchips weiterarbeiten, wodurch verhindert wird, dass das System untätig bleibt. Diese Strategie ermöglichte es den 128 älteren Chips, als eine einzige, kohärente Einheit zu fungieren, die in der Lage ist, ein Modell auszuführen, das auf einem einzelnen Chip überhaupt nicht passen würde.

Dennoch zeigt die Studie, dass diese Lösung keine universelle Lösung für die Energie- und Umweltprobleme der KI-Branche ist. Die Forscher fanden heraus, dass der niedrige Anschaffungspreis zwar attraktiv ist, die laufenden Kosten für den Betrieb der Maschinen jedoch stark vom Strompreis und der Energiequelle abhängen. Ältere Chips sind weniger energieeffizient als moderne, was bedeutet, dass sie mehr Strom verbrauchen, um die gleiche Menge Text zu generieren. Wenn dieser Cluster in einer Region betrieben wird, in der der Strom aus fossilen Brennstoffen stammt, kann die gesamte CO2-Emission pro generiertem Wort um das Vielfache höher sein als bei der Verwendung eines neuen, effizienten Systems. Der ökologische Nutzen der Wiederverwendung der Hardware wird vollständig zunichtegemacht, wenn der Strom, der sie antreibt, „schmutzig“ ist. Das System wird erst dann wirklich nachhaltig, wenn es an Orten mit reichlich vorhandener, günstiger und sauberer Energie betrieben wird, wie etwa in Regionen, die durch Wind- oder Wasserkraft gespeist werden. In diesen spezifischen Gebieten gleicht der niedrige Strompreis die Ineffizienz der alten Chips aus, wodurch die Gesamtkosten des Besitzes niedrig und der CO2-Fußabdruck handhabbar bleibt.

Auch die Zuverlässigkeit der Hardware stellte eine Herausforderung dar, die das Team managen musste. Im Laufe des Jahres erlebte der Cluster zahlreiche technische Komplikationen, doch die überwiegende Mehrheit waren Softwarefehler, die durch einen einfachen Neustart behoben werden konnten, anstatt einer physischen Reparatur zu bedürfen. Echte Hardwarefehler, bei denen ein Chip oder eine Komponente tatsächlich kaputtging, waren selten und traten in weniger als 14 Prozent der Vorfälle auf. Dies deutet darauf hin, dass gebrauchte Hardware mit sorgfältiger Prüfung und etwas zusätzlicher Kapazität zur Handhabung von Ausfällen zuverlässig genug für den produktiven Einsatz sein kann. Die Forscher merkten an, dass sich das System am besten zum Beantworten von Fragen und zur Textgenerierung eignet, nicht jedoch für das Training neuer Modelle von Grund auf, was eine andere Art von Rechenleistung und Stabilität erfordert.

Letztendlich zeigt die Arbeit, dass es möglich ist, der ausgemusterten Technologie ein zweites Leben zu schenken, aber es ist nicht einfach nur eine Frage des Einsteckens alter Teile. Der Erfolg eines solchen „DumpsterClusters“ beruht auf einem empfindlichen Gleichgewicht aus Engineering, Wirtschaftlichkeit und Geografie. Er erfordert spezialisierte Software, um die Einschränkungen der alternden Hardware zu überwinden, einen Standort mit billiger und sauberer Elektrizität, um Betriebskosten und Emissionen niedrig zu halten, und eine Toleranz für eine etwas höhere Wartungsrate im Vergleich zu brandneuen Systemen. Wenn diese Bedingungen erfüllt sind, bietet der Ansatz einen gangbaren Weg, die KI-Kapazitäten zu erweitieren, ohne die massiven finanziellen und ökologischen Kosten der ständigen Neuproduktion von Chips zu verursachen. Es deutet auf eine Zukunft hin, in der der Lebenszyklus der Computerhardware verlängert werden kann, vorausgesetzt, wir sind bereit, die richtigen Werkzeuge mit den richtigen Energiequellen abzustimmen.