Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Dieser Artikel präsentiert die erste End-to-End-Demonstration des Fine-Tunings und des Betriebs von Gemma 4 31B auf Google Cloud TPUs, erläutert die erforderlichen Codeanpassungen zur Portierung GPU-nativer Workflows auf den JAX-Stack und zeigt, dass die TPU-Konfiguration im Vergleich zu H100-GPU-Baselines eine 1,61-fach schnellere Training bei 1,82-fach niedrigeren Kosten bei vergleichbarem Inferenz-Durchsatz und deutlich reduzierter Latenz erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber sehr teuren Roboter (einem KI-Modell) eine neue Fähigkeit beizubringen: das Schreiben von Computercode für elektronische Schaltkreise (Verilog). Sie haben zwei Optionen für die „Schule", in der diese Ausbildung stattfindet:
- Die GPU-Schule: Geführt von NVIDIA, mit ihren berühmten H100-Chips. Dies ist der Standardweg, der gut ausgetreten ist und viele erfahrene Lehrer bietet.
- Die TPU-Schule: Geführt von Google, mit ihren maßgeschneiderten TPU-Chips. Dies ist ein neuerer, hochspezialisierter Campus, der schneller und günstiger ist, aber erfordert, dass Sie eine völlig neue Sprache lernen, um hineinzukommen.
Dieser Bericht von h2loop.ai ist ein „Feldführer", geschrieben von Ingenieuren, die sich entschieden haben, die Google TPU-Schule zu besuchen. Sie nahmen ein KI-Modell mit 31 Milliarden Parametern (Gemma 4) und brachten ihm das Codieren bei, verglichen dann, wie gut es im Vergleich zur Standard-GPU-Schule funktionierte.
Hier ist die Aufschlüsselung ihrer Reise, einfach erklärt:
1. Die Sprachbarriere (Das „Porting"-Problem)
Die größte Hürde war nicht die Hardware selbst, sondern die Software.
- Die GPU-Schule spricht PyTorch, eine beliebte Programmiersprache, die die meisten KI-Entwickler bereits kennen.
- Die TPU-Schule spricht JAX, eine andere Sprache, die eine andere Denkweise erfordert.
Die Autoren mussten ihren gesamten „Lehrplan" von PyTorch in JAX übersetzen. Sie mussten:
- Die Aufteilung des Gehirns des Modells über mehrere Chips neu organisieren (wie das Ordnen einer Bibliothek, in der Bücher über 4 verschiedene Räume verstreut sind, statt über 2).
- Bestimmte Teile des Modells umbenennen, weil die TPU-Schule Dinge anders nennt (z. B. eine „q_proj" als „q_einsum" bezeichnen).
- Eine benutzerdefinierte „Brücke" zum Speichern ihrer Arbeit bauen, da die TPU-Schule ein anderes Ablagesystem (Orbax) verwendet als der Rest der Welt (Safetensors).
Die Analogie: Es ist wie ein Umzug. Die Möbel (das KI-Modell) sind dieselben, aber das neue Haus (TPU) hat andere Türen und Grundrisse. Sie müssen die Möbel zerlegen, durch die neuen Türen tragen und wieder zusammenbauen, sonst passen sie nicht.
2. Das Trainingsrennen (Den Roboter unterrichten)
Sobald sie das Modell eingerichtet hatten, starteten sie das Trainingsrennen.
- Geschwindigkeit: Die TPU-Schule war 1,6-mal schneller. Sie schloss den Trainingskurs in 3,3 Stunden ab, während die GPU-Schule 5,4 Stunden benötigte.
- Kosten: Da die TPU-Schule pro Stunde weniger berechnet und schneller fertig wird, war die Gesamtrechnung 2,1-mal günstiger.
- GPU-Rechnung: ~119 $
- TPU-Rechnung: ~56 $
Warum war die TPU schneller?
Stellen Sie sich die TPU-Chips als ein Team von 4 Läufern vor, die sich über eine superschnelle interne Autobahn (ICI) extrem schnell ein Stab (Daten) übergeben. Die GPU-Schule hatte nur 2 Läufer. Obwohl die einzelnen GPU-Läufer etwas schneller waren, ließ die Fähigkeit des TPU-Teams, sich zu koordinieren und Daten gemeinsam zu bewegen, das gesamte Team gewinnen.
3. Die Prüfung (Hat der Roboter gelernt?)
Nach dem Training testeten sie die Roboter an einer Verilog-Codierungsprüfung.
- Das Ergebnis: Der auf GPUs trainierte Roboter schnitt bei den schwierigsten Fragen leicht besser ab (etwa 5 % besser).
- Der Haken: Die Autoren stellten fest, dass dieser Unterschied wahrscheinlich darauf zurückzuführen ist, dass die beiden Schulen die Prüfungen leicht unterschiedlich bewerteten (die eine ignorierte den „Prompt"-Teil der Frage, die andere nicht), und nicht darauf, dass ein Roboter von Natur aus schlauer war. Der Unterschied war statistisch nicht riesig.
4. Das Vorstellungsgespräch (Das Bereitstellen des Modells)
Nach dem Training muss das Modell eingesetzt werden und Benutzerfragen in Echtzeit beantworten. Dies nennt man „Inference". Sie testeten, wie schnell das Modell Fragen unterschiedlicher Länge beantworten konnte.
Kurze Fragen (Einfache Aufgaben):
- Die GPU-Schule war beim Beantworten sehr kurzer Fragen leicht schneller.
- Sie war auch pro Antwort für diese schnellen Aufgaben leicht günstiger.
- Analogie: Wenn Sie nur einen einzelnen Kaffee kaufen müssen, ist der lokale Laden (GPU) etwas effizienter.
Lange Fragen (Komplexe Aufgaben):
- Wenn die Fragen lang wurden (4.000+ Wörter), schlug die TPU-Schule absolut zu.
- Geschwindigkeit: Die TPU war 23-mal schneller beim Starten der Antwort auf eine lange Frage (Time-to-First-Token).
- Kapazität: Die TPU konnte 4-mal mehr Personen gleichzeitig mit langen Fragen bedienen, ohne langsamer zu werden.
- Analogie: Wenn Sie einen ganzen Roman schreiben müssen, hat die TPU-Schule eine riesige Bibliothek und ein Team von Schriftstellern, die nahtlos zusammenarbeiten können. Die GPU-Schule gerät unter Druck und fängt an, Bücher fallen zu lassen.
5. Das endgültige Urteil
Die Autoren kommen zu dem Schluss, dass für ihre spezifischen Bedürfnisse (das Trainieren eines großen Modells und das Bereitstellen für Benutzer) Googles TPU der Gewinner ist.
- Training: TPU ist der klare Champion (Schneller und viel günstiger).
- Inference: TPU ist der Champion für alles Komplexes oder Lange. Für sehr einfache, kurze Aufgaben ist die GPU immer noch leicht besser.
- Gesamtkosten: Wenn man die Trainingskosten und einen Tag des Bediens von Benutzern zusammenzählt, war das TPU-Setup insgesamt 1,8-mal günstiger.
Das Fazit:
Der Wechsel zur TPU-Schule erforderte viel harte Arbeit im Voraus (eine neue Sprache lernen, die Möbel reparieren, Brücken bauen). Aber sobald sie sich eingelebt hatten, lief die Schule schneller, kostete weniger und bewältigte große, komplexe Jobs viel besser als die traditionelle GPU-Schule. Für ein Unternehmen, das schwere KI-Arbeiten verrichtet, lohnte sich der zusätzliche Aufwand für den Wechsel durch die Einsparungen und die Leistung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.