Energy efficiency of a GPU-based computing system for High Energy Physics experiments

Dieser Beitrag führt die Energieeffizienz als neue Metrik zur Bewertung von GPU-Hardware und Algorithmus-Optimierungen in der Hochenergiephysik ein und stellt ein Modell vor, das auf den HLT1-Trigger des LHCb-Experiment angewendet wird, um den Durchsatz mit Hardware-Spezifikationen in Beziehung zu setzen und die Entwicklung nachhaltiger Rechenökosysteme zu steuern.

Das Wesentliche

Stellen Sie sich vor, Sie betreiben eine riesige, hochgeschwindigkeitsfähige Sortierfabrik. Jede Sekunde treffen Millionen winziger Pakete (Daten aus Teilchenkollisionen) auf einem Förderband ein. Ihre Aufgabe besteht darin, jedes Paket schnell zu inspizieren, zu entscheiden, ob es interessant ist, und es zu sortieren. Genau das tut das LHCb-Experiment am CERN mit den Daten des Large Hadron Collider.

Lange Zeit setzte diese Fabrik auf standardmäßige „CPU"-Arbeitskräfte. Doch je geschäftiger die Fabrik wird, desto müder werden diese Arbeiter und die Stromrechnung schießt in die Höhe. Daher entschied sich das Team, eine neue Art von Arbeitskräften einzustellen: GPUs (Graphics Processing Units). Stellen Sie sich GPUs als ein Team aus Tausenden superschneller, spezialisierter Roboter vor, die parallel arbeiten können.

Diese Arbeit beschäftigt sich damit, herauszufinden, welche Roboter am besten einzustellen sind – nicht nur danach, wie schnell sie arbeiten, sondern danach, wie viel Energie sie verschwenden.

Das Problem: Geschwindigkeit versus Energie

Normalerweise betrachtet man beim Kauf einer neuen Maschine deren Geschwindigkeit. Doch in einer riesigen Fabrik ist Geschwindigkeit nicht alles. Wenn eine Maschine superschnell ist, aber wie ein durstiger Elefant Strom schluckt, ist der Betrieb zu teuer und erzeugt so viel Hitze, dass eine teure Klimaanlage erforderlich ist.

Die Autoren suchten nach einer neuen Methode, diese Roboter zu bewerten: Energieeffizienz. Das ist einfach: Wie viele Pakete kann dieser Roboter für jeden einzelnen Tropfen Strom sortieren, den er verbraucht?

Das Experiment: Die Roboter testen

Das Team richtete einen Test mit 10 verschiedenen NVIDIA-GPU-Modellen ein (von älteren Modellen bis hin zu den allerneuesten, modernsten). Sie führten auf allen Geräten exakt dieselbe Sortieraufgabe (genannt HLT1) aus.

Sie maßen zwei Dinge:

1. Durchsatz: Wie viele Pakete pro Sekunde der Roboter sortierte.
2. Leistungsaufnahme: Wie viel Strom der Roboter tatsächlich während der Arbeit verbrauchte.

Die überraschende Entdeckung: Die „durstigen" versus die „effizienten" Roboter

Hier ist die Wendung, die sie entdeckten: Nur weil ein Roboter leistungsstark ist, bedeutet das nicht, dass er mit seiner maximalen Leistungsgrenze läuft.

Stellen Sie sich ein Auto vor. Wenn Sie einen Ferrari im Stau fahren, erreichen Sie vielleicht nie seine Höchstgeschwindigkeit und verbrauchen nicht seinen gesamten Kraftstoff.

• Die „leistungsbeschränkten" Roboter: Einige ältere oder spezifische Workstation-Roboter erreichen ihre „Kraftstoffgrenze" (TDP). Sie arbeiten so hart sie können, sind aber durch ihr Design begrenzt. Sie sind wie ein Läufer, der sprintet, bis ihm die Luft ausgeht.
• Die „nicht leistungsbeschränkten" Roboter: Viele der neueren High-End-Roboter nutzten tatsächlich nicht ihre volle Kraftstoffkapazität. Obwohl sie Pakete mit 100-prozentiger Geschwindigkeit sortierten, verbrauchten sie nicht so viel Strom, wie ihre Spezifikationen sagten, dass sie könnten. Sie waren wie ein Läufer, der schneller sprinten könnte, aber nur joggt, weil die Aufgabe keinen Vollspurt erfordert.

Die magische Formel: Die Zukunft vorhersagen

Das Team maß nicht nur diese 10 Roboter; sie entwickelten ein vorhersagendes Rezept (ein mathematisches Modell).

Sie erkannten, dass die Geschwindigkeit eines Roboters von zwei Hauptfaktoren abhängt:

1. Wie viele Hände er hat (Anzahl der Kerne).
2. Wie schnell er Gegenstände greifen kann (Speicherbandbreite).

Sie stellten jedoch fest, dass eine Verdopplung der Anzahl der Hände die Geschwindigkeit nicht verdoppelt. Da die Roboter miteinander kommunizieren und auf Anweisungen warten müssen, werden die Geschwindigkeitsgewinne geringer, je mehr Hände man hinzufügt. Es ist wie das Hinzufügen weiterer Köche in eine Küche; irgendwann kommen sie sich nur noch gegenseitig in die Quere.

Mit diesem Rezept können sie nun auf das „Spezifikationsblatt" eines brandneuen Roboters schauen, der noch nicht einmal gebaut wurde. Durch Eingabe seiner Kernzahl und Speichergeschwindigkeit können sie vorhersagen:

• Wie schnell er Pakete sortieren wird.
• Wie viel Strom er verbrauchen wird.
• Wie energieeffizient er sein wird.

Der Gewinner

Als sie die Roboter nach Energieeffizienz (Pakete pro Joule Strom) rangierten, waren die Ergebnisse überraschend:

• Der schnellste Roboter (RTX PRO 6000) war nicht der effizienteste. Er war schnell, trank aber viel Strom.
• Der effizienteste Roboter (RTX PRO 4000) war tatsächlich langsamer, aber er war so sparsam mit Strom, dass er mehr Pakete pro Energieeinheit sortierte als die Riesen.

Warum das wichtig ist

Das LHCb-Experiment plant, seine Fabrik bald zu modernisieren. Sie können es sich nicht leisten, jedes einzelne neue Robotermodell, das auf den Markt kommt, zu kaufen und zu testen; das würde zu lange dauern und zu viel kosten.

Dank dieser Arbeit können sie nun die Broschüre eines zukünftigen Roboters betrachten, sie durch ihr „Rezept" laufen lassen und sofort wissen, ob es sich um eine gute Einstellung handelt. Sie können den Roboter wählen, der ihnen das beste Gleichgewicht aus Geschwindigkeit und niedrigen Stromrechnungen bietet, und so sicherstellen, dass ihre riesige Datenfabrik auch in den kommenden Jahren nachhaltig und erschwinglich bleibt.

Kurz gesagt: Sie haben herausgefunden, wie man genau vorhersagen kann, wie viel ein neuer Computerchip kostet, um zu laufen, und wie schnell er arbeiten wird, allein durch das Lesen seiner Spezifikationen – was den Wissenschaftlern Zeit, Geld und Strom spart.

Technische Zusammenfassung

1. Problemstellung

Experimente der Hochenergiephysik (HEP), insbesondere der Large Hadron Collider (LHC) am CERN, sehen sich beim Übergang in die Ära des High-Luminosity LHC (HL-LHC) erheblichen Herausforderungen hinsichtlich Skalierbarkeit und Energieverbrauch gegenüber.

• Skalierbarkeitsprobleme: Aktuelle CPU-basierte Architekturen haben Schwierigkeiten, die massiven Datenmengen (z. B. 40 Tb/s für LHCb) zu bewältigen, die für den Echtzeit-Trigger und die Rekonstruktion erforderlich sind.
• Energieeinschränkungen: Herkömmliche CPU-Ansätze weisen keine ausreichende Energieeffizienz auf, was zu prohibitiven Stromkosten und Anforderungen an die Kühlinfrastruktur führt.
• Schwierigkeiten bei der Hardwareauswahl: Obwohl GPUs eine vielversprechende Alternative bieten, bietet der Markt eine Vielzahl von Modellen mit unterschiedlichen Spezifikationen (Kernanzahl, Taktraten, Speicherbandbreite, Thermal Design Power). Das individuelle Testen jedes Kandidaten-GPU-Modells ist zeitaufwendig und kostspielig.
• Die Lücke: Es fehlen prädiktive Modelle, die die Durchsatzleistung und Energieeffizienz (verarbeitete Ereignisse pro Joule) allein auf Basis von Hardware-Spezifikationsparametern abschätzen können, ohne dass ein vollständiges Benchmarking erforderlich ist.

2. Methodik

Die Autoren entwickelten ein prädiktives Framework zur Modellierung der GPU-Leistung und des Stromverbrauchs für die HLT1-Arbeitslast (High-Level Trigger 1) von LHCb.

• Datensatz: Die Studie nutzte 10 NVIDIA-GPUs über vier Architekturen (Ampere, Ada Lovelace, Hopper, Blackwell) und zwei Fertigungsprozesse (Samsung 8 nm und TSMC 4 nm).
• Arbeitslast: Die Benchmarks wurden mit der Rekonstruktionssequenz hlt1_pp_default (Allen v7r10p1) ausgeführt, die etwa 300 Algorithmen für Teilchenspurenverfolgung, Vertexbildung und Klassifizierung umfasst.
• Messungen:
  • Durchsatz: Gemessene Ereignisse pro Sekunde (kHz).
  • Leistung: Überwachung via nvidia-smi und Validierung mit externen Stromverteilereinheiten (PDU).
  • Schlüsselkennzahlen: Streaming Multiprocessor (SM)-Takt, Speichertakt und Stromaufnahme wurden während des Betriebs im stationären Zustand aufgezeichnet.
• Modellierungsansatz:
  1. Durchsatzmodell: Eine Potenzgesetz-Funktion, die den Durchsatz ($TP$) mit der Rechenleistung ($N_{cores} \times f_{clk}$) und der Speicherbandbreite ($BW$) in Beziehung setzt.
  2. Leistungsmodell: Eine Unterscheidung zwischen „leistungsbeschränkten" und „nicht leistungsbeschränkten" GPUs, gefolgt von einem exponentiellen Abklingmodell für den Leistungsbedarf pro Kern.
  3. Energieeffizienz: Berechnet als Verhältnis von Durchsatz zu Leistung ($E_{eff} = TP / P$).

3. Hauptbeiträge und Ergebnisse

A. Durchsatzmodellierung

Die Autoren passten ein Potenzgesetz-Modell an die gemessenen Daten an:
$$TP = k \times (N_{cores} \times f_{clk})^a \times BW^b$$

• Ergebnisse: Die angepassten Exponenten betrugen $a = 0,59$ (Rechenleistung) und $b = 0,28$ (Speicherbandbreite).
• Erkenntnis: Die HLT1-Arbeitslast ist rechenlimitiert (compute-bound) und nicht speicherlimitiert. Die sublineare Skalierung ($a, b < 1$) zeigt, dass eine Verdopplung der Hardware-Ressourcen den Durchsatz nicht verdoppelt, was auf Synchronisationsaufwand und komplexe Kontrollflüsse (Verzweigungen) in den Algorithmen zur Mustererkennung zurückzuführen ist.
• Genauigkeit: Das Modell sagt den Durchsatz mit einem quadratischen Mittelwert der Residuen von ca. 3 % über verschiedene Architekturen hinweg voraus.

B. Stromverbrauch und Begrenzungskriterien

Ein entscheidendes Ergebnis ist, dass eine 100%ige GPU-Auslastung nicht garantiert, dass das Thermal Design Power (TDP) erreicht wird.

• Leistungsbeschränkt vs. Nicht leistungsbeschränkt:
  • Leistungsbeschränkt: Die Arbeitslast fordert mehr Leistung an, als das TDP der GPU zulässt (z. B. Ampere-GPUs und einige Workstation-Modelle). Die GPU stößt an ihre TDP-Obergrenze, und die Taktraten können gedrosselt werden.
  • Nicht leistungsbeschränkt: Die Arbeitslast fordert weniger Leistung an als das TDP (z. B. High-End-Gaming- und Rechenzentrums-GPUs). Diese GPUs laufen unterhalb ihres TDP, da die Verzweigungslogik des Algorithmus einige funktionale Einheiten im Leerlauf lässt.
• Leistungsbedarfskurve: Bei TSMC 4 nm-GPUs folgt der Leistungsbedarf pro Kern ($P_{core}$) einem exponentiellen Abklingen, wenn die Kernanzahl steigt, und konvergiert gegen einen Bodenwert von ca. 19,6 mW.
  • Liegt das TDP einer GPU pro Kern unterhalb dieser Bedarfskurve, ist sie leistungsbeschränkt.
  • Liegt es darüber, ist sie nicht leistungsbeschränkt, und die tatsächliche Leistung wird durch die Bedarfskurve vorhergesagt.

C. Energieeffizienz

Die Studie definiert Energieeffizienz als Ereignisse pro Joule.

• Zielkonflikt: Die GPU mit dem höchsten Rohdurchsatz ist nicht zwangsläufig die energieeffizienteste.
  • Beispiel: Die RTX PRO 6000 hat den höchsten Durchsatz (229 kHz), rangiert aber aufgrund des hohen Stromverbrauchs (481 W) nur auf Platz 4 in der Effizienz.
  • Beispiel: Die RTX PRO 4000 hat einen bescheidenen Durchsatz (84 kHz), ist aber die energieeffizienteste (581 Ereignisse/J), aufgrund ihres niedrigen TDP (145 W).
• Auswirkung der Architektur: Neuere Architekturen (Blackwell, Hopper) auf TSMC 4 nm sind deutlich effizienter als ältere Ampere-GPUs (Samsung 8 nm).

4. Bedeutung und Auswirkung

• Prädiktive Hardwareauswahl: Die Modelle ermöglichen es LHC-Kollaborationen (LHCb, ATLAS, CMS), Kandidaten-GPUs für zukünftige Upgrades (z. B. Run 4 und Run 5) allein anhand offizieller Datenblattparameter zu rangieren und so die Notwendigkeit kostspieliger individueller Benchmarks zu eliminieren.
• Leitlinien für Algorithmus-Optimierung: Die Ergebnisse deuten darauf hin, dass Algorithmen, die für leistungsbeschränkte GPUs (wie die aktuelle RTX A5000) optimiert sind, möglicherweise nicht optimal für neuere, nicht leistungsbeschränkte Hardware sind. Zukünftige Optimierungen sollten darauf abzielen, Verzweigungen zu reduzieren und die Thread-Auslastung zu verbessern, um den Durchsatz auf modernen GPUs zu maximieren, ohne an Leistungsgrenzen zu stoßen.
• Nachhaltiges Computing: Durch die Priorisierung der Energieeffizienz (Ereignisse/J) neben dem Durchsatz kann CERN die enormen Strombudgets für die HL-LHC-Upgrades verwalten und ein nachhaltiges Computer-Ökosystem gewährleisten.
• Generalisierbarkeit: Obwohl an der LHCb HLT1 getestet, ist die Methodik auf jede GPU-basierte Anwendung anwendbar, die eine Leistungsprojektion über Hardware-Generationen hinweg erfordert.

Fazit

Dieses Paper etabliert ein robustes Framework zur Bewertung von GPU-basierten HEP-Computersystemen. Es zeigt, dass die Energieeffizienz eine eigenständige und kritische Kennzahl ist, die sich vom Rohdurchsatz unterscheidet. Durch die Kombination eines Durchsatz-Potenzgesetz-Modells mit einem differenzierten Stromverbrauchsmodell, das Architekturunterschiede und Arbeitslastmerkmale berücksichtigt, bieten die Autoren ein wesentliches Werkzeug für nachhaltige, kosteneffektive Hardwareentscheidungen für die Zukunft der Teilchenphysik.