Energy efficiency of a GPU-based computing system for High Energy Physics experiments

Dit artikel introduceert energie-efficiëntie als een nieuwe maatstaf voor het evalueren van GPU-hardware en algoritme-optimalisaties in de hoge-energiefysica, en presenteert een model dat op de HLT1-trigger van het LHCb-experiment is toegepast om de doorvoer te relateren aan hardware-specificaties en de ontwikkeling van duurzame computerecosystemen te sturen.

De kern

Stel je voor dat je een enorme, supersnelle sorteerfabriek runt. Elke seconde komen er miljoenen kleine pakketjes (gegevens uit deeltjesbotsingen) op een lopende band aan. Jouw taak is om elk pakketje snel te inspecteren, te beslissen of het interessant is, en het te sorteren. Dit is precies wat het LHCb-experiment bij CERN doet met gegevens van de Large Hadron Collider.

Lange tijd gebruikte deze fabriek standaard "CPU"-werknemers. Maar naarmate de fabriek drukker wordt, raken deze werknemers uitgeput en schiet de elektriciteitsrekening de pan uit. Daarom besloot het team een nieuw type werknemer in te huren: GPUs (Graphics Processing Units). Denk aan GPUs als een team van duizenden supersnelle, gespecialiseerde robots die parallel kunnen werken.

Dit artikel gaat erover uit te zoeken welke robots het beste zijn om in te huren, niet alleen op basis van hoe snel ze werken, maar ook op basis van hoeveel energie ze verspillen.

Het Probleem: Snelheid versus Energie

Normaal gesproken kijk je bij de aanschaf van een nieuwe machine naar de snelheid. Maar in een gigantische fabriek is snelheid niet alles. Als een machine supersnel is maar elektriciteit slurpt als een dorstige olifant, is het te duur om te runnen en genereert het zoveel hitte dat je dure airconditioning nodig hebt.

De auteurs wilden een nieuwe manier om deze robots te meten: Energie-efficiëntie. Dit is simpelweg: Hoeveel pakketjes kan deze robot sorteren voor elke druppel elektriciteit die hij gebruikt?

Het Experiment: De Robots Testen

Het team zette een test op met 10 verschillende modellen van NVIDIA GPUs (variërend van oudere modellen tot de allernieuwste, meest geavanceerde). Ze voerden exact dezelfde sorteringstaak (genaamd HLT1) op allemaal uit.

Ze maten twee dingen:

1. Throughput: Hoeveel pakketjes per seconde de robot sorteert.
2. Vermogen: Hoeveel elektriciteit de robot daadwerkelijk verbruikte tijdens het werk.

De Verrassende Ontdekking: De "Dorstige" versus de "Efficiënte" Robots

Hier is de draai die ze ontdekten: Alleen omdat een robot krachtig is, betekent niet dat hij op zijn maximale vermogenslimiet zal draaien.

Denk aan een auto. Als je met een Ferrari in zware file rijdt, bereik je misschien nooit je topsnelheid en gebruik je niet al je brandstof.

• De "Vermogensbeperkte" Robots: Sommige oudere of specifieke werkstation-robots raken hun "brandstofplafond" (TDP). Ze werken zo hard als ze kunnen, maar ze worden beperkt door hun ontwerp. Ze zijn als een hardloper die sprint totdat hij buiten adem is.
• De "Niet-Vermogensbeperkte" Robots: Veel van de nieuwere, high-end robots gebruikten eigenlijk niet hun volledige brandstofcapaciteit. Hoewel ze pakketjes sorteerden met 100% snelheid, dronken ze niet zoveel elektriciteit als hun specificaties zeiden dat ze zouden kunnen. Ze waren als een hardloper die sneller zou kunnen sprinten, maar alleen jogde omdat de taak geen volledige sprint vereiste.

Het Magische Formule: De Toekomst Voorspellen

Het team mat niet alleen deze 10 robots; ze bouwden een voorspellend recept (een wiskundig model).

Ze beseften dat de snelheid van een robot afhangt van twee hoofdonderdelen:

1. Hoeveel handen hij heeft (Aantal Cores).
2. Hoe snel hij items kan grijpen (Geheugenbandbreedte).

Ze ontdekten echter dat het verdubbelen van het aantal handen de snelheid niet verdubbelt. Omdat de robots met elkaar moeten communiceren en op instructies moeten wachten, worden de snelheidswinsten kleiner naarmate je meer handen toevoegt. Het is als het toevoegen van meer chefs aan een keuken; uiteindelijk komen ze elkaar alleen maar in de weg.

Met dit recept kunnen ze nu naar het specificatieblad van een gloednieuwe robot kijken die nog niet eens gebouwd is. Door het aantal cores en de geheugensnelheid in te voeren, kunnen ze voorspellen:

• Hoe snel hij pakketjes zal sorteren.
• Hoeveel elektriciteit hij zal verbruiken.
• Hoe energie-efficiënt hij zal zijn.

De Winnaar

Toen ze de robots rangschikten op energie-efficiëntie (pakketjes per joule elektriciteit), waren de resultaten verrassend:

• De snelste robot (RTX PRO 6000) was niet de meest efficiënte. Hij was snel, maar hij dronk veel stroom.
• De meest efficiënte robot (RTX PRO 4000) was eigenlijk langzamer, maar hij was zo zuinig met elektriciteit dat hij meer pakketjes per druppel energie sorteert dan de reuzen.

Waarom Dit Belangrijk Is

Het LHCb-experiment plant binnenkort een upgrade van zijn fabriek. Ze kunnen het zich niet veroorloven om elk nieuw robotmodel dat uitkomt aan te schaffen en te testen; dat zou te lang duren en te veel kosten.

Dankzij dit artikel kunnen ze nu naar de brochure van een toekomstige robot kijken, deze door hun "recept" halen en direct weten of het een goede huur is. Ze kunnen de robot kiezen die hen de beste balans biedt tussen snelheid en lage energierekeningen, zodat hun enorme datafabriek voor jaren te komen duurzaam en betaalbaar blijft.

Kortom: Ze hebben uitgevonden hoe ze precies kunnen voorspellen hoeveel het zal kosten om een nieuwe computerchip te runnen en hoe snel deze zal werken, alleen door de specificaties te lezen, wat de wetenschappers tijd, geld en elektriciteit bespaart.

Technische samenvatting

1. Probleemstelling

Experimenten op het gebied van Hoge-Energiefysica (HEP), met name de Large Hadron Collider (LHC) bij CERN, staan voor aanzienlijke uitdagingen op het gebied van schaalbaarheid en energieverbruik naarmate ze overgaan naar het tijdperk van de High-Luminosity LHC (HL-LHC).

• Schaalbaarheidsproblemen: Huidige CPU-gebaseerde architecturen hebben moeite om de enorme datavolumes (bijv. 40 Tb/s voor LHCb) te verwerken die nodig zijn voor real-time triggeren en reconstructie.
• Energiebeperkingen: Traditionele CPU-benaderingen missen energie-efficiëntie, wat leidt tot verbodsbepalende elektriciteitskosten en eisen aan de koelinfrastructuur.
• Moeilijkheid bij hardwareselectie: Hoewel GPU's een veelbelovend alternatief bieden, biedt de markt een groot scala aan modellen met variërende specificaties (aantal cores, kloksnelheden, geheugenbandbreedte, Thermal Design Power). Het individueel testen van elke kandidaat-GPU is tijdrovend en duur.
• Het gat: Er ontbreekt een voorspellend model dat doorvoer en energie-efficiëntie (gebeurtenissen verwerkt per Joule) kan schatten uitsluitend op basis van hardware-specificatieparameters, zonder dat volledige benchmarks nodig zijn.

2. Methodologie

De auteurs ontwikkelden een voorspellend kader om GPU-prestaties en stroomverbruik te modelleren voor de LHCb High-Level Trigger 1 (HLT1) workload.

• Dataset: Het onderzoek gebruikte 10 NVIDIA GPU's die vier architecturen bestreken (Ampere, Ada Lovelace, Hopper, Blackwell) en twee fabricageprocessen (Samsung 8nm en TSMC 4nm).
• Workload: Benchmarks werden uitgevoerd met de hlt1_pp_default reconstructieserie (Allen v7r10p1), die ongeveer 300 algoritmen bevat voor deeltjestracking, vertexing en classificatie.
• Metingen:
  • Doorvoer: Gemeten gebeurtenissen per seconde (kHz).
  • Vermogen: Gemonitord via nvidia-smi en gevalideerd met externe stroomverdelingsunits (PDU).
  • Belangrijke metrics: Streaming Multiprocessor (SM) kloksnelheid, geheugenkloksnelheid en stroomverbruik werden geregistreerd tijdens stationaire werking.
• Modelleringsbenadering:
  1. Doorvoermodel: Een machtwetfunctie die doorvoer ($TP$) relateert aan rekenkracht ($N_{cores} \times f_{clk}$) en geheugenbandbreedte ($BW$).
  2. Vermogensmodel: Een onderscheid tussen "vermogensbeperkte" en "niet-vermogensbeperkte" GPU's, gevolgd door een exponentieel afname-model voor stroomvraag per core.
  3. Energie-efficiëntie: Berekend als de verhouding van Doorvoer tot Vermogen ($E_{eff} = TP / P$).

3. Belangrijkste bijdragen en bevindingen

A. Doorvoermodelleren

De auteurs pasten een machtwetmodel aan op de gemeten data:
$$TP = k \times (N_{cores} \times f_{clk})^a \times BW^b$$

• Resultaten: De gefitte exponenten waren $a = 0,59$ (rekenkracht) en $b = 0,28$ (geheugenbandbreedte).
• Inzicht: De HLT1-workload is rekengebonden in plaats van geheugengebonden. De sublineaire schaling ($a, b < 1$) geeft aan dat het verdubbelen van hardwarebronnen de doorvoer niet verdubbelt vanwege synchronisatie- overhead en complexe controleflow (vertakking) in patroonherkenningsalgoritmen.
• Nauwkeurigheid: Het model voorspelt doorvoer met een root-mean-square residual van ongeveer 3% over verschillende architecturen heen.

B. Stroomverbruik en beperkende criteria

Een cruciale bevinding is dat 100% GPU-gebruik niet garandeert dat het Thermal Design Power (TDP) wordt bereikt.

• Vermogensbeperkt vs. Niet-vermogensbeperkt:
  • Vermogensbeperkt: De workload vraagt meer vermogen dan het TDP van de GPU toelaat (bijv. Ampere GPU's en sommige workstation-modellen). De GPU stuit op zijn TDP-plafond en kloksnelheden kunnen worden gedempt.
  • Niet-vermogensbeperkt: De workload vraagt minder vermogen dan het TDP (bijv. high-end gaming- en datacenter-GPU's). Deze GPU's draaien onder hun TDP omdat de vertakkingslogica van het algoritme sommige functionele eenheden inactief laat.
• Vermogensvraagcurve: Voor TSMC 4nm GPU's volgt de stroomvraag per core ($P_{core}$) een exponentiële afname naarmate het aantal cores toeneemt, convergerend naar een vloer van ongeveer 19,6 mW.
  • Als het TDP per core van een GPU onder deze vraagcurve ligt, is het vermogensbeperkt.
  • Als het erboven ligt, is het niet-vermogensbeperkt, en wordt het werkelijke vermogen voorspeld door de vraagcurve.

C. Energie-efficiëntie

Het onderzoek definieert energie-efficiëntie als gebeurtenissen per Joule.

• Trade-off: De GPU met de hoogste ruwe doorvoer is niet per se de meest energie-efficiënte.
  • Voorbeeld: De RTX PRO 6000 heeft de hoogste doorvoer (229 kHz) maar staat 4e in efficiëntie vanwege het hoge stroomverbruik (481 W).
  • Voorbeeld: De RTX PRO 4000 heeft een bescheiden doorvoer (84 kHz) maar is de meest energie-efficiënte (581 gebeurtenissen/J) vanwege het lage TDP (145 W).
• Invloed van architectuur: Nieuwere architecturen (Blackwell, Hopper) op TSMC 4nm zijn aanzienlijk efficiënter dan oudere Ampere (Samsung 8nm) GPU's.

4. Betekenis en Impact

• Voorspellende hardwareselectie: De modellen stellen LHC-samenwerkingen (LHCb, ATLAS, CMS) in staat om kandidaat-GPU's voor toekomstige upgrades (bijv. Run 4 en Run 5) te rangschikken met uitsluitend officiële datasheet-parameters, waardoor de noodzaak voor kostbare individuele benchmarks wordt weggenomen.
• Richtlijnen voor algoritme-optimalisatie: De resultaten suggereren dat algoritmen die zijn geoptimaliseerd voor vermogensbeperkte GPU's (zoals de huidige RTX A5000) mogelijk niet optimaal zijn voor nieuwere, niet-vermogensbeperkte hardware. Toekomstige optimalisaties moeten gericht zijn op het verminderen van vertakkingen en het verbeteren van thread-gebruik om de doorvoer op moderne GPU's te maximaliseren zonder aan te stuiten tegen vermogensmuren.
• Duurzaam computing: Door energie-efficiëntie (gebeurtenissen/J) naast doorvoer te prioriteren, kan CERN de enorme stroombudgetten beheren die nodig zijn voor de HL-LHC-upgrades, waardoor een duurzaam computing-ecosysteem wordt gewaarborgd.
• Generaliseerbaarheid: Hoewel getest op LHCb HLT1, is de methodologie toepasbaar op elke GPU-gebaseerde applicatie die prestatieprojectie vereist over hardwaregeneraties heen.

Conclusie

Dit artikel vestigt een robuust kader voor het evalueren van GPU-gebaseerde HEP-computersystemen. Het toont aan dat energie-efficiëntie een onderscheidende en kritieke metriek is die losstaat van ruwe doorvoer. Door een doorvoer-machtwetmodel te combineren met een genuanceerd stroomverbruiksmodel dat rekening houdt met architecturale verschillen en workload-karakteristieken, bieden de auteurs een essentieel hulpmiddel voor het nemen van duurzame, kosteneffectieve hardwarebeslissingen voor de toekomst van de deeltjesfysica.