Regime-First GPU Power Management for Deep Learning: Cross-Hardware Evidence from Power, Performance, and Energy

In de uitgestrekte, zoemende hallen van moderne datacenters, waar kunstmatige intelligentiemodellen worden getraind, wordt een stille strijd gevoerd om elektriciteit. Deze machines, aangedreven door gespecialiseerde chips genaamd graphics processing units, of GPU's, verbruiken enorme hoeveelheden energie om complexe problemen op te lossen. Jarenlang hebben ingenieurs gewerkt volgens een eenvoudige, intuïtieve regel: als je de hoeveelheid vermogen die een chip kan opnemen beperkt, bespaar je energie. Het lijkt logisch dat het zachter zetten van het volume van een luidspreker het totale geluid dat deze produceert vermindert; op dezelfde manier zou het verlagen van de vermogenslimiet van een chip het totale elektriciteitsverbruik moeten verminderen. Dit idee heeft geleid tot wijdverbreide praktijken van "power capping", waarbij beheerders een hard plafond instellen voor hoeveel elektriciteit een chip op elk gegeven moment mag gebruiken, in de hoop kosten en warmte te verlagen zonder de prestaties aan te tasten. Deze aanname berust echter op de overtuiging dat de relatie tussen vermogen en arbeid rechtlijnig is, waarbij de complexe, veranderlijke aard van hoe deze chips zich daadwerkelijk gedragen onder verschillende omstandigheden, wordt genegeerd.

Een team onderzoekers van de Vishnu Women's University in India heeft deze rechtstreekse visie uitgedaagd met een reeks rigoureuze experimenten. Zij zetten zich af om te testen of het simpelweg verlagen van de vermogenslimiet op een GPU altijd leidt tot een energiezuinigere uitkomst, of dat het antwoord volledig afhangt van het specifieke type hardware en de taak die het uitvoert. Om dit te doen, vertrouwden zij niet op computersimulaties of theoretische modellen. In plaats daarvan draaiden ze echte trainingsjobs op fysieke chips, waarbij ze elke watt aan elektriciteit en elke seconde aan tijd met hoge precisie maten. Ze testten vijf verschillende soorten deep learning-architecturen — complexe wiskundige structuren die worden gebruikt om afbeeldingen en patronen te herkennen — op twee zeer verschillende soorten GPU's: een Tesla T4, een kaart ontworpen voor datacenters, en een Quadro GV100, een krachtigere werkstationkaart. Later voegden ze een derde kaart toe, de L4, om te zien of hun bevindingen standhielden over verschillende generaties technologie heen.

De onderzoekers ontdekten dat het gedrag van deze chips niet uniform is. Op de krachtige Quadro GV100 trokken verschillende taken verschillende hoeveelheden vermogen, en warmden de chips op een vloeiende, voorspelbare manier op. Maar op de Tesla T4 was de situatie heel anders. Deze chip opereerde in een nauwe band waar het vermogen strikt werd beperkt door softwareinstellingen, ongeacht de specifieke taak die erop draaide. Toen de onderzoekers probeerden de vermogenslimiet op de T4 te verlagen van de standaardinstelling van 70 watt naar 60 watt, gebeurde er iets contra-intuïtiefs. De chip verbruikte inderdaad minder elektriciteit op elk enkel moment, maar hij vertraagde zo aanzienlijk dat het veel langer duurde om dezelfde hoeveelheid werk te voltooien. Omdat de chip langer draaide, nam de totale energie die nodig was om een enkele stap van het trainingsproces te voltooien, feitelijk toe. In sommige gevallen zorgde het verlagen van de vermogenslimiet met ongeveer 10 procent ervoor dat de energie die per stap nodig was, met maar liefst 11,7 procent steeg. De chip werkte in essentie harder en langer om dezelfde klus te klaren, waarbij hij energie verspilde in het proces.

Deze bevinding spreekt de algemene overtuiging direct tegen dat lager instantaan vermogen altijd gelijk staat aan een betere efficiëntie. De onderzoekers ontdekten dat op de T4 het meest efficiënte werkpunt niet de laagst mogelijke vermogensinstelling was, maar een specifiek middengebied. Wanneer zij de limiet op 64 watt instelden, vertraagde de chip slechts licht en bleef de totale energie per stap bijna gelijk aan de standaardinstelling. Echter, het verlagen naar 60 watt overschreed een drempel waarbij de vertraging te ernstig werd, wat het proces minder efficiënt maakte. De studie testte ook een dynamisch controlesysteem dat het vermogenslimiet automatisch zou aanpassen op basis van de temperatuur van de chip, een veelgebruikte strategie in de moderne computing. Ze ontdekten dat deze slimme controller op de T4 geen echt voordeel bood, omdat de chip al werd beheerd door zijn eigen interne softwarelimieten, en de temperatuurgebaseerde aanpassingen de uitkomst niet veranderden.

Het verhaal nam een interessante wending toen de onderzoekers een nieuwere chip testten, de NVIDIA L4. Hier veranderden de regels opnieuw. Op deze hardware verlaagde het verlagen van de vermogenslimiet naar 60 of 64 watt de totale benodigde energie om elke stap te voltooien daadwerkelijk, ook al was de chip nog steeds trager. Dit bewees dat er geen enkele, universele regel is voor het beheren van vermogen over alle soorten hardware heen. Wat werkt voor de ene chip, kan rampzalig zijn voor een andere, en wat werkt voor de ene taak, kan niet werken voor een andere taak op dezelfde chip. De onderzoekers concludeerden dat men, voordat men probeert energie te besparen door vermogenslimieten aan te passen, eerst de specifieke "regime" of operationele modus van hun specifieke hardware en workload moet begrijpen.

Het team stelde een nieuwe aanpak voor genaamd "regime-first" management. In plaats van blindelings een energiebesparende regel toe te passen, zouden systeembeheerders eerst moeten meten hoe hun specifieke chip zich gedraagt. Ze zouden een korte test moeten uitvoeren om te zien of de chip echt wordt beperkt door hitte, beperkt door vermogen, of dat er voldoende ruimte over is. Pas nadat de staat is geïdentificeerd, zouden zij moeten beslissen of ze moeten ingrijpen. Als de chip al op zijn limiet draait, kan het forceren om minder vermogen te gebruiken de snelheid en efficiëntie alleen maar verminderen. Als er ruimte over is, kan het verlagen van het vermogen inderdaad energie besparen. Deze methode behandelt de hardware als een uniek entiteit met een eigen persoonlijkheid, in plaats van aan te nemen dat alle chips op dezelfde manier reageren op hetzelfde commando.

De studie onderzocht ook of kunstmatige intelligentie deze gedragingen kon voorspellen voordat ze plaatsvonden. De onderzoekers vroegen een groot taalmodel, een type AI dat is getraind op enorme hoeveelheden tekst en code, om te raden hoeveel vermogen een specifieke trainingsjob zou gebruiken. Ze kwamen tot de conclusie dat de AI betere voorspellingen kon doen als deze werd voorzien van specifieke details over de hardware, zoals de modelnaam en technische specificaties. Echter, toen ze probeerden de AI te onderwijzen door het slechts één voorbeeld te tonen van hoe een chip zich gedroeg, waren de resultaten gemengd. Op de T4, waar alle taken vergelijkbaar gedrag vertoonden, hielp dit enkele voorbeeld de AI om de rest te voorspellen. Maar op de GV100, waar taken zeer verschillend gedrag vertoonden, leidde datzelfde voorbeeld de AI juist de verkeerde kant op. Dit suggereert dat hoewel AI een nuttig hulpmiddel kan zijn voor het doen van initiële schattingen, het de noodzaak van real-world metingen niet kan vervangen.

Uiteindelijk benadrukt het onderzoek een fundamentele waarheid over het beheren van complexe systemen: intuïtie kan misleidend zijn. Het idee dat "minder vermogen altijd beter is" is een valstrik die kan leiden tot verspilling van energie en tragere prestaties. De onderzoekers toonden aan dat het pad naar efficiëntie geen rechte lijn is, maar een landschap met pieken en dalen die van de ene machine naar de andere variëren. Door de tijd te nemen om het specifieke gedrag van hun hardware te meten en te begrijpen, kunnen ingenieurs de valkuilen van one-size-fits-all oplossingen vermijden. Het werk dient als een herinnering dat in de wereld van high-performance computing de meest effectieve strategie niet het toepassen van een vaste regel is, maar het observeren, meten en aanpassen aan de unieke realiteit van de machine die voor je staat.