Can Adjusting Hyperparameters Lead to Green Deep Learning: An Empirical Study on Correlations between Hyperparameters and Energy Consumption of Deep Learning Models

Deze empirische studie toont aan dat het aanpassen van hyperparameters de energieconsumptie van deep learning-modellen kan verlagen zonder prestatieverlies, wat bijdraagt aan groenere AI, vooral in parallelle trainingsomgevingen.

De kern

Stel je voor dat je een enorme, complexe machine bouwt om een moeilijke puzzel op te lossen. In de wereld van computers noemen we dit een Deep Learning-model. Deze machines zijn ongelooflijk slim; ze kunnen gezichten herkennen, ziektes diagnosticeren en zelfs zelfrijdende auto's besturen. Maar er is een groot nadeel: deze machines zijn ook ontzettend hongerig. Ze eten enorm veel stroom, wat slecht is voor het milieu (meer CO2) en voor je portemonnee.

De onderzoekers van dit paper, Taoran Wang en zijn team van de Universiteit van Nanjing, vroegen zich af: "Kunnen we deze machines minder hongerig maken zonder ze minder slim te maken?"

Hier is hoe ze dat hebben onderzocht, vertaald naar alledaagse taal:

1. De Instellingen (De "Knoppen")

Elke slimme machine heeft een paneel met knoppen en schuifbalken. In de computerwereld heten deze hyperparameters.

• Denk aan het aantal rondes (epochs) dat de machine de puzzel mag oefenen.
• Denk aan hoe snel hij leert (learning rate).
• Denk aan hoe streng hij is bij het maken van fouten.

Normaal gesproken draaien programmeurs aan deze knoppen om de machine slimmer te maken. Ze kijken alleen naar de score: "Is hij nauwkeuriger?" Ze kijken zelden naar de energiemeter.

2. De Experimenten: Het "Mutatie"-Spel

De onderzoekers wilden weten of het draaien aan deze knoppen ook invloed heeft op het energieverbruik. Om dit te testen, gebruikten ze een trucje uit de softwarewereld genaamd mutatie.

Stel je voor dat je een recept voor een taart hebt. In plaats van het recept één keer te bakken, maak je 375 variaties:

• Soms doe je net iets meer suiker (meer rondes).
• Soms bak je het iets sneller (andere leersnelheid).
• Soms doe je net iets minder boter.

Ze bakten al deze variaties op hun eigen server (hun "keuken") en keken precies hoeveel stroom elke taart kostte om te bakken en hoe lekker hij smaakte (de prestatie).

3. De Grote Ontdekkingen

Ontdekking 1: Knoppen hebben invloed op de energierekening
Ze ontdekten dat bijna elke knop invloed heeft op de energiestroom.

• Het aantal rondes (epochs): Dit is als het aantal keren dat je een sportoefening herhaalt. Als je te vaak oefent, word je misschien net iets beter, maar je verbrandt enorm veel calorieën (stroom). Als je de oefeningen iets verkort, bespaar je veel energie zonder dat je prestatie echt zakt.
• De leersnelheid: Dit is als hoe snel je loopt. Soms is een snellere pas energieverslindend, terwijl een iets langzamere, rustigere pas juist zuiniger is.

Ontdekking 2: Je kunt "Groene" Modellen maken
Het allerbelangrijkste nieuws is: Ja, je kunt modellen groener maken!
Ze vonden variaties waarbij de machine minder stroom gebruikte, maar even goed (of zelfs beter) bleef presteren.

• Analogie: Het is alsof je ontdekt dat je auto met 10% minder benzine precies even snel rijdt als met de volle tank, als je alleen je rijstijl iets aanpast. Je hoeft geen nieuwe, dure motor te kopen; je moet alleen de knoppen goed zetten.

Ontdekking 3: De "Gedeelde Keuken" (Parallelle omgeving)
In de echte wereld draaien vaak meerdere modellen tegelijk op dezelfde server (zoals meerdere koks die tegelijk in één keuken werken).
De onderzoekers ontdekten iets verrassends: in zo'n gedeelde ruimte is het energieverbruik gevoeliger.

• Als je in een drukke keuken een knopje verdraait, schommelt het energieverbruik veel meer dan als je alleen in een lege keuken werkt.
• De prestaties van de machine bleven echter stabiel, zelfs als de energiestroom wildere sprongen maakte. Dit betekent dat je in een drukke omgeving extra goed moet opletten op je instellingen om energie te besparen.

Wat betekent dit voor ons?

De boodschap van dit paper is simpel maar krachtig:
Als softwareontwikkelaars en AI-experts alleen kijken naar hoe slim hun model is, missen ze een groot deel van het plaatje. Door simpelweg de instellingen (knoppen) iets anders te zetten, kunnen we:

1. De CO2-uitstoot verlagen (goed voor het klimaat).
2. De kosten verlagen (goed voor de zak).
3. Zonder dat de kwaliteit van de AI daalt.

Het is alsof we ontdekken dat we niet altijd een grotere, duurdere auto nodig hebben om sneller te rijden; soms moeten we alleen maar iets anders schakelen. De onderzoekers roepen daarom op om bij het bouwen van AI-systemen ook altijd naar de energiemeter te kijken, niet alleen naar de score.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Can Adjusting Hyperparameters Lead to Green Deep Learning: An Empirical Study on Correlations between Hyperparameters and Energy Consumption of Deep Learning Models", geschreven in het Nederlands.

Probleemstelling

De snelle ontwikkeling van Deep Learning (DL) modellen gaat gepaard met het gebruik van steeds grotere datasets en complexere modelstructuren. Dit leidt tot een sterke stijging in de vraag om rekenkracht en, als gevolg daarvan, een aanzienlijke toename in energieverbruik en CO2-uitstoot. Hoewel veel onderzoek zich richt op de prestaties (zoals nauwkeurigheid) en betrouwbaarheid van DL-modellen, krijgt het energieverbruik ("Green DL") minder aandacht.

De kernvraag van dit onderzoek is of het aanpassen van hyperparameters (zoals het aantal epochs of de leersnelheid) niet alleen de prestaties, maar ook het energieverbruik kan beïnvloeden. Bestaand onderzoek heeft de relatie tussen hyperparameters en prestaties al onderzocht, maar de correlatie met energiekosten is nog niet in kaart gebracht.

Methodologie

De auteurs hanteren een empirische aanpak gebaseerd op mutatietesten (mutation testing), een techniek die traditioneel wordt gebruikt in software engineering om fouten op te sporen. Hier wordt de techniek echter toegepast om systematisch variaties in hyperparameters te genereren.

1. Selectie van Modellen en Data:

   • Er zijn vijf real-world DL-modellen geselecteerd (o.a. gebaseerd op ResNet, Siamese Networks en HRNet) die worden getraind op drie datasets: MNIST, CIFAR-10 en Market-1501.
   • De modellen variëren in complexiteit en grootte.

2. Mutatie van Hyperparameters:

   • Er worden vijf mutatie-operatoren toegepast om hyperparameters te variëren binnen een redelijk bereik rondom de standaardwaarden (default).
   • De onderzochte hyperparameters zijn: epochs, learning rate, gamma, weight decay en threshold.
   • Voor elk model worden mutaties gegenereerd om 375 unieke trainingsconfiguraties te creëren (5 modellen × 3 hyperparameters × 5 mutaties × 5 herhalingen).

3. Datacollectie:

   • Trainingen worden uitgevoerd op een lokale server (Intel Xeon CPU, NVIDIA RTX 3080 GPU).
   • Twee scenario's worden getest:
     • Single Environment: Modellen worden één voor één getraind.
     • Parallel Environment: Twee modellen worden tegelijkertijd getraind op dezelfde server om de impact van concurrentie op het energieverbruik te meten.
   • Metrics: Er wordt energie verbruik gemeten voor de CPU-pakket (pkg), het werkgeheugen (ram) en de GPU (gpu) met behulp van perf en nvidia-smi. Ook worden tijdkosten en prestatie (nauwkeurigheid) gemeten.

4. Analyse:

   • Spearman-correlatieanalyse: Om de relatie tussen hyperparameters en energiemetrics te kwantificeren.
   • Trade-off analyse: Gebruikmakend van de Wilcoxon signed-rank test en Cliff's delta om te bepalen of mutaties leiden tot "winst" (minder energie, gelijke/betere prestaties), "tie" (geen significant verschil) of "verlies".

Belangrijkste Bijdragen

1. Nieuwe Benadering: Het introduceren van een methode die mutatietesten gebruikt om de relatie tussen hyperparameters en energieverbruik in DL-modellen te analyseren.
2. Scenario-uitbreiding: Het onderscheid maken tussen single en parallelle trainingsomgevingen, wat relevant is voor moderne datacenters waar meerdere modellen vaak op dezelfde hardware draaien.
3. Empirisch Bewijs: Een uitgebreide studie op zes real-world modellen die aantoont dat hyperparameters een significante invloed hebben op de "groenheid" van een model.

Resultaten

RQ1: Correlatie tussen hyperparameters en energie

• Epochs: Er is een sterke positieve correlatie tussen het aantal epochs en het energieverbruik (zowel CPU als GPU). Meer epochs betekenen direct meer energie, maar dit heeft vaak weinig invloed op de uiteindelijke nauwkeurigheid als het aantal al hoog is.
• Learning Rate: Er is een zwakke negatieve correlatie met energieverbruik (vooral GPU) en tijd. Een lagere learning rate kan soms leiden tot minder energie, maar kan ook de prestaties negatief beïnvloeden als deze te laag wordt gekozen.
• Andere parameters: Gamma en weight decay tonen wisselende correlaties, maar kunnen in specifieke gevallen (vooral bij GPU-gedreven modellen) het verbruik verlagen.

RQ2: Kunnen we modellen groener maken?

• Ja, het is mogelijk om DL-modellen "groener" te maken door hyperparameters aan te passen zonder prestatieverlies.
• Epochs: Het verlagen van het aantal epochs binnen een bepaald bereik leidt vaak tot aanzienlijke energiebesparingen met behoud van nauwkeurigheid.
• Learning Rate: Bewust aanpassen (niet willekeurig muteren) kan leiden tot een betere trade-off, waarbij energie wordt bespaard terwijl de prestaties gelijk blijven of zelfs verbeteren.
• GPU-impact: Voor modellen die zwaar op de GPU draaien, kan het aanpassen van weight decay en learning rate leiden tot lagere GPU-energiekosten.

RQ3: Toepasbaarheid in parallelle omgevingen

• In een parallelle omgeving (waar twee modellen tegelijk trainen) is het energieverbruik gevoeliger voor veranderingen in hyperparameters dan in een single-omgeving.
• De prestaties (nauwkeurigheid) blijken in parallelle omgevingen echter stabiler te zijn; er zijn minder extreme "verlies"-scenario's voor de prestatie.
• Dit suggereert dat optimalisatie voor energie in productieomgevingen (waar parallel training vaak voorkomt) mogelijk anders moet worden benaderd dan in isolatie.

Betekenis en Conclusie

Dit paper biedt belangrijke inzichten voor ontwikkelaars en onderzoekers in het domein van Green Software en Deep Learning:

1. Bewustzijn: Hyperparameters zijn niet alleen een kwestie van prestatie-optimalisatie, maar ook een krachtige hefboom voor duurzaamheid.
2. Actie: Door hyperparameters (vooral epochs en learning rate) zorgvuldig af te stemmen, kunnen organisaties de operationele kosten en de ecologische voetafdruk van DL-modellen verlagen zonder in te leveren op kwaliteit.
3. Context: De omgeving (single vs. parallel) speelt een cruciale rol. Ontwikkelaars moeten rekening houden met het feit dat energieverbruik in gedeelde infrastructuur anders reageert op parameterwijzigingen dan in geïsoleerde tests.

De auteurs concluderen dat "Green DL" haalbaar is door slimme hyperparameter-tuning en dat dit een essentieel onderdeel moet worden van de ontwikkelcyclus van AI-modellen.