🤖 machine learning

Optimising for Energy Efficiency and Performance in Machine Learning

Dit artikel introduceert ECOpt, een hulpmiddel voor het afstemmen van hyperparameters dat de afweging tussen energie-efficiëntie en modelprestaties optimaliseert door bruikbare feedback en een interpreteerbare Pareto-front te bieden, wat uiteindelijk de ontdekking van meer duurzame en nauwkeurige machine learning-modellen mogelijk maakt.

Oorspronkelijke auteurs: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Gepubliceerd 2026-01-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emile Dos Santos Ferreira, Andrei Paleyes, Neil D. Lawrence

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bakkerij runt. Jarenlang gaf je alleen om één ding: hoe lekker je taarten smaken (prestatie). Je hebt ze steeds groter gemaakt, met meer bloem en suiker (parameters), in de veronderstelling dat groter automatisch beter betekent.

Maar onlangs ben je je een angstaanjagende realiteit bewust geworden: je bakkerij verbruikt elektriciteit op een alarmerend hoog tempo, en de CO2-voetafdruk van je ovens schaadt de planeet. Je hebt ook beseft dat terwijl je een fortuin hebt uitgegeven aan het bakken van de taarten (training), je zelfs nog meer geld uitgeeft aan het bezorgen ervan aan klanten, elke dag weer (inferentie).

Dit artikel introduceert een nieuw hulpmiddel genaamd ECOpt (Energy Consumption Optimiser) om bakkers (machine learning engineers) te helpen dit probleem op te lossen. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Groter is Beter"-mythe

Lange tijd dacht de techwereld dat als je simpelweg het aantal ingrediënten telde (parameters) of het aantal mengstappen (wiskundige operaties die FLOPs worden genoemd), je kon raden hoeveel energie het bakken van je taart zou kosten.

De auteurs testten dit en ontdekten dat het was alsof je het brandstofverbruik van een auto probeerde te raden door alleen het aantal bouten in de motor te tellen. Het werkte niet.

Ze ontdekten dat het veranderen van de manier waarop je de ingrediënten beweegt (zoals de "stride" in een recept veranderen) veel energie kon besparen zonder het aantal ingrediënten te veranderen.
Ze ontdekten ook dat het feit dat een machine krachtig is (zoals een enorme industriële oven) niet betekent dat hij efficiënt is. Als je een kleine taart in een enorme oven plaatst, verspilt de oven een enorme hoeveelheid energie om alleen maar warm te blijven, zelfs als de taart klein is.

2. De Oplossing: Het "Slimme Menu" (ECOpt)

In plaats van te gokken, hebben de auteurs een hulpmiddel gebouwd genaamd ECOpt. Zie dit als een slimme menuplanner voor je bakkerij.

De Balansact: Meestal moet je kiezen: "Wil ik de lekkerste taart (hoge prestatie) of de goedkoopste taart om te maken (hoge energie-efficiëntie)?"
De Pareto Frontier: ECOpt tekent een kaart genaamd een "Pareto Frontier". Stel je een grafiek voor waarbij de X-as "Smaak" is en de Y-as "Energiekosten". De tool vindt de "sweet spot" curve. Elk punt op deze curve vertegenwoordigt een taart waarbij je niet méér smaak kunt krijgen zonder méér energie te betalen, en je niet méér energie kunt besparen zonder íets aan smaak te verliezen.
Het Resultaat: Het geeft de bakker een lijst met opties. "Hier is een taart die 90% zo lekker is, maar 50% minder energie verbruikt. Hier is een andere die 95% zo lekker is, maar 20% minder energie verbruikt." Je krijgt de keuze welke afweging je comfortabel vindt.

3. Belangrijke Ontdekkingen uit de Experimenten

De auteurs testten dit hulpmiddel op echte "taarten" (AI-modellen) en ontdekten enkele verrassende dingen:

Hardware Consistentie: Ze testten hetzelfde model op verschillende machines (een laptop, een desktop, een supercomputer). Verrassend genoeg was de energie-efficiëntie (hoeveel "werk" je krijgt per druppel elektriciteit) opvallend vergelijkbaar over al deze machines. Dit betekent dat we moeten beginnen met het publiceren van energienummers voor onze modellen, net zoals we calorieën op voedsel publiceren, omdat de cijfers betrouwbaar genoeg zijn om te vergelijken.
Het "Lege Oven"-effect: Ze ontdekten dat als je een klein model draait op een enorme, krachtige computer, de computer energie verspilt omdat hij niet volledig wordt benut. Het is alsof je een straalmotor gebruikt om een fiets aan te drijven. Ze gebruikten ECOpt om de "batch size" (hoeveel taarten je tegelijk bakt) aan te passen om de oven goed te vullen. Deze enkele aanpassing maakte het proces 38 keer efficiënter.
De Terugverdientijd: Het hulpmiddel zelf verbruikt een klein beetje energie om de optimalisatie uit te voeren. De auteurs berekenden echter dat na het genereren van slechts 4.802 tokens (tekstfragmenten), de energie die bespaard werd door de geoptimaliseerde instellingen te gebruiken, de energiekosten van het draaien van de optimalisatietool al had terugverdiend. Het is een snelle winst voor het milieu.

4. Nieuwe Recepten Vinden (Neural Architecture Search)

Ten slotte gebruikten ze ECOpt om vanaf nul nieuwe taartrecepten uit te vinden (een proces genaamd Neural Architecture Search) voor een specifieke taak (het classificeren van afbeeldingen van dieren).

Ze zochten niet alleen naar de "beste" taart; ze zochten naar de beste balans.
Ze vonden zeven nieuwe recepten die beter waren dan de huidige "State of the Art" (de best bekende recepten) wanneer je zowel de smaak als de energiekosten samen beschouwt.
Ze ontdekten dat het "beste" recept voor snelheid (latency) anders is dan het "beste" recept voor energie. Een brede, ondiepe taart kan snel zijn, maar een diepere, smallere taart kan minder stroom verbruiken. ECOpt helpt je de juiste vorm te vinden voor je specifieke behoeften.

De Kernboodschap

Het artikel betoogt dat we niet zomaar grotere, hongerigere AI-modellen kunnen blijven maken. We moeten slim zijn in hoe we ze bakken. ECOpt is een hulpmiddel dat ingenieurs helpt om te stoppen met gokken en te beginnen met het maken van geïnformeerde keuzes, waardoor hun modellen niet alleen slim zijn, maar ook energie-efficiënt en milieuvriendelijk. Het verandert het vage idee van "groen zijn" in een concreet, meetbaar onderdeel van het ontwerpproces.

Technische Samenvatting: Optimaliseren voor Energie-efficiëntie en Prestaties in Machine Learning

Probleemstelling
De exponentiële groei in de computationele complexiteit van machine learning (ML)-modellen heeft geleid tot een significante toename in energieverbruik en milieu-impact. Hoewel recente regelgeving, zoals de EU AI Act, de publicatie van energieverbruik verplicht stelt, richt recent ML-onderzoek zich voornelijk op modelprestaties en verwaarloost vaak energiemetingen. Bestaande literatuur vertrouwt veelal op parametertellingen en floating-point operaties (FLOPs) als proxies voor energieverbruik, terwijl deze metrieken echter vaak niet gecorreleerd zijn met het werkelijke energieverbruik. Bovendien negeert eerder onderzoek naar de milieu-impact van ML vaak de kosten van inferentie, terwijl inferentie vaak het merendeel van de ML-rekenkosten beslaat (bijv. tot 90% voor AWS). Huidige tools voor het schatten van de CO2-voetafdruk vereisen vaak een hoge codekoppeling en bieden geen bruikbare feedback voor het verbeteren van efficiëntie, terwijl hyperparameter-tuners over het algemeen geen rekening houden met de milieu-impact of de kosten van inferentie.

Methodologie
Om deze hiaten aan te pakken, hebben de auteurs ECOpt (Energy Consumption Optimiser) ontwikkeld, een Python-framework dat is ontworpen om zowel de hyperparameters van een model te optimaliseren voor energie-efficiëntie als voor prestaties.

Optimalisatieformulering: Het probleem wordt geformuleerd als een multi-objectieve optimalisatietaak. Het systeem doorzoekt een hyperparameterruimte $S$ om de Pareto-front te vinden tussen een prestatiemetriek ( $f_p$ , bijv. nauwkeurigheid) en een energie-efficiëntiemetriek ( $f_e$ ).
Energiemeting: ECOpt maakt gebruik van softwarematige energiemeters, specifiek CodeCarbon, die het stroomverbruik aggregeert uit device-drivers (bijv. NVIDIA nvidia-smi voor GPU's en RAPL voor CPU's). Het framework richt zich op het energieverbruik van de berekeningen (compute energy usage), waarbij efficiëntie wordt gekwantificeerd als "samples per Joule" (of tokens per Joule voor tekstgeneratie). Het houdt rekening met het stroomverbruik van alle actieve componenten (CPU, GPU, RAM) in plaats van alleen de accelerator.
Optimalisatiealgoritme: Het framework maakt gebruik van Multi-Objective Bayesian Optimisation (MOBO) met de Expected Hypervolume Improvement acquisition function (specifiek parallel noisy EHVI, of $q$ NEHVI). Deze aanpak is gekozen vanwege de steekproefefficiëntie, waardoor de trade-off curve (Pareto-front) ontdekt kan worden met minder evaluaties dan bij een random search of grid search.
Workflow: Het proces omvat het splitsen van een dataset in trainings- en evaluatiesets. Voor elke iteratie construeert en traint ECOpt een model met gesamplede hyperparameters, voert inferentie uit op de evaluatieset, meet de doelstellingen en werkt de surrogate-modellen (Gaussian Processes) bij om de volgende zoekstap te sturen.

Belangrijkste Bijdragen

Formulering van de Trade-off: De auteurs formaliseren de zoektocht naar de prestatie-energie trade-off in ML als een multi-objectief optimalisatieprobleem.
Geautomatiseerd Proces: Ze beschrijven een volledig geautomatiseerde procedure gebaseerd op MOBO om een empirische Pareto-front te ontdekken die deze trade-off karakteriseert.
Open-Source Framework: ECOpt wordt uitgebracht als een herbruikbaar Python-pakket, inclusclusief experimentscripts voor reproduceerbaarheid.
Empirische Bevindingen: Het werk biedt uitgebreide experimentele evaluaties die aantonen dat:
- Parametertellingen en FLOPs onbetrouwbare proxies zijn voor energieverbruik.
- Transformer-modellen voor tekstgeneratie een relatief consistente energie-efficiëntie vertonen over diverse hardwareconfiguraties heen.
- Er een energie-schaalwet bestaat voor Transformers, waarbij de energie-efficiëntie log-lineair afneemt met de parametertelling.
- Het optimaliseren voor energie-efficiëntie een netto positieve milieu-impact kan opleveren door de energie die aan optimalisatie is besteed snel terug te verdienen.

Experimentele Resultaten
De auteurs voerden experimenten uit over diverse hardware (VM's, laptops, desktops, servers en HPC-nodes) en modeltypen (CNN's, Transformers).

Validiteit van Metrieken: In experimenten waarbij neurale netwerklagen werden geschaald en de strides van CNN's werden aangepast, observeerden de auteurs dat de parametertellingen constant bleven terwijl het energieverbruik en de FLOPs aanzienlijk varieerden. Dit bevestigt dat de parametertelling een ongeschikte proxy is voor energie-efficiëntie. Evenzo vertoonden FLOPs een zwakke correlatie met het werkelijke energieverbruik in CNN's.
Hardware Consistentie: Bij het testen van Transformer-modellen (GPT-2, Qwen3, Gemma 3, Llama 3.1) op vijf verschillende machines, bleek dat hoewel de absolute energie-efficiëntie varieert per modelgrootte, de efficiëntie van een specifiek model relatief consistent blijft over verschillende hardware heen (standaarddeviatie van 0,2372 over machines versus 0,4608 over modellen). Dit suggereert dat model-energiemetrieken waardevol zijn om te publiceren.
GPU-benutting: In een experiment waarbij de batchgrootte voor Gemma 3 op een server werd geoptimaliseerd, identificeerde ECOpt een optimale batchgrootte van 831 (met een opbrengst van 2,67 tokens/J), wat lager was dan de maximale VRAM-passende grootte. Deze configuratie bereikte een 38-voudige toename in energie-efficiëntie vergeleken met een standaard batchgrootte van 1. De auteurs berekenden dat de energie die aan deze optimalisatie is besteed, al na het genereren van slechts 4.802 tokens is terugverdiend.
Neural Architecture Search (NAS): Bij het toepassen van ECOpt op een CNN NAS-taak op CIFAR-10, identificeerde het framework zeven Pareto-optimale architecturen. Het beste model bereikte 76,09% nauwkeurigheid met 20,12 samples/J. Dit presteerde beter dan een random search baseline (71,17% nauwkeurigheid) en een handmatige tuning baseline (70,07% nauwkeurigheid) in zowel nauwkeurigheid als tijdefficiëntie (61 minuten versus drie dagen). Opvallend genoeg stelden de auteurs vast dat hoewel hun modellen niet State-of-the-Art (SOTA) waren in louter nauwkeurigheid, ze superieure nauwkeurigheid-per-energie profielen boden vergeleken met bestaande SOTA-modellen wanneer men energie-efficiëntie in overweging neemt.

Significantie en Claims
Het artikel claimt dat door hyperparameters te optimaliseren voor zowel energie-efficiëntie als prestaties, beoefenaars de energiekosten van ML kunnen verlagen zonder de kwaliteit van de inferentie op te offeren. De auteurs betogen dat de huidige afhankelijkheid van parametertellingen en FLOPs de werkelijke milieu-impact van modellen maskeert. Door een tool te bieden die de trade-off kwantificeert via een interpreteerbare Pareto-front, stelt ECOpt geïnformeerde besluitvorming mogelijk met betrekking tot implementatiekosten en milieu-impact.

De auteurs merken bescheiden op dat hun bevindingen over het verbeteren van SOTA op CIFAR-10 grotendeels te wijten zijn aan de schaarste aan gepubliceerde energiemetrieken in het veld, en niet aan een fundamentele doorbraak in modelarchitectuur. Zij pleiten voor een bredere adoptie van energiemetrieken bij de publicatie van modellen om concurrentie en bewustzijn te bevorderen. Het werk benadrukt ook dat het optimaliseren voor energie-efficiëntie verschilt van het optimaliseren voor latentie; terwijl latentie vaak brede netwerken bevoordeelt om de hardware-benutting te maximaliseren, kan energie-efficiëntie vereisen dat er een balans wordt gezocht tussen breedte en diepte om het stroomverbruik te minimaliseren, vooral wanneer de hardware niet volledig verzadigd is.

1. Het Probleem: De "Groter is Beter"-mythe

2. De Oplossing: Het "Slimme Menu" (ECOpt)

3. Belangrijke Ontdekkingen uit de Experimenten

4. Nieuwe Recepten Vinden (Neural Architecture Search)

De Kernboodschap

Meer zoals dit