🤖 AI

Automated Computational Energy Minimization of ML Algorithms using Constrained Bayesian Optimization

Dit artikel toont aan dat Constrained Bayesian Optimization effectief het energieverbruik van het trainen van machine learning-modellen kan minimaliseren, terwijl wordt gewaarborgd dat de voorspellende prestaties boven een gespecificeerde drempelwaarde blijven.

Oorspronkelijke auteurs: Pallavi Mitra, Felix Biessmann

Gepubliceerd 2026-08-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pallavi Mitra, Felix Biessmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld van computing is er, naast de schitterende opkomst van kunstmatige intelligentie, een stil maar dringend probleem ontstaan. Terwijl machines leren om gezichten te herkennen, talen te vertalen en trends te voorspellen, hebben ze enorme hoeveelheden elektriciteit nodig voor de training. Deze energiekosten zijn niet langer slechts een post op een energierekening; het is een groeiende barrière voor duurzaamheid. Decennialang richtten onderzoekers zich bijna uitsluitend op het nauwkeuriger maken van deze modellen, waarbij ze vaak negeerden hoeveel stroom ze verbruikten om daar te komen. Echter, naarmate modellen groter en complexer worden, verdubbelt de energie die nodig is om ze te trainen ongeveer elke drieënhalf maand. Deze trend dreigt de ontwikkeling van nieuwe intelligentietools onhoudbaar te maken. De uitdaging is dan ook niet alleen om slimmere machines te bouwen, maar om ze op een manier te bouwen die de grenzen van ons elektriciteitsnet respecteert. Om dit op te lossen, wenden wetenschappers zich tot een methode genaamd Bayesiaanse optimalisatie, een slimme zoekstrategie die computers helpt de beste instellingen voor een taak te vinden zonder dat ze elke mogelijke optie hoeven te proberen, vergelijkbaar met een wandelaar die een kaart gebruikt om het laagste punt in een vallei te vinden zonder elke heuvel te beklimmen.

Een team onderzoekers aan de Universiteit van Toegepaste Wetenschappen in Berlijn heeft deze zoekstrategie toegepast op een nieuw doel: het minimaliseren van de energie die wordt gebruikt bij het trainen van machine learning-modellen. In plaats van simpelweg te zoeken naar de instellingen die de meest nauwkeurige voorspellingen produceren, stelden zij een andere vraag. Ze wilden de instellingen vinden die de minste tijd en energie verbruiken, mits het model nog steeds goed genoeg presteert om nuttig te zijn. In hun aanpak beschouwden ze de nauwkeurigheid van het model niet als het te maximaliseren aspect, maar als een strikte regel die moet worden nageleefd. Als de prestaties van een model onder een bepaal acceptabel niveau zakten, werd de zoektocht naar die instellingen onmiddellijk gestaakt. Deze methode, bekend als beperkte (constrained) Bayesiaanse optimalisatie, stelde de onderzoekers in staat om door het uitgestrekte landschap van mogelijke keuzes te navigeren — zoals hoe de data te reinigen, hoe complex het model moet zijn en hoe lang men het moet trainen — terwijl ze één voet stevig op de grond van de vereiste prestaties hielden.

De onderzoekers testten deze aanpak op een verscheidenheid aan standaardtaken, waaronder het voorspellen van huizenprijzen en het categoriseren van nieuwsartikelen. Ze vergeleken hun nieuwe methode met de traditionele manier van werken, waarbij de computer probeert energie te minimaliseren maar alleen wordt verteld om "te proberen niet te falen" op nauwkeurigheid, in plaats van een harde limiet te krijgen. Bij de traditionele methode vindt de computer vaak een instelling die zeer weinig energie verbruikt, maar een model produceert dat te onnauwkeurig is om nuttig te zijn. Om dit op te lossen, voegt de traditionele methode meestal een zware straf toe aan de score wanneer de nauwkeurigheid te laag is, in de hoop dat dit de computer ontmoedigt om slechte instellingen te kiezen. De onderzoekers ontdekten echter dat deze strafmethode onhandig is en vaak faalt in het vinden van de ware balans. In tegenstelling hiertoe identificeerde hun beperkte methode succesvol instellingen die aanzienlijk minder tijd en energie verbruikten, terwijl ze consequent aan de vereiste nauwkeurigheidsnormen voldeden.

De resultaten lieten zien dat door prestaties te behandelen als een harde beperking in plaats van een secundair doel, het systeem een "sweet spot" kon vinden die de andere methoden misten. In de experimenten bereikte de beperkte aanpak consequent de doel-nauwkeurigheid sneller en met minder totale looptijd dan de traditionele strafgebaseerde methode. Dit is cruciaal omdat, voor deze algoritmen, de tijd die aan training wordt besteed direct gekoppeld is aan de verbruikte energie. De studie demonstreert dat het mogelijk is om de selectie van machine learning-instellingen te automatiseren om energie te besparen zonder de kwaliteit van de resultaten op te offeren. De onderzoekers merkten echter op dat hun methode afhankelijk is van het hebben van een duidelijke, vooraf gedefinieerde standaard voor wat een "goed genoeg" prestatie vormt. In gevallen waar de best mogelijke prestatie onbekend is of waar de relatie tussen instellingen en energie extreem complex is, moet de methode mogelijk verder worden verfijnd. Desalniettemin bieden de bevindingen een praktisch pad vooruit naar een duurzamere toekomst in kunstmatige intelligentie, waarmee wordt bewezen dat we krachtige modellen kunnen trainen zonder onze energiebronnen te verbranden.

Technische Samenvatting: Geautomatiseerde Computationele Energieminimalisatie van ML-algoritmen met behulp van Constrained Bayesian Optimization

Probleemstelling
Het artikel behandelt het escalerende energieverbruik dat gepaard gaat met het trainen van machine learning (ML) modellen, gedreven door toenemende modelgroottes en de computationele intensiteit van hyperparameteroptimalisatie (HPO). Terwijl traditioneel HPO-onderzoek zich primair richt op het minimaliseren van de validatieverlies om de voorspellende prestaties te maximalen, betoogt dit werk dat energie-efficiëntie een kritieke beperking is geworden. De auteurs merken op dat bestaande ML-suites vaak niet beschikken over geschikte instrumenten voor energiemeting en dat het proces van het selecteren van optimale hyperparameters op zichzelf een grote energieverbruiker is. Het kernprobleem is het automatiseren van de selectie van hyperparameters om het computationele energieverbruik (geproxied door de wandkloktijd) te minimaliseren, terwijl strikt wordt voldaan aan een vooraf gedefinieerde drempelwaarde voor de voorspellende prestaties (accuratesse voor classificatie, gemiddelde kwadratische fout voor regressie).

Methodologie
De auteurs stellen een framework voor dat gebruikmaakt van Constrained Bayesian Optimization (CBO) om dit multi-objectieve probleem op te lossen. De methodologie is als volgt gestructureerd:

Formulering van Objectief en Constraint:
- Objectief: Minimaliseer $\tau(x)$ , de tijd die wordt verbruikt om een ML-model met hyperparameters $x$ te trainen.
- Constraints: Zorg ervoor dat het model aan een baseline prestatie $c_0$ voldoet. Voor classificatie geldt $c_c(x) \geq c_0$ ; voor regressie geldt $c_r(x) \leq c_0$ .
Surrogaatmodellering:
- De auteurs maken gebruik van Gaussian Processes (GP's) met Matérn 5/2-kernels om zowel de objectief- als de constraintfuncties onafhankelijk van elkaar te modelleren.
- Om te garanderen dat de GP-priors geldig zijn (aangezien ruwe tijd- en foutmetingen strikt positief zijn), passen de auteurs logaritmische transformaties toe ten opzichte van de baseline-waarden. Specifiek wordt het objectief gemodelleerd als $f(x) = \log \tau(x) - \log \tau_b$ , en de constraints worden gemodelleerd als log-ratio's van prestatie-metrieken tegenover hun baseline-drempelwaarden.
Acquisitiestrategie:
- Een gezamenlijke acquisitiefunctie wordt gedefinieerd als het product van twee componenten:
  1. Expected Improvement (EI): Optimaliseert het objectief (het minimaliseren van de runtime).
  2. Probability of Feasibility (PoF): Schat de waarschijnlijkheid in dat een kandidaatpunt voldoet aan de prestatieconstraint.
- Deze gezamenlijke aanpak stelt het algoritme in staat om de haalbare regio's voor de constraint gelijktijdig met de optimale regio's voor het objectief te leren, waardoor zekerstelling van haalbaarheid wordt gewaarborgd tijdens het besluitvormingsproces voor het volgende steekproefpunt.
Baseline Vergelijking:
- De voorgestelde CBO wordt vergeleken met een Unconstrained BO-benadering die een kwadratische straffunctie incorporeert. In deze baseline wordt de schending van de constraint toegevoegd aan de objectieffunctie als een strafterm: $f'(x) = f(x) + \frac{1}{2}\rho \max(0, c(x))^2$ .

Experimentele Opzet en Resultaten
Het framework werd geëvalueerd op standaard regressiemodellen (Lasso, Elastic Net, KNN, Decision Tree, AdaBoost) en classificatiemodellen (Ridge, Logistic Regression, KNN, Random Forest). Experimenten maakten gebruik van twee grote datasets: California Housing (regressie) en 20-Newsgroups (classificatie).

Prestaties: De resultaten laten zien dat hoewel Unconstrained BO met straffen vaak de minimale objectiefwaarde vindt, het frequent de prestatieconstraints schendt, wat leidt tot de toevoeging van grote straftermen die de effectieve oplossing verslechteren.
Efficiëntie: CBO slaagde erin om hyperparameterconfiguraties te identificeren die de cumulatieve runtime (energieproxy) minimaliseerden, terwijl zij consequent de vooraf gedefinieerde prestatiedrempels voldeden.
Visueel Bewijs: Figuren 1 en 2 illustreren dat CBO lagere cumulatieve runtimes bereikt vergeleken met de bestrafte Unconstrained BO, terwijl zij de MSE of accuratesse boven/onder de vereiste drempels houdt.

Belangrijkste Bijdragen en Betekenis
Het artikel claimt de volgende bijdragen en betekenis:

Verschuiving in de Focus van HPO: Het stelt een paradigmaverschuiving voor in HPO waarbij het energieverbruik (runtime) het primaire objectief is dat geminimaliseerd moet worden, waarbij de voorspellende prestatie wordt behandeld als een harde constraint in plaats van het enige optimalisatietarget.
Effectief CBO Framework: De studie toont aan dat een gezamenlijke acquisitiefunctie (EI $\times$ PoF) effectiever is dan straffende unconstrained BO voor deze specifieke taak. Het vermijdt de valkuilen van het afstemmen van straftermen en zorgt ervoor dat de uiteindelijke geselecteerde hyperparameters zowel energie-efficiënt als performant zijn.
Schaalbaarheid en Duurzaamheid: Het werk benadrukt het potentieel van CBO voor moderne ML-toepassingen met grote datasets en hoog-capaciteitsmodellen, waarbij het een instrument biedt om een meer duurzame en schaalbare toekomst voor ML-engineering te waarborgen door de computationele kosten van modeltraining te verminderen zonder de bruikbaarheid te compromitteren.

Beperkingen Erkend door de Auteurs
De auteurs merken op bescheiden wijze twee primaire beperkingen op:

Pregedefinieerde Drempelwaarden: De aanpak gaat ervan uit dat er een redelijke, vooraf gedefinieerde prestatiedrempel bestaat (bijv. vanuit service level agreements). In scenario's waarin standaard hyperparameters al suboptimaal zijn of er geen duidelijke baseline bestaat, kan de definitie van de constraint problematisch zijn.
Onafhankelijke Surrogaatmodellering: Het huidige framework modelleert de energie- en prestatiesurrogaatmodellen onafhankelijk van elkaar. De auteurs erkennen dat hyperparameters vaak beide metrieken simultaan beïnvloeden (bijv. regularisatiestuurssterkte of datapreprocessing), en toekomstig werk beoogt acquisitiefuncties te verkennen die dergelijke afhankelijkheden kunnen vastleggen.

Meer zoals dit