ML-EcoLyzer: Quantifying the Environmental Cost of Machine Learning Inference Across Frameworks and Hardware

Probleemstelling

Hoewel de milieu-impact van het trainen van grote machine learning (ML) modellen goed is onderzocht, blijft de impact van de inference (het uitvoeren van het model op nieuwe data) onderbelicht. In de praktijk overtreffen inference-workloads trainingsruns vaak in aantal en zijn ze de belangrijkste bron van energieverbruik en emissies in productiesystemen.
Bestaande tools en benchmarks (zoals MLPerf) focussen voornamelijk op prestatie-indicatoren (doorvoer, latentie) of zijn beperkt tot specifieke frameworks en trainingsworkloads. Er ontbreekt een gestandaardiseerde, cross-framework methode om de omgevingskosten (koolstof, energie, water, thermische impact) van inference te meten over diverse hardware (CPU, consument GPU, datacenter accelerators) en modelarchitecturen (klassiek tot modern).

Methodologie: ML-EcoLyzer

De auteurs presenteren ML-EcoLyzer, een open-source, framework-onafhankelijk tool voor het meten van de omgevingsimpact van ML-inference. De tool werkt op basis van een per-inference benadering, waarbij de totale impact wordt gemeten voor het verwerken van één enkel invoermonster (bijv. één prompt-response cyclus).

Kerncomponenten van de methodologie:

1. Multi-dimensionale Meting: De tool monitort in real-time:
   • Energieverbruik (E): Geïntegreerd over de tijd ($E = \int P(t) dt$).
   • Koolstofemissies (CO2): Berekend als $E \times CI \times PUE$, waarbij $CI$ de koolstofintensiteit van het lokale stroomnet is en $PUE$ (Power Usage Effectiveness) de infrastructuur-inefficiëntie accounteert.
   • Waterverbruik: Geschat op basis van energiegebruik, regionale waterintensiteit en koelings-overhead.
   • Thermische impact: Temperatuurtraces worden gevolgd om inefficiënte koelregimes te detecteren.
2. Hardware-Aware PUE: De tool past specifieke PUE-waarden toe afhankelijk van de hardware: 1.1 voor CPU-only (edge/desktop), 1.2 voor consument GPU's, en 1.4 voor datacenter GPU's.
3. Adaptieve Monitoring: Het systeem gebruikt adaptieve bemonsteringssnelheden (1-5 Hz) om meetfouten bij korte inference-taken te minimaliseren.

Nieuwe Metriek: Environmental Sustainability Score (ESS)

Een centrale bijdrage is de introductie van de Environmental Sustainability Score (ESS). Deze metriek normaliseert de emissies op basis van de modelgrootte en precisie om eerlijke vergelijkingen mogelijk te maken.

• Definitie: $ESS = \frac{\text{Effectieve Parameters (M)}}{\text{CO2 (g)}}$
• Effectieve Parameters: Om rekening te houden met kwantisatie, wordt het totale aantal parameters ($N$) vermenigvuldigd met een kwantisatiefactor ($QF$). Bijvoorbeeld: FP32 ($QF=1.0$), FP16 ($QF=0.5$), INT8 ($QF=0.25$).
• Doel: Een hogere ESS betekent dat er meer effectieve parameters per gram CO2 worden bediend, wat aangeeft dat de configuratie duurzamer is.

Belangrijkste Resultaten

De auteurs hebben meer dan 1.900 inference-configuraties geëvalueerd over verschillende modelarchitecturen, taken (tekst, visie, audio, tabulair), hardware en precisieniveaus.

1. Modelarchitectuur en Generatie:

   • Nieuwere modellen (zoals Phi 3 en Qwen 2) zijn aanzienlijk efficiënter dan oudere generaties (zoals GPT-2 of OPT), ondanks vergelijkbare parametergroottes.
   • Moderne transformer-modellen behalen vaak een hogere ESS dan traditionele modellen, omdat ze energiekosten kunnen "amortiseren" over een groot parameterbereik en beter geoptimaliseerd zijn voor high-throughput hardware.

2. Hardware-impact:

   • Datacenter GPU's (bijv. A100): Leveren de hoogste ESS, maar alleen bij hoge uitlastingspercentages. Bij kleine werklasten of suboptimale batching zijn ze inefficiënt.
   • Consumer GPU's (bijv. RTX 4090): Bieden een goede balans voor middelgrote werklasten.
   • CPU's (klassieke ML): Modellen uitgevoerd op CPU's (bijv. scikit-learn) vertonen vaak een zeer lage ESS. Hoewel de absolute CO2-uitstoot laag is, is de uitstoot per parameter extreem hoog door vaste systeem-overhead en lage uitlastingspercentages.

3. Kwantisatie en Precisie:

   • Kwantisatie (FP16, INT8) leidt tot aanzienlijke verbeteringen: tot 55% minder stroomverbruik en >0.01 L minder water per inference, met verwaarloosbaar verlies aan nauwkeurigheid (bijv. 94.2% behoud bij INT8).
   • Kwantisatie is een van de belangrijkste hefbomen voor duurzame implementatie.

4. Taaksoort:

   • Tekstgeneratie (LLMs) heeft de hoogste absolute CO2-uitstoot, maar bereikt een hoge ESS door de grote parametergroottes.
   • Klassieke classificatiemodellen (Random Forest, LightGBM) op CPU's zijn vaak de minst efficiënte per parameter, vooral bij niet-gebatchte uitvoering.

5. Meetnauwkeurigheid:

   • De bemonsteringsfrequentie heeft een directe invloed op de resultaten. Een lagere frequentie (1 Hz) kan de emissies met bijna 6% overschatten ten opzichte van een hogere frequentie (5 Hz), vooral bij snelle inference-taken.

Significantie en Conclusie

Dit paper stelt een nieuwe standaard voor het beoordelen van de duurzaamheid van ML-systemen. De belangrijkste inzichten zijn:

• Inference is kritiek: De focus moet verschuiven van alleen training naar de inference-fase, waar de meeste operationele kosten liggen.
• Architectuur en Hardware-match: Het kiezen van de juiste hardware voor de werklast is cruciaal. Het gebruik van zware datacenter-hardware voor lichte taken is onduurzaam, evenals het gebruik van CPU's voor complexe modellen zonder batching.
• Kwantisatie is essentieel: Het gebruik van lagere precisie-modellen is een directe en effectieve manier om de ecologische voetafdruk te verkleinen.
• ESS als standaard: De Environmental Sustainability Score biedt een robuuste, normalisatie-gedreven metriek die het mogelijk maakt om modellen van verschillende groottes en precisies eerlijk te vergelijken.

ML-EcoLyzer biedt onderzoekers en ingenieurs een praktisch instrument om duurzame keuzes te maken bij het implementeren van ML-modellen, vooral in resource-beperkte omgevingen waar energie-efficiëntie essentieel is.