⚡ electrical engineering

The Hidden Energy Cost of Scaling AI Hardware: A Comparative Analysis of Manufacturing and Operational Energy

Dit artikel onthult dat de snel groeiende energie die besloten ligt in de productie van AI-hardware, met name high-bandwidth geheugen, een kritische en vaak over het hoofd geziene milieu-impact is die binnenkort het operationele energieverbruik zal overtreffen, wat een breder kader voor duurzaamheidsbeoordelingen van hardware noodzakelijk maakt.

Oorspronkelijke auteurs: Emre Salman, Abrar Abdurrob

Gepubliceerd 2026-07-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emre Salman, Abrar Abdurrob

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een enorme, hogesnelheidstreinrace. Jarenlang waren mensen geobsedeerd door hoe snel de trein beweegt terwijl hij rijdt — de snelheid van de motor, de efficiëntie van de brandstof en hoeveel passagiers (data) hij kan vervoeren per gallon elektriciteit. Dit is wat wetenschappers "operationele energie" noemen. Het is de stroom waarvoor je betaalt wanneer je een schakelaar omzet en de computer begint te werken. Maar er is een verborgen deel van de reis dat vaak wordt genegeerd: de kosten voor het bouwen van de trein zelf. Voordat er ook maar één passagier aan boord stapt, moeten duizenden tonnen staal, glas en koper worden gedolven, gesmolten en gemonteerd. In de wereld van computerchips is dit de "productie-energie". Het is de elektriciteit die wordt gebruikt om de minuscule circuits in silicium te kerven en de geheugenlagen te stapelen die het brein van de AI vasthouden. De vraag is niet alleen hoeveel energie de AI gebruikt terwijl hij nadenkt; het gaat er ook om hoeveel energie het kostte om de denker zelf te bouwen.

Dit artikel, geschreven door onderzoekers Emre Salman en Abrar Abdurrob, besluit naar het hele plaatje te kijken, niet alleen naar de gebruikskosten. Ze zoomen in op de specifieke hardware die de slimste AI-modellen van vandaag aandrijft: de datacenter-accelerators. Dit zijn de superchips die gigantische taalmodellen trainen. De auteurs ontdekten een verrassende onbalans. Hoewel we erg goed zijn geworden in het efficiënt laten draaien van deze chips (minder elektriciteit gebruiken per taak), schieten de kosten om ze te bouwen omhoog. De hoofdschuldige? Een speciaal type supersnel geheugen genaamd High-Bandwidth Memory (HBM). Denk aan HBM als een enorme bibliotheek met boeken die direct naast het brein is gestapeld, zodat het brein informatie direct kan grijpen. Om het honger van de AI naar data bij te houden, stapelen fabrikanten tientallen van deze geheugenlagen op elkaar. Het artikel stelt vast dat dit stapelproces zo energie-intensief is dat het nu meer dan de helft van alle energie vormt die wordt gebruikt om de chip te creëren, nog voordat de chip wordt ingeschakeld.

De onderzoekers vergeleken de "geboortekosten" (productie) met de "levenskosten" (gebruik) van deze chips. Ze ontdekten dat de energie die nodig is om een enkele AI-accelerator vandaag de dag te bouwen, ongeveer 146 kilowattuur (kWh) bedraagt. Echter, de energie die het verbruikt terwijl het drie jaar lang draait, is veel hoger, variërend van ongeveer 6,4 tot 12,8 megawattuur (MWh) — dat is duizenden keren meer dan de bouwkosten. Dus voor nu wint de gebruikskost nog steeds. Maar hier komt de wending: het artikel suggereert dat hoewel we beter worden in het efficiënt laten draaien van de chips, de kosten om ze te bouwen op het punt staan te exploderen. Tegen 2035 zou de energie die nodig is om een enkele AI-chip te produceren zes tot negen keer hoger kunnen zijn dan vandaag de dag.

Waarom gebeurt dit? De auteurs wijzen erop dat de nieuwste trucjes om AI slimmer en sneller te maken — zoals het gebruik van "sparse" modellen die slechts een klein deel van het brein tegelijk wakker maken — de geheugenbibliotheek niet daadwerkelijk verkleinen. Zelfs als de AI op elk gegeven moment slechts een fractie van zijn kennis gebruikt, moet al die kennis nog steeds in de HBM-stapels opgeslagen zijn om direct beschikbaar te zijn. Dus hoewel de chip misschien minder elektriciteit verbruikt om een specifieke taak uit te voeren, moet de fabriek nog steeds een enorme, energieverslindende geheugenstapel bouwen om alle ongebruikte data vast te houden. Het artikel betoogt dat we in een val zitten: elke keer dat we de AI krachtiger maken door meer geheugen toe te voegen, gaat de "belichaamde" energie van het bouwen van dat geheugen omhoog, ongeacht hoe efficiënt de chip later draait.

De studie kijkt ook naar de toekomst. Als de huidige trends zich voortzetten, zou de productie-energie voor deze chips tegen 2035 tussen de 1.141 en 1.660 kWh per apparaat kunnen oplopen. Dit is een zes- tot negenvoudige stijging ten opzichte van vandaag. De auteurs suggereren dat het simpelweg beter laten draaien van de chips dit probleem niet zal oplossen, omdat de twee soorten energie door verschillende zaken worden gedreven. Het sneller laten draaien van de chip is als het afstellen van de motor; het goedkoper maken om de chip te bouwen zou vereisen dat het ontwerp van de motor volledig wordt aangepast, bijvoorbeeld door andere materialen of stapelmethoden te gebruiken die minder energie vereisen om te creëren.

Kortom, het artikel waarschuwt dat als we alleen kijken naar hoeveel elektriciteit een AI-datacenter verbruikt terwijl het werkt, we een groot deel van het milieugeschiedenis missen. De "verborgen kosten" van het bouwen van de hardware groeien snel, en de slimme softwaretrucs die we vandaag gebruiken om stroom te besparen, zijn misschien niet genoeg om te voorkomen dat de totale energierekening stijgt. De auteurs concluderen dat om de milieu-impact van AI echt te begrijpen, we moeten beginnen met het tellen van de energie die nodig is om de machines te bouwen, niet alleen de energie die nodig is om ze te laten draaien. Ze suggereren dat toekomstige oplossingen zich wellicht moeten richten op het verminderen van de feitelijke hoeveelheid geheugen die we moeten produceren, in plaats van alleen te proberen het bestaande geheugen efficiënter te laten draaien.

Technische Samenvatting: De verborgen energiekosten van het opschalen van AI-hardware

Probleemstelling
Huidige beoordelingen van de ecologische voetafdruk van Artificial Intelligence (AI)-infrastructuur richten zich bijna uitsluitend op het operationele elektriciteitsverbruik (training en inferentie). Deze inkadering laat een kritieke en groeiende component weg: de belichaamde energie die nodig is voor de productie van de hardware zelf. Naarmate AI-modellen schalen, vertrouwt de industrie op hardware-architecturen die prioriteit geven aan geheugencapaciteit en bandbreedte, specifiek door middel van High-Bandwidth Memory (HBM) stacks. De auteurs stellen dat hoewel de operationele efficiëntie per token verbetert door architecturale innovaties, deze winsten niet vertalen naar een vermindering van de productieleverenergie. In plaats daarvan wordt geprojecteerd dat de productieleverenergie per accelerator aanzienlijk zal stijgen, wat een divergentie creëert tussen de twee fasen van de hardwarelevenscyclus die momenteel niet wordt meegerekend in duurzaamheidsmetrieken.

Methodologie
De studie maakt gebruik van een levenscyclus-energieanalyseframework om zowel de productie- als de operationele energiebijdragen te kwantificeren voor huidige en geprojecteerde generaties AI-accelerators (tot 2035).

Schatting van de productieleverenergie: De auteurs maken gebruik van een framework voor wafer-niveau schaling en per-die allocatie. Deze aanpak berekent de totale productieleverenergie door de bijdragen van logicafabricage, geheugenfabricage en geavanceerde verpakking (packaging) bij elkaar op te tellen.
- Wafer-energie: Afgeleid van foundry-data (bijv. TSMC) en geschaald naar procesnode-complexiteit met behulp van de Power-Performance-Area-Cost-Environmental (PPACE) schaleringsfactoren. Het model houdt rekening met de verhoogde energie-intensiteit van Extreme Ultraviolet (EUV) lithografie bij geavanceerde nodes (3 nm, 2 nm en sub-2 nm).
- Die-allocatie: Energie wordt aan individuele dies toegewezen op basis van die-oppervlakte en yield-modellen (negatief-binomiale yield), waarbij wordt erkend dat grotere dies minder opbrengst hebben, waardoor de energiekosten per functionele die toenemen.
- Componenten: De analyse scheidt expliciet de logica-dies, HBM-stacks (DRAM en base logic dies) en geavanceerde verpakking (bijv. CoWoS-interposers).
Schatting van de operationele energie: Operationele energie wordt gemodelleerd met behulp van subsystem-niveau vermogensdecompositie (compute, geheugen, interconnect) en empirische activiteitsfactoren.
- Datacenter: Schattingen bevatten Thermal Design Power (TDP), activiteitsfactoren ( $\alpha$ ) voor actieve workloads, bezettingsgraden ( $U$ ) en idle-vermogensfracties ( $\beta$ ). Faciliteitsniveau energie omvat Power Usage Effectiveness (PUE) overheads.
- Mobiel: Gebruikt duty-cycle modellen gebaseerd op actief gebruik en connected-standby staten.
Projecties: Toekomstige trends (2024–2035) zijn gebaseerd op vendor-roadmaps (NVIDIA, AMD, Intel, Google), JEDEC-standaarden (HBM4, HBM5) en IRDS-lithografie roadmaps.

Belangrijkste Bijdragen en Resultaten

Dominantie van HBM in productieleverenergie:
De analyse onthult dat HBM-fabricage de primaire drijfveer is van de productieleverenergie in datacenter-accelerators. Voor de NVIDIA H100 beslaat HBM 55% van de totale productieleverenergie (~80 kWh van ~146 kWh). Dit aandeel neemt toe voor apparaten met grotere geheugenconfiguraties, waarbij het 71% bereikt voor de Google TPU v5p. Het enorme aantal gestapelde DRAM-dies dat vereist is om de geheugenbandbreedte te handhaven, weegt zwaarder dan de energiebijdrage van de logica-die, zelfs wanneer de logica op een geavanceerdere node wordt gefabriceerd.
Divergentie van productielever- en operationele trajecten:
Het artikel identificeert een structurele kloof tussen de trends in productieleverenergie en operationele energie.
- Operationele Efficiëntie: Architecturale vooruitgang zoals Mixture-of-Experts (MoE) sparsity, attention compressie (bijv. Multi-head Latent Attention) en precisie-kwantisatie verbeteren de operationele energie per token door het actieve compute- of geheugenbandbreedtegebruik te verminderen.
- Productiekosten: Deze innovaties verminderen niet de totale benodigde geheugencapaciteit. MoE-modellen vereisen nog steeds dat alle expert-gewichten in het HBM aanwezig zijn, en uitgebreide contextvensters vereisen grotere KV-caches. Bijgevolg, naarmate modellen schalen in totaal aantal parameters, blijft de HBM-capaciteit (en dus de productieleverenergie) groeien, ongeacht de winsten in operationele efficiëntie.
Groeiprojectie tot 2035:
Bij het projecteren van vendor-roadmaps naar 2035, schat de studie dat de productieleverenergie per accelerator zes- tot negenvoudig zal groeien (van ~176 kWh voor een H200 naar 1.141–1.660 kWh).
- Logica: Wordt verwacht ~8–10× te groeien door node-schaling (overgang naar sub-1 nm en Å-klasse nodes) en multi-chiplet integratie.
- HBM: Wordt verwacht ~5–9× te groeien, gedreven door toenemende stack-hoogtes (van 8-high naar 16–20-high) en die-aantallen (schaling richting 800 GB–1,5 TB per accelerator).
- Verpakking (Packaging): Wordt verwacht ~13–16× te groeien door de expansie van multi-reticle interposers.
Vergelijking met mobiele platforms:
In tegenstelling tot datacenter-accelerators, waar de operationele energie de productieleverenergie met twee ordes van grootte overtreft, vertonen mobiele SoC's een bijna pariteit tussen productieleverenergie en operationele energie over een levensduur van drie jaar (beide in de orde van grootte van 4–13 kWh). Dit suggereert dat voor mobiele apparaten het verlengen van de levensduur van het apparaat een duurzaamheidshefboom is die vergelijkbaar is met het verbeteren van de chip-efficiëntie.
De "Onomkeerbare Asymmetrie":
De auteurs benadrukken dat de productieleverenergie "vastgelegd" is bij de fabricage en niet kan worden verminderd door latere software-optimalisatie of operationele efficiëntie. Daarentegen kan de operationele energie in de loop van de tijd worden verminderd. Dit creëert een "belichaamde schuld" die zich bij elke hardware-vernieuwingscyclus ophoopt, een factor die onzichtbaar is voor metrieken die alleen op de operatie gericht zijn.

Betekenis en Claims
Het artikel claimt dat huidige duurzaamheidsbeoordelingen incompleet zijn omdat ze er niet in slagen de belichaamde productieleverenergie mee te rekenen, in het bijzonder de energie-intensieve schaling van HBM. De auteurs stellen dat:

Hardware-duurzaamheidsbeoordelingen expliciet rekening moeten houden met de belichaamde productieleverenergie naast het operationele verbruik.
Architecturale strategieën die zich direct richten op geheugencapaciteit (in plaats van alleen op bandbreedte of compute) mogelijk levenscyclus-energievoordelen kunnen bieden die door operationele efficiëntieverbeteringen alleen niet kunnen worden bereikt.
De "Jevons-paradox" is van toepassing op AI-hardware: Efficiëntiewinsten in operationele energie kunnen leiden tot een toegenomen totale vraag en vlootgroottes, wat de totale levenscyclus-energiebelasting verder doet toenemen door de stijgende productiekosten per apparaat.
Rapportagekaders moeten evolueren: Huidige industriële en regelgevende rapportages (bijv. ISO-gealigneerde disclosures) kiezen vaak standaard voor operationele metrieken. De auteurs suggereren dat metrieken die belichaamde CO2e en totale levenscyclus-energie als primaire optimalisatietargets behandelen, noodzakelijk zijn om de werkelijke ecologische kosten van AI-schaling te vatten.

De studie concludeert dat de ontkoppeling van productieleverenergie en operationele energie een fundamenteel kenmerk is van complexe halfgeleidersystemen, gedreven door onafhankelijke architecturale variabelen (capaciteit versus benutting/bandbreedte), en die een specifieke interventie vereist.

Technische Samenvatting: De verborgen energiekosten van het opschalen van AI-hardware

Meer zoals dit