⚡ electrical engineering

Data Center Life Cycle Co-Design Optimization

Dit artikel presenteert een co-design optimalisatiekader dat operationele energie, belichaamde koolstof en betrouwbaarheidsmodellen integreert om het optimale aantal koel-subloops voor met vloeistof gekoelde supercomputers te bepalen, waarbij wordt aangetoond dat het reduceren van de configuratie van de Frontier-supercomputer van vier naar twee subloops de levenscycluskosten en koolstofemissies aanzienlijk verlaagt terwijl de operationele betrouwbaarheid behouden blijft.

Oorspronkelijke auteurs: Shrenik Jadhav, Vidhyashree Nagaraju, Zheng Liu

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shrenik Jadhav, Vidhyashree Nagaraju, Zheng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een supercomputer zoals Frontier voor als een enorme, hoogwaardige racewagenmotor. Om te voorkomen dat hij smelt, heeft hij een massief koelsysteem nodig dat vloeistof door leidingen pompt, vergelijkbaar met het radiatorsysteem van een auto.

Jarenlang bouwden ingenieurs deze koelsystemen op basis van traditie en de gewoonten van leveranciers, niet op basis van een diepe wiskundige berekening van wat daadwerkelijk het beste was. Ze bouwden meestal vier afzonderlijke lussen (zoals vier afzonderlijke radiatcircuits) om het koelmiddel te pompen.

Dit artikel stelt een simpele maar krachtige vraag: "Is vier lussen eigenlijk het beste aantal, of kunnen we het beter doen met minder?"

De auteurs keken niet alleen naar hoeveel elektriciteit het koelsysteem verbruikt tijdens het draaien (operationele energie). Ze keken naar de volledige levenscyclus van de machine, van het moment dat het staal en koper wordt gedolven om de leidingen te bouwen, tot de dag dat de machine wordt uitgeschakeld. Ze noemen dit een "Life Cycle Co-Design" (Co-Design van de Levenscyclus).

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. De strijd tussen "Embodied Carbon" en "Operationele Kosten"

Denk bij het bouwen van een koelsysteem aan het bouwen van een huis.

Embodied Carbon (Ingebedde Koolstof): Dit is de "CO2-voetafdruk" van de bakstenen, het hout en de spijkers die worden gebruikt om het huis te bouken. In deze studie is dit de koolstof die wordt uitgestoten bij het winnen van het staal en koper voor de leidingen en pompen.
Operationele Kosten: Dit is de elektriciteitsrekening die je elke maand betaalt om de airconditioning te laten draaien.

De verrassing: De auteurs ontdekten dat voor een supercomputer ter grootte van Frontier, de "bouwkosten" (embodied carbon) veel belangrijker zijn dan de "elektriciteitsrekening" (operationele kosten).

Wanneer je meer lussen toevoegt (van 2 naar 4), heb je meer leidingen, meer pompen en meer kleppen nodig. Dit voegt direct bij aan het begin veel "embodied carbon" toe. Hoewel het hebben van meer lussen misschien een klein beetje elektriciteit kan besparen door de pompen meer flexibiliteit te geven, stelden de auteurs vast dat een slim computeralgoritme (de "optimizer") met slechts twee lussen al bijna alle efficiëntie eruit kan persen.

Het toevoegen van lussen 3 en 4 is dus als het kopen van een grotere, zwaardere vrachtwagen om dezelfde hoeveelheid boodschappen te bezorgen. Je betaalt meer voor de vrachtwagen (embodied carbon), maar je bespaart niet genoeg op benzine (operationele energie) om het de moeite waard te maken.

2. Het "Goldilocks"-resultaat

De onderzoekers testten elke mogelijke manier om de 25 koelunits te verdelen in 2, 3, 4, 5 of 6 lussen.

De Winnaar: Twee lussen (specifiek, één lus met 14 units en één met 11).
De Verliezer (Huidig Ontwerp): De eigenlijke Frontier supercomputer is gebouwd met vier lussen.

De Besparingen: Door over te stappen van de ingebouwde 4 lussen naar de optimale 2 lussen, zou de faciliteit besparen:

50,2 ton CO2 (ongeveer het gewicht van 8 olifanten).
$100.000 over 7 jaar.

Het is geen enorm fortuin, maar in de wereld van supercomputers is het besparen van geld en koolstof zonder de werking van de computer te veranderen, een grote overwinning.

3. De "Betrouwbaarheids"-kanttekening (Het Veiligheidsnet)

Je zou kunnen vragen: "Als 2 lussen goedkoper en groener zijn, waarom hebben ze dan voor 4 lussen gekozen?"

Het antwoord is betrouwbaarheid (veiligheid).

Stel je een brug voor met 4 rijstroken. Als één rijstrook instort, heb je er nog steeds 3 om overheen te gaan.
Als je een brug hebt met slechts 2 rijstroken en er één stort in, heb je 50% kans om vast te zitten.

De studie toonde aan dat hoewel 2 lussen het beste zijn voor geld en koolstof, 4 lussen beter zijn voor de veiligheid. Als een pomp kapot gaat in een systeem met 2 lussen, loopt het hele systeem gevaar. In een systeem met 4 lussen kunnen de reservepompen gemakkelijk het overnemen.

De auteurs stellen een nieuwe manier van denken voor: Behandel veiligheid niet als een "leuke extra" die je kunt afwegen tegen andere doelen. Behandel het in plaats daarvan als een harde regel.

Als je regel is: "We moeten voldoen aan Tier IV veiligheid (zeer hoge betrouwbaarheid)," dan is 4 lussen het juiste antwoord.
Als je regel is: "We kunnen een klein beetje risico tolereren," dan is 2 lussen de winnaar.

Het artikel stelt dat het huidige 4-lus ontwerp van Frontier niet "fout" is; het is simpelweg het resultaat van het volgen van een strikte veiligheidsregel. Maar als je een nieuw systeem bouwt en je veiligheidsregels het toelaten, kun je beter met 2 lussen werken.

4. De "Beslissingskaart" voor Andere Supercomputers

De auteurs hebben niet alleen het probleem voor Frontier opgelost. Ze hebben een kaart (een beslissingsregel) gemaakt die andere ingenieurs kunnen gebruiken.

Frontier & El Capitan: Middelgrote doorstroom -> 2 lussen is het beste.
Aurora: Enorme doorstroom (twee keer zo groot) -> 4 lussen is het beste (omdat de leidingen te lang en te zwaar worden als je probeert het met minder lussen te doen).
LUMI: Kleine doorstroom -> 1 lus is het beste (het is zo klein dat je niet eens een tweede lus nodig hebt).

Samenvatting

Dit artikel is als een monteur die zegt: "Je hebt je supercomputer koelsysteem gebouwd met vier aparte leidingen omdat dat altijd zo is gedaan. Maar als je kijkt naar de totale kosten van het metaal en de elektriciteit, is twee leidingen eigenlijk het ideale punt."

Echter, als je baas zegt: "Ik wil een veiligheidsnet dat nooit faalt," dan houd je je aan vier leidingen. De belangrijkste taak van dit artikel is om ingenieurs precies aan te geven waar die grens ligt, zodat ze geen geld en koolstof verspillen aan onnodige leidingen, maar ook geen concessies doen op het gebied van veiligheid.

Technisch Overzicht: Co-design Optimalisatie van de Levenscyclus van Datacenters

Probleemstelling

Het ontwerp van koelingsinfrastructuur voor exasale supercomputers, zoals het Frontier-systeem bij het Oak Ridge National Laboratory (ORNL), rust traditioneel op vaste topologische beslissingen die tijdens de constructie worden genomen, specifiek het aantal parallelle koelingssubloops ( $K$ ) en de toewijzing van Coolant Distribution Units (CDU's) aan deze loops. Hoewel eerder onderzoek zich heeft gericht op de optimalisatie van operationele controle (bijv. debiet en temperaturen) binnen een vaste topologie, negeren deze studies vaak de fabricage- en constructiefasen van de levenscyclus van een faciliteit.

Terwijl elektriciteitsnetten decarboniseren, neemt het relatieve belang van "embodied carbon" (emissies door materialen en constructie) toe, wat potentieel 38% tot 69% van de totale levenscyclusemissies van een faciliteit kan uitmaken. Huidige configuraties voor exasale systemen (bijv. Frontier met $K=4$ , Aurora met $K \approx 10$ ) lijken eerder conventies en praktijken van leveranciers te weerspiegelen dan systematische optimalisatie. Er is een gebrek aan gepubliceerde studies die systematisch haalbare subloopconfiguraties enumereren, deze evalueren tegen zowel operationele energie als embodied carbon, en een gezamenlijk optimum identificeren. Bovendien is de afweging tussen kosten, koolstof en systeembetrouwbaarheid (uitvaltijd) niet uitgebreid geanalyseerd voor deze topologische keuzes.

Methodologie

De auteurs stellen een drielagig optimalisatiekader voor de co-design van de levenscyclus voor, dat operationele energie, embodied carbon, kapitaalkosten en betrouwbaarheid integreert. Het kader wordt toegepast op de Frontier supercomputer, waarbij alle 611 mogelijke gehele partities van de 25 CDU's in $K$ subloops worden geëvalueerd, waarbij $K \in \{2, 3, 4, 5, 6\}$ .

Componenten van het Kader

Inputgegevens: Het model maakt gebruik van operationele gegevens uit 2023 (49.353 intervallen van tien minuten), hydraulische configuraties, embodied carbonfactoren uit de Inventory of Carbon and Energy (ICE) database en fabrikant EPD's, en een geprojecteerd traject van de grid-intensiteit van de Tennessee Valley Authority (TVA).
Fysische Modellen:
- Thermohydraulisch Model: Berekent warmteoverdracht met behulp van de $\varepsilon$ -NTU methode en dimensioneert leidingen op basis van ASHRAE-standaarden.
- Equipment Sizing Model: Bepaalt de afmetingen van pompen, Variable Frequency Drives (VFD's), warmtewisselaars en headers die vereist zijn voor piekbelastingen.
- Betrouwbaarheidsmodel: Schat ongeplande uitvaltijd in op basis van IEEE Std 493 componentbetrouwbaarheden (MTBF/MTTR) en koppelt het aantal subloops aan de Uptime Institute tier beschikbaarheidstargets.
Optimalisatielagen:
- Laag 1: Eneert alle 611 partities.
- Laag 2: Voert een gevalideerde Sequential Least Squares Programming (SLSQP) optimizer uit om de optimale debietfracties en aanvoertemperaturen voor elke partitie bij elk tijdstap te bepalen, waarbij de pomp- en ventilatorenergie wordt geminimaliseerd.
- Laag 3: Integreert operationele energie met embodied carbon en betrouwbaarheidsmetrieken om de Life Cycle Cost (LCC), Life Cycle Carbon ( $CO_2e$ ) en verwachte uitvaltijd over een horizon van 7 jaar te berekenen.

Analytische Generalisatie

Om de bevindingen buiten Frontier te generaliseren, leiden de auteurs een semi-analytische beslisregel (Vergelijking 2) af die het optimale $K^*$ voorspelt als functie van de totale piekdebiet ( $Q$ ) en het drop budget ( $N_{CDU} \times L_{drop}$ ). Deze regel balanceert de operationele efficiëntie-penalties tegen de kosten van embodied carbon (specifiek leidingwerk).

Belangrijkste Bijdragen

Geïntegreerd Kader: Ontwikkeling van een drielagig kader dat operationele controle, embodied carbon en betrouwbaarheid verenigt in één enkel levenscyclusdoel voor de koelinstallatie-topologie.
Identificatie van Optimum: Vaststelling dat het levenscycluskosten- en koolstofoptimum voor de Frontier-koelinstallatie wordt bereikt bij $K=2$ met een partitie van (14, 11). Deze configuratie levert 3.320,7 tonnen $CO_2e$ en een Net Present Value (NPV) van $3,99 miljoen over zeven jaar op.
Semi-Analytische Beslisregel: Creatie van een draagbare beslissingskaart die de optimale subloopcounts voor andere exasale systemen voorspelt op basis van flow- en drop budget parameters.
Pareto-analyse: Een drieledige analyse (kosten, koolstof, downtime) die aantoont dat het behandelen van betrouwbaarheid als een harde beperking (vastgesteld door het operationele beleid) in plaats van een zacht objectief, de ontwerpplek aanzienlijk verandert, waardoor de Pareto-front wordt uitgebreid van een enkel punt naar een "trappenhuis"-front.

Resultaten

Optimale Configuratie versus As-Built

De studie stelt vast dat de as-built Frontier-configuratie ( $K=4$ , partitie 7-6-6-6) suboptimal is vergeleken met de $K=2$ configuratie (14-11).

Koolstofbesparing: 50,2 tonnen $CO_2e$ (een reductie van 1,5%).
Kostenbesparing: $100.000 NPV (een reductie van 2,5%).
Drijver van Besparingen: De besparingen worden bijna volledig gedreven door embodied carbon, specifiek de reductie in de primaire leidinglengte die nodig is voor minder loops. De operationele energiebesparingen zijn verwaarloosbaar omdat de SLSQP-optimizer bijna alle beschikbare efficiëntiewinsten al extraheert, zelfs bij $K=2$ .

Sensitiviteit en Robuustheid

Het $K=2$ optimum werd getest tegen 15 sensitiviteitsscenario's met variaties in operationele horizon (5–10 jaar), grid-traject (optimistisch tot pessimistisch), discontovoeten, materiaalkosten en embodied carbonfactoren.

De $K=2$ (14, 11) partitie bleef in alle 15 scenario's op de Pareto-front staan.
Hoewel de omvang van de besparingen fluctueert met de parameteronzekerheid, verandert de identiteit van de optimale configuratie niet.

Generalisatie naar Andere Systemen

Het toepassen van de beslisregel op andere systemen levert verschillende voorspellingen op:

Aurora: Voorspelt een optimale $K^* = 4$ (vanwege de hoge piekflow die meer loops vereist om de pompcapaciteit te beheren zonder excessief leidingwerk).
El Capitan: Voorspelt een optimale $K^* = 2$ (vergelijkbaar flow/drop profiel met Frontier).
LUMI: Voorspelt een optimale $K^* = 1$ (lage flow en drop budget maken de embodied penalty van een tweede loop onrechtvaardig).

Betrouwbaarheid en Pareto-fronten

Wanneer betrouwbaarheid als een harde beperking wordt behandeld:

Voor Frontier biedt de $K=2$ oplossing de laagste kosten/koolstof, maar brengt dit ongeveer 22 uur jaarlijkse downtime met zich mee (Tier II).
Om te voldoen aan Tier IV beschikbaarheid (0,4 uur downtime), moet het ontwerp verschuiven naar $K=4$ .
De studie betoogt dat de ingezette $K=4$ configuratie consistent is met een beperkt optimum (voldoen aan Tier IV vereisten) in plaats van een gebrekkig ontwerp.

Betekenis en Claims

Het artikel claimt dat de conventionele aanname—dat meer subloops een betere operationele efficiëntie opleveren—structureel onjuist is voor systemen waar controlebeleid (zoals SLSQP) al de efficiëntie kan maximaliseren bij lagere loopcounts. Het marginale voordeel van extra loops wordt geconsumeerd door de embodied carbon en de kapitaalkosten van extra pompen, aandrijvers en leidingen.

De primaire betekenis van dit werk is de omkering van de ontwerp-prioriteitsvolgorde: voor schone of decarboniserende netwerken wordt het minimaliseren van embodied carbon (door het aantal loops te verminderen) kritischer dan het zoeken naar marginale operationele winsten. De auteurs positioneren hun bevindingen niet louter als een numerieke optimalisatie voor Frontier, maar als een corrigerend kader voor het bredere veld van HPC-faciliteitsontwerp. Zij pleiten voor het behandelen van beschikbaarheidstiers als harde beperkingen ingesteld door het operationele beleid, waarbinnen de partitie-optimalisatie vervolgens moet worden uitgevoerd om de levenscycluskosten en koolstof te minimaliseren.

De studie concludeert dat voor organisaties die meerdere exasale builds plannen, het identificeren van de optimale configuratie vóór de constructie aanzienlijke cumulatieve besparingen kan opleveren, en dat de voorgestelde beslissingskaart een draagbaar instrument biedt voor andere plantontwerpers om deze principes toe te passen op hun specifieke systeemparameters.