Digital Twin-Based Cooling System Optimization for Data Center

Dit artikel presenteert een gevalideerde digitale tweeling van het koelsysteem van de Frontier-supercomputer die aantoont dat een gelaagd optimalisatiekader, dat zowel het debiet als de aanvoertemperatuur co-optimaliseert binnen de beperkingen van de actuatoren, de totale energieverbruik met 27,8% kan reduceren.

De kern

Stel je voor dat een supercomputer zoals Frontier een gigantische, hyperactieve marathonloper is. Deze machine kan ongelooflijke berekeningen uitvoeren, maar net als een mens die hard loopt, wordt hij verschrikkelijk heet. Als hij te heet wordt, moet hij stoppen of hij smelt.

Om deze "loper" koel te houden, gebruikt het datacenter een enorm koelsysteem. Dit systeem is echter niet perfect ingesteld. Het is alsof je een auto rijdt met de handrem half aangetrokken: je doet er meer werk voor, verbruikt veel meer brandstof (elektriciteit), en de motor wordt warmer dan nodig.

Deze paper beschrijft hoe de auteurs een digitale tweeling (een virtuele kopie) van dit koelsysteem hebben gemaakt om te ontdekken hoe ze het slimmer kunnen laten werken. Hier is de uitleg in simpele taal:

1. De Digitale Tweeling: De "Virtuele Testbaan"

De auteurs hebben een exacte digitale kopie van het koelsysteem van Frontier gebouwd in een computerprogramma.

• De Analogie: Stel je voor dat je een simulator hebt voor een raceauto. Je kunt in de simulator duizenden verschillende rijstijlen uitproberen zonder je echte auto te beschadigen of brandstof te verspillen.
• Wat ze deden: Ze vulden deze simulator met een jaar aan echte data (temperatuur, stroomverbruik, waterstroom). Ze keken of de simulator zich gedroeg precies zoals het echte systeem. Het bleek dat de simulator zo nauwkeurig was dat hij binnen 2% afwijking zat. Dit gaf hen het vertrouwen om in de simulator te gaan "knutselen" aan de instellingen.

2. Het Probleem: "Te veel water, te koud"

Het huidige systeem werkt op een heel simpel, maar inefficiënt principe:

• Huidige situatie: De pompen pompen continu een enorme hoeveelheid water door de leidingen, vaak veel meer dan nodig is. Ze doen dit alsof het altijd zomer is, zelfs als het koud is.
• De fout: Ze proberen het water zo koud mogelijk te houden. Maar om het water koud te houden, moet het enorme koeltorens (grote ventilatoren op het dak) hard laten draaien.
• De verrassing: De auteurs ontdekten dat 73% van de energie die het koelsysteem verbruikt, niet door de pompen gaat, maar door die grote ventilatoren op het dak! Het is alsof je een auto rijdt met de airco op maximum, terwijl je motor al koud is.

3. De Oplossing: Drie Strategieën

Ze testten drie manieren om het systeem te optimaliseren in hun digitale tweeling:

• Strategie A (Alleen de pompen regelen):
  Ze verlaagden de hoeveelheid water die door de leidingen stroomt tot het absolute minimum dat veilig is.

  • Resultaat: Ze bespaarden veel energie op de pompen, maar de ventilatoren op het dak draaiden nog steeds even hard. Totale besparing: 20%.

• Strategie B (Alles vrijgeven - De "Droom"):
  Ze stelden de computer vrij om zowel de waterstroom als de temperatuur van het water te regelen. Ze stelden het water iets warmer in (bijvoorbeeld 22°C in plaats van 20°C).

  • Het effect: Omdat het water warmer is, hoeven de ventilatoren op het dak niet zo hard te werken om het af te koelen. De pompen werken iets harder (omdat het water warmer is, moet er iets meer stromen), maar de ventilatoren besparen enorm veel energie.
  • Resultaat: Dit was de theoretisch beste oplossing met 30% besparing.

• Strategie C (De "Realistische" oplossing):
  In de echte wereld kun je niet zomaar in één seconde de stroom van 200 naar 400 liter per seconde veranderen. De leidingen zouden barsten (waterhamer) en de machines zouden schrikken (thermische schok).
  Ze voegden dus regels toe: "Verander de instellingen langzaam en geleidelijk."

  • Resultaat: Zelfs met deze strenge regels voor veiligheid en stabiliteit, haalden ze 27,8% besparing.

4. De Grote Les: De "Implementatiekloof"

Een belangrijk nieuw concept in dit onderzoek is de Implementatiekloof.

• Vaak zeggen wetenschappers: "Als we dit perfect doen, besparen we 30%." Maar in de praktijk lukt dat nooit omdat machines traag zijn of veiligheidsregels gelden.
• Deze paper laat zien dat de kloof tussen de "droom" (30%) en de "realiteit" (27,8%) heel klein is. Ze behouden 92% van de theoretische winst, zelfs met alle veiligheidsregels.
• De metafoor: Het is alsof je een raceauto hebt die 300 km/u kan rijden (de theorie), maar je mag op de openbare weg maar 120 km/u. Je denkt dat je veel verliest, maar als je slim rijdt, haal je toch 90% van de snelheid die je nodig hebt voor een snelle rit, zonder een boete te krijgen.

Samenvatting in één zin

Door een slimme digitale kopie te maken, ontdekten de onderzoekers dat ze het koelsysteem van de supercomputer niet alleen moeten laten "pompen", maar ook de temperatuur van het water iets warmer mogen maken; dit zorgt ervoor dat de grote ventilatoren minder hard hoeven te werken, wat leidt tot enorme energiebesparingen die veilig en praktisch uitvoerbaar zijn.

Kortom: Ze hebben bewezen dat je niet altijd de "koudste" oplossing moet kiezen om het meest efficiënt te zijn. Soms is "iets warmer en slimmer" de weg naar een groenere toekomst.

Technische samenvatting

Probleemstelling

Datacenters verbruiken aanzienlijke hoeveelheden elektriciteit, waarbij koelsystemen verantwoordelijk zijn voor 30–40% van het totale energieverbruik. Hoewel er veel onderzoek is gedaan naar optimalisatie, bestaat er een significante kloof tussen theoretisch optimale strategieën en operationeel haalbare oplossingen. Bestaande studies missen vaak:

1. Een fysisch onderbouwd digitaal tweelingmodel (digital twin) voor exascale-supercomputers.
2. Een systematische kwantificering van het energieverlies dat optreedt wanneer praktische operationele beperkingen (zoals actuator-snelheidslimieten) worden opgelegd aan theoretische optima.
3. Een integratie van koeltorenventilatoren en pompen in één optimalisatiekader, waarbij vaak alleen op pompen wordt gefocust.

Het specifieke geval van studie is het Frontier-supercomputercentrum (Oak Ridge National Laboratory), een exascale-systeem dat 100% direct vloeistofkoeling gebruikt. Het huidige systeem werkt met vaste snelheidssetpoints voor de pompen, wat leidt tot systematisch overpompen (over-pumping) en inefficiëntie.

Methodologie

De auteurs ontwikkelen een geavanceerde raamwerk bestaande uit een digitaal tweelingmodel en een gelaagde optimalisatiestrategie.

1. Digitaal Tweelingmodel (Digital Twin)

• Platform: Gebaseerd op de Modelica-taal en de Buildings Library, geïmplementeerd in OpenModelica.
• Architectuur: Het model simuleert het warmwatercircuit (HTW) van Frontier, dat bestaat uit drie parallelle subloops. Elk subloop bevat een koelmiddelverdelingsunit (CDU), warmtewisselaars en variabele snelheidspompen.
• Fysische modellen:
  • Warmtewisselaars: Gemodelleerd met de $\varepsilon$-NTU-methode (effectiviteit-NTU).
  • Pompen: Gebaseerd op de affiniteitswetten voor centrifugaalpompen ($P \propto \dot{m}^n$).
  • Koeltorens: Een mechanische trek-koeltoren met een vaste benaderingstemperatuur (approach temperature) en een ventilatorvermogensmodel dat afhankelijk is van de warmteafvoer.
• Validatie: Het model is gevalideerd tegen één jaar operationele data (47.186 datapunten van 10 minuten) volgens de ASHRAE Guideline 14. Het model bereikte een CV-RMSE < 2,7% en een NMBE binnen ±2,5% voor de retourtemperaturen per subloop.

2. Gelaagde Optimalisatiekader
Drie strategieën werden ontwikkeld om de "implementeerbaarheidskloof" (implementability gap) te analyseren:

• Strategie A (Analytisch, alleen flow): Optimaliseert alleen de pompcapaciteit ($\dot{m}$) terwijl de aanvoertemperatuur ($T_{sup}$) constant blijft. Dit levert een analytische oplossing op.
• Strategie B (Onbeperkte co-optimalisatie): Optimaliseert zowel de flow als de aanvoertemperatuur ($T_{sp}$) zonder operationele beperkingen. Dit stelt het theoretische maximum voor.
• Strategie C (Beperkte co-optimalisatie): Voegt ramp-rate beperkingen toe aan Strategie B (max. 50 kg/s en 1°C verandering per 10 minuten). Dit simuleert de fysieke beperkingen van variabele frequentie-aandrijvingen (VFD) en voorkomt waterhamers en thermische schokken.

3. Metriek: Implementeerbaarheidskloof
De auteurs introduceren een nieuwe metriek: de implementability gap, gedefinieerd als het energieverlies dat optreedt wanneer theoretische optima moeten worden aangepast aan praktische beperkingen. De recovery ratio geeft aan welk percentage van de theoretische besparing behouden blijft.

Belangrijkste Resultaten

De optimalisatie werd uitgevoerd over het volledige jaar 2023.

• Huidige inefficiëntie: Het basissysteem pompt gemiddeld 2,9 keer de thermisch minimale flow. Dit resulteert in een "over-pumping" ratio van 1,5x, wat volgens de kubieke wet van pompen leidt tot een 3,4x overschot aan pomppower.
• Energieverdeling: Koeltorenventilatoren (CT fans) zijn verantwoordelijk voor 73% van het totale koelverbruik, terwijl pompen slechts 27% uitmaken.
• Besparingsresultaten:
  • Strategie A (Alleen flow): 20,4% totale energiebesparing. Dit verlaagt het pomppower drastisch (75,7%), maar raakt de dominante koeltorencomponent niet.
  • Strategie B (Onbeperkt co-optimalisatie): 30,1% totale besparing. Door de aanvoertemperatuur gemiddeld met 2,7°C te verhogen, wordt de warmteafvoerlast op de koeltoren verlaagd, wat de ventilatorpower met 17,9% reduceert.
  • Strategie C (Beperkt co-optimalisatie): 27,8% totale besparing. Ondanks de strikte ramp-rate beperkingen wordt 92,4% van de theoretische besparing van Strategie B behaald.
• Sensitiviteit: De resultaten zijn robuust voor onzekerheid in het pomppower-model (exponent $n$ tussen 2,0 en 3,0), met besparingen die variëren van 21% tot 28%.

Belangrijkste Bijdragen

1. Geverifieerd Digitaal Tweelingmodel: Het eerste Modelica-gebaseerde model voor het koelsysteem van een exascale-supercomputer, gevalideerd met jaarlijkse operationele data.
2. Gelaagde Optimalisatiekader: Een systematische aanpak die de bronnen van energiebesparing onthult en de impact van operationele beperkingen kwantificeert.
3. Implementeerbaarheidskloof Metriek: Een nieuwe, formele maatstaf om te bepalen hoeveel theoretische besparing verloren gaat door praktische beperkingen.
4. Operationele Inzichten: Het bewijs dat het optimaliseren van alleen de flow onvoldoende is; co-optimalisatie van flow en temperatuur is essentieel omdat de koeltoren het grootste energieverbruik heeft.

Betekenis en Impact

Dit onderzoek toont aan dat de kloof tussen theoretische optimalisatie en praktische implementatie voor koelsystemen van datacenters verrassend klein is (minder dan 8% verlies). Het benadrukt dat:

• Systeemniveau-optimalisatie cruciaal is: Het verhogen van de aanvoertemperatuur (wat meer pomppower vereist) kan tot grotere totale besparingen leiden omdat het de dominantere koeltorenventilatoren aanzienlijk minder belast.
• Praktische beperkingen (zoals trage aanpassing van pompen) hoeven niet tot grote energieboetes te leiden als ze correct worden gemodelleerd.
• De methode toepasbaar is op andere vloeistofgekoelde datacenters en kan leiden tot aanzienlijke kosten- en energiebesparingen bij de groeiende vraag naar exascale-computing.

De studie biedt een blauwdruk voor het overgaan van statische, vaste setpoints naar dynamische, voorspellende besturingssystemen die zowel thermische veiligheid als energie-efficiëntie garanderen.