Co-Design Optimization for Data Center Cooling System via Digital Twin

技術概要：デジタルツインによるデータセンター冷却システムの共設計最適化

問題定義
オークリッジ国立研究所の Frontier システムなどの液体冷却エクサスケールスーパーコンピュータは、複数の並列サブループに組織化された冷却プラントを通じて、8～30 メガワットという膨大な熱を放散する。運用データの収集や制御戦略については研究が進められているが、これらの施設の「設計」に対する体系的なアプローチは未発達なままとなっている。具体的には、並列サブループ間での冷却液分配ユニット（CDU）の最適割り当てと、それら間の冷却液流量の動的分配が、統合的に最適化されていない。既存の文献では、プラントトポロジーを固定とみなすか、あるいは CDU 分割と流量割り当ての組み合わせ設計空間に言及することなく、運用制御のみに焦点を当てることが多い。本論文は、年間冷却エネルギー消費量を最小化するために、CDU の最適整数分割、連続的な流量割合、および各タイムステップごとの運用セットポイントを決定する、共設計最適化におけるギャップに取り組む。

手法
著者は、Stage 1 Modelica モデルに基づいて較正され、2023 年の運用データ（49,353 タイムステップ）を用いて検証された、Frontier 冷却システムの低次物理ベース・デジタルツインに適用される、3 層構造の最適化フレームワークを提案する。

1. 第 1 層：トポロジー設計（整数分割）：この層は、$N=25$ 個の CDU を $K$ 個の並列サブループに分割する整数分割を決定する。設計空間には、$K \in \{2, 3, 4, 5, 6\}$ に対するすべての可能な分割が含まれ、合計 611 種類の異なる構成となる。フレームワークは、「バランス型」（負荷に基づいて CDU をソート）と「最悪ケース型」（高負荷の CDU をグループ化）の割り当てポリシーの両方を評価する。
2. 第 2 層：流量割合最適化（連続割り当て）：この層は、各サブループに割り当てられる連続的な流量割合（$f_k$）を決定する。これらの割合は固定（CDU 数に比例）とすることも、サブループ間の熱強度をバランスさせるために各タイムステップで動的に最適化することもできる。
3. 第 3 層：運用共設計（制御）：この層は、各タイムステップにおける総質量流量（$\dot{m}$）と供給温度セットポイント（$T_{sup}$）を最適化する。目的は、サブループごとの熱的安全性制約（戻り温度 $\le 42^\circ$C）の下で、プラント全体の電力（ポンプ＋冷却塔ファン）を最小化することである。

このフレームワークは、すべての 611 種類の整数分割（第 1 層）を網羅的に列挙し、連続部分問題（第 2 層および第 3 層）を解析的勾配を用いた逐次最小二乗法（SLSQP）で解くことで、混合整数非線形問題を解決する。3 つの運用戦略が比較される。

• 戦略 A：流量のみの最適化（固定温度、固定比例流量）。
• 戦略 B：固定比例流量による流量と温度の共設計。
• 戦略 C：動的に調整された流量割合を伴う完全な 3 層最適化。

主な貢献

1. 3 層フレームワーク：整数トポロジー決定と連続運用決定を分離する分解アプローチの開発。網羅的列挙を通じて離散設計空間全体にわたる大域的最適性の証明を提供する。
2. 包括的な評価：Frontier システムへのフレームワークの適用。バランス型および最悪ケース型の割り当てシナリオの下で、1 年間の運用データ全体を通じて、すべての 611 種類の可能な CDU 分割を評価した。
3. 設計階層：運用戦略の選択がトポロジー決定を支配し、それが CDU からサブループへの割り当てを支配することを示す決定階層の確立。
4. 流量割合補償：動的な流量割合最適化が、CDU 割り当ての非最適性を補償し得ることを実証。これにより、設計層の分割選択と最終的なエネルギー結果との間の結合が実質的に解除される。

結果

• 最適トポロジー：大域的最適設計は、CDU 分割が（19, 6）の 2 サブループプラントであり、年間冷却エネルギー節約率が**35.48%に達する。現在の Frontier 設計（3 サブループ、分割 14-6-5）は、同じ最適化戦略の下で35.30%の節約を実現しており、大域的最適値からわずか0.18%**低い位置にある。
• 戦略の影響：流量のみの最適化（戦略 A、約 23.4% の節約）から完全な 3 層共設計（戦略 C）へ移行することで、エネルギー節約率が**12.0%**向上する。
• 流量最適化の価値：流量割合の最適化（戦略 C 対 戦略 B）は、追加で**0.2～0.5%の節約をもたらす。重要なのは、流量最適化が、特定の CDU からサブループへの割り当てに対するエネルギー性能の感度を93%**低減させる点である。固定流量割合の場合、最良と最悪の分割間の差は約 5.3% であるが、最適化された流量では、この差は約 0.4% に縮小する。
• 負荷均等化：本研究は、動的な流量再分配が機能的には負荷均等化と同等であることを発見した。CDU 間の計算負荷を均等化することは受動的にエネルギー使用を削減するが、能動的な流量制御は、HPC ジョブスケジューラの変更を必要とせずに、同じ熱強度の均等化を達成する。

意義と主張
本論文は、Frontier 施設にとって、最も実用的かつ費用対効果の高い改善策は、冷却プラントのトポロジーの物理的再構成（例えば、3 サブループから 2 サブループへの変更など）ではなく、ソフトウェア更新による独立したサブループごとの流量制御の導入であると主張する。この「ソフトウェアのみ」のリトロフィットは、固定比例基準に対して年間約10 MWhの追加エネルギー節約を達成でき、資本コストはほぼゼロである。

著者は、提案されたフレームワークが他の液体冷却高性能計算（HPC）プラントへ転用可能であると述べている。彼らは、この研究を冷却最適化の進展における第 3 段階として位置づけている。すなわち、データ駆動型の廃棄量定量化から、検証済み物理ベース制御へ、そして最終的に設計と運用の共設計へと移行する過程である。この手法は、整数設計空間が網羅的列挙に耐えうるほど小さいシステムにおいて、一般的な混合整数非線形計画に対する計算的に実行可能な代替案を提供する。これにより、非凸な熱水力モデルに対して枝分かれ法が保証できない大域的最適解を証明的に得ることが可能となる。