Fast solvers for Tokamak fluid models with PETSC

本論文は、PETSc に実装された M3D-C1 トカマクコード向けの新たな半粗化幾何学的マルチグリッドソルバを提示するものであり、既存のブロック・ヤコビ前処理法の収束限界を克服し、複雑な磁気流体力学モデルに対して卓越した頑健性と性能を達成するために、トーロidal 格子構造を活用するものである。

要約

巨大なドーナツ型の装置「トカマク」の中で、帯電した粒子の渦巻く超高温のスープ（プラズマ）がどのように振る舞うかを予測しようとしている状況を想像してください。この装置は太陽のエネルギーのような核融合エネルギーを生み出すように設計されています。しかし、この「スープ」は信じられないほど混沌としています。コンピュータを使ってその動きを段階的に計算しようとすると、数学が複雑になりすぎてコンピュータが停止してしまったり、答えが得られるまでに時間がかかりすぎて、届いた時には役に立たなくなったりします。

この論文は、この特定の種類の問題に対する「より賢く、より高速な計算機」を構築することについて述べています。

以下に、著者たちが何を行ったかを簡単なアナロジーを用いて解説します。

1. 問題：数学の「交通渋滞」

彼らが使用するコンピュータコード（M3D-C1 と呼ばれる）は、プラズマの動きを記述する方程式を解こうとします。そのためには、数百万回もの巨大なパズルを解かなければなりません。

• 旧来の方法（ブロック・ヤコビ法）： 交通渋滞のある巨大な都市の地図を持っていると想像してください。旧来の方法は、都市の残りを無視して、1 本の通り だけの交通を別の人が直すように頼むようなものです。都市が小さければ、これは機能します。しかし、都市が大きくなる（ドーナツ形状のより多くの「平面」やスライスが増える）につれて、通りを直す人々が互いに十分に速く話せなくなります。交通渋滞が悪化し、解決が遅くなったり、完全に停止したりします。
• 具体的な課題： これらの装置内のプラズマは「異方性」を持っています。紙の束を想像してください。紙の表面を滑らせるのは非常に簡単ですが（易しい方向）、束を貫通して押し通すのは非常に困難です（難しい方向）。従来の数学ソルバーはこの「紙の束」の構造を理解していなかったため、難しい方向と易しい方向を同じ不器用な方法で解こうとしました。

2. 解決策：「マルチグリッド」のエレベーター

著者たちは、マルチグリッド（MG） と呼ばれる手法を用いた新しいソルバーを構築しました。

• アナロジー： 巨大な多階建ての屋敷で、紛失したおもちゃを見つけようとしていると想像してください。
  • 旧来の方法： 1 階のすべての部屋、すべての引き出し、すべての隅をチェックしてから、2 階へ移動します。これには永遠にかかります。
  • マルチグリッド方式： まず、屋敷全体を鳥瞰図で見たミニチュア模型を眺めます。おもちゃが欠落している一般的なエリア（「粗い」グリッド）を素早く特定します。次に、中サイズの地図にズームインして範囲を絞り込みます。最後に、おもちゃを拾うために実際の部屋（「細かい」グリッド）へ行きます。
  • 問題を「全体像」レベルで先に解くことで、ソルバーは微細な詳細に到達した際に、どこを探せばよいかを正確に知ることができます。これにより、驚くほど高速になります。

3. 「秘密の調味料」：セミ・コーニング

著者たちは、トカマクがねじれた 3 次元のドーナツ状に形成された 2 次元スライス（極面）の束のようなものであることに気づきました。

• 彼らは「マルチグリッド・エレベーター」を特に束の方向（トロイダル方向）に適用しました。
• 3 次元の混乱全体を一度に単純化しようとするのではなく、トカマクの壁の形状が複雑であるため 2 次元スライスを詳細に保ちながら、レベルを上がるにつれてスライスの「束」を単純化しました。
• これは、分厚い本を取り出して、各ページのテキストを明確に保ったまま、ページ数だけを減らすようなものです。これは装置の形状に完璧に適合しています。

4. 結果：速度と信頼性

チームはこの新しいソルバーを、非常に困難な 2 つのシナリオでテストしました。

• シナリオ A：「ランアウェイ電子」（SPARC）： これは、粒子が制御不能に加速する危険な出来事をシミュレートしたものです。
  • 結果： 新しいソルバーは、小規模な設定では旧来のソルバーと互角であり、最大かつ最も複雑な設定でははるかに高速でした。ステップ数を減らして問題を解決し、時間を節約しました。
• シナリオ B：「ステラレーター」（よりねじれた別の装置）： この幾何学形状は、標準的なドーナツよりもさらにねじれて不規則です。
  • 結果： 旧ソルバーは完全に失敗し、答えを見つけることができませんでした。新しいマルチグリッドソルバーは成功しました。それは、旧いツールを破綻させたねじれた幾何学形状を処理するのに十分な頑健性を持っていました。

5. ハードウェア：スーパーコンピュータの使用

彼らはこれらのテストを、強力な CPU と GPU（グラフィックカード）の両方を使用する、世界で最も高速なスーパーコンピュータの一つであるPerlmutter上で実行しました。

• 彼らは、「セットアップ」（ミニチュア模型の構築）は高価でしたが、実際の計算は GPU 上で驚くほど高速であることを発見しました。
• 最も困難な問題については、ソルバーが停止しないようにするために、より多くの計算能力を必要とするが速度面で報われる「ヘビーデューティー」なスムザー（特定の数学的トリック）を使用する必要があることを発見しました。

まとめ

この論文は、核融合プラズマ装置特有の「紙の束」の形状を理解することで、彼らが新しい数学ツール（マルチグリッド）を構築したと主張しています。このツールは以下の点で優れています。

1. 大規模で複雑なシミュレーションにおいて、現在の標準的な方法よりも問題を速く解決する。
2. 旧来の方法が失敗するねじれた複雑な形状でもクラッシュしない。
3. 最終的に核融合エネルギーにつながる物理学をシミュレートし、実用的な発電所の設計を支援するために必要となる、実用的で高速なシミュレーションへの重要な第一歩である。

彼らは、これが核融合エネルギーそのものを解決すると主張したのではありません。むしろ、核融合エネルギーに最終的に至る物理学をシミュレートするために必要な高速で信頼性の高い計算機を提供したと主張しているのです。

技術概要

技術的概要：PETSc を用いたトカマク流体モデルに対する高速ソルバ

問題定義
M3D-C1 コードは、核融合エネルギー研究において、特にトカマクおよびステラレータにおける大規模な不安定性と破壊現象に対処する拡張磁気流体力学（MHD）プラズマのシミュレーションのための主要なツールである。このコードは、各時間ステップで多数の線形方程式系を解く必要がある半陰的時間積分法を採用している。これらの中で、運動量方程式の陰的進行が最も困難で、最も頑健性に欠ける構成要素として特定されている。

現在の生産用ソルバは、ブロック・ヤコビ（BJ）法で前処理されたクリロフ法（FGMRES/GMRES）を利用しており、ここでブロックは一定のトロイダル座標面上の自由度をグループ化している。より小規模な構成に対しては有効であるが、BJ ソルバの収束性は、前処理済み行列のスペクトル特性に起因し、トロイダル面の数が増加するにつれて著しく劣化する。さらに、BJ ソルバは非軸対称のステラレータ構成では全く収束せず、複雑な核融合装置へのコードの適用性を制限している。

手法
本研究では、M3D-C1 の特定の離散化と格子構造に特化した幾何学的マルチグリッド（MG）ソルバを開発した。手法は以下の構造的特性を活用する：

• 格子構造：M3D-C1 は、トロイダル方向に引き伸ばされた多角形平面における非構造化 2D グリッドと、トロイダル方向における規則的な 1D グリッドを組み合わせて使用する。
• 半粗密化：ソルバは、トロイダル方向に特化した幾何学的半粗密化を採用する。このアプローチが選択された理由は、トロイダル格子が構造化されているため、標準的な幾何学的 MG 手法（2:1 粗密化）を適用可能でありながら、複雑な多角形平面は将来の作業のために粗密化しないまま残すことができるからである。
• 代数インターフェース：アプリケーションは微細格子上でヤコビアンを計算するが、粗格子演算子はガレルキン過程（$A_{i+1} = P^T A_i P$）を用いて代数的に構築される。ここで $P$ は 3 点スタencil 延長演算子である。これにより、PETSc と互換性のある純粋な代数インターフェースを持つ、幾何学的・代数的ハイブリッドソルバが作成される。
• 平滑化子：2 つの平滑化子が調査された：
  1. ポイント・ブロック・ヤコビ（PBJ）：対角ブロック（頂点あたりサイズ 36）の明示的な密逆行列を計算する。これは高速でメモリ効率が良く、GPU 加速に適している。
  2. ブロック・ヤコビ（BJ）：既存の生産用ソルバを平滑化子として再利用する。これは多角形面上での完全な LU 分解を含む。高価であるが、PBJ が停滞する最も困難な問題に対して、$V(0,1)$サイクルにおけるポスト平滑化子として使用される。
• 実装：ソルバは PETSc ライブラリ内で実装され、そのクリロフソルバおよび線形代数バックエンド（直接解法には MUMPS および SuperLU を含む）のための抽象インターフェースを利用している。

主要な結果
ソルバは、Perlmutter スーパーコンピュータ（CPU および GPU ノード）を用いた 2 つのテストケースで評価された。SPARC トカマクの破壊現象におけるランナウェイ電子モデルと、準軸対称ステラレータモデルである。

1. SPARC トカマク（スケーラビリティと速度）：

   • 4 から 16 のトロイダル面を持つ構成において、MG ソルバ（PBJ 平滑化を使用）は、前処理が更新された際に単一反復で収束し、優れたアルゴリズム的スケーラビリティを示した。
   • 最大構成（64 面）では、問題の難易度が増加し、より厳密なソルバ許容誤差（$rtol = 10^{-7}$）と頻繁な更新を伴うより攻撃的な $V(6,6)$サイクルが必要となった。
   • 性能：MG ソルバは、BJ ソルバと比較して競争力のある性能を達成した。64 面のケースにおいて、MG ソルバは BJ ソルバと比較して、クリロフ反復の総数を約 16 倍削減した。GPU 上では総解算時間はほぼ同等であったが、MG ソルバは CPU 上で著しく高速な解算時間を示した。
   • 複雑性：理論的解析によれば、MG ソルバは格子レベル全体にわたる幾何学的和に起因し、BJ ソルバの約 2 倍の漸近的作業複雑性を持つことが示唆される。観測された性能は、粗格子解が現在性能が低いことを示しており、最適化の余地があることを示唆している。

2. ステラレータ（頑健性）：

   • 非軸対称ステラレータのテストケースにおいて、標準的なブロック・ヤコビソルバは完全に収束しなかった。
   • 対照的に、MG ソルバ（BJ を平滑化子として使用）は正常に収束した。これは、行列のスペクトル特性が BJ 前処理子を打ち負かす非軸対称幾何学において、MG アプローチが決定的な頑健性の利点を持つことを実証している。

意義と主張
本論文は、M3D-C1 コード内の複雑で科学的に関連性の高い MHD トカマクモデルへのマルチグリッド法の適用における第一歩を提示すると主張している。主な貢献は以下の通りである：

• 実現可能性の証明：マルチグリッド法が、高度に異方性で条件の悪い磁化プラズマモデルに対する、より高速でスケーラブルかつ頑健なソルバへの道筋を提供しうることを証明すること。
• トロイダル半粗密化：引き伸ばされた格子構造を持つ一般的なトカマクコードにとって、トロイダル方向での半粗密化が有用かつ効果的な第一歩であることを確立すること。
• 頑健性：現在の生産用ブロック・ヤコビソルバが失敗する問題（特にステラレータの破壊）を MG ソルバが解きうることを示すこと。

将来の作業と限界
著者らは、ソルバの現状について謙虚であり、いくつかの改善領域を指摘している：

• 粗格子性能：現在の性能は、粗格子での非効率的な解に制限されており、その一部は冗長な並列性の要件と、粗格子における直接ソルバ（MUMPS/SuperLU）の MPI 失敗に起因している。
• 完全 3D マルチグリッド：最も影響力のある将来の最適化は、完全な 3D MG ソルバを作成するために多角形平面に 2D マルチグリッドを追加することである。これには、非構造化幾何学的粗格子の処理が必要となる。
• 平滑化子：将来の作業には、PBJ 平滑化子のブロックサイズを GPU スレッドグループに適合させるよう最適化すること、および 3 つの非結合 MHD 波を別々に扱う FieldSplit 前処理子を調査することが含まれる。
• 更新戦略：現在の更新モデル（周期的 LU 分解）は単純である。準定常状態をより効率的に処理するためのより賢明なアルゴリズムが必要である。

要約すると、この作業は、反復回数と困難な幾何学における頑健性の点で既存のソルバを上回る、M3D-C1 のための実行可能かつ頑健なマルチグリッドフレームワークを確立し、完全な教科書的なマルチグリッド効率を達成するために解決すべき特定のアルゴリズム的および実装上の課題を特定している。