A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

本論文は、多様なGPUアーキテクチャにおける静電PICシミュレーション向けIPPLライブラリ内で、FFT、PCG、FEM、および新規のパーティクル・イン・フーリエ（PIF）法を含む各種ポアソンソルバのパフォーマンスと移植性を評価し、FFTが最速である一方で、PIF法は高忠実度な代替手段として優れたスケーラビリティを提供することを明らかにした。

要約

想像してください。部屋の中を移動する大勢の人々（粒子）のシミュレーションを行おうとしており、誰もが位置に基づいて互いに押し合い、引っ張り合っている状況を。これは本質的に、科学者たちがプラズマ（超高温の帯電ガス）の挙動を理解するためにシミュレーションを行う際に行っていることです。

本論文は、世界で最も強力なスーパーコンピュータ上で、これらの粒子間の力を計算するさまざまな方法を比較し、どの手法が最も高速かつ信頼性が高いかを検証した「レース報告書」です。

以下に、簡単なアナロジーを用いたレースの概要を示します。

舞台：「粒子メッシュ法（Particle-in-Cell）」ループ

シミュレーションをラウンド制のゲームと想像してください。各ラウンドで、コンピュータは以下の 4 つの処理を行います。

1. スキャター（散布）: 粒子の位置を取り込み、その「電荷」をグリッド（チェス盤のようなもの）上に描き込みます。
2. ソルブ（求解）: 描き込まれた電荷に基づき、そのグリッド上のすべての場所における電場（押し引きする力）を計算します。これがレースのメインイベントです。
3. ギャザー（収集）: グリッドから力を読み取り、各粒子にどのように移動するかを伝えます。
4. プッシュ（推進）: 粒子が新しい位置へ移動します。

著者らは、ステップ 2 を計算するための 4 つの異なる「ソルバー（解法）」をテストし、どれが優勝するかを確認しました。

4 人のレーサー

1. FFT ソルバー（高速スプリンター）

• 仕組み: この手法は「高速フーリエ変換（FFT）」と呼ばれる数学的なトリックを使用します。まるで、一つずつピースを見て解くのではなく、鏡に映った全体像を瞬時に見てパズルを解くようなものです。非常に高速です。
• 欠点: 部屋が「周期的境界」を持っている場合のみ機能します。これは、ビデオゲームの世界で右端から外に出ると瞬時に左端に現れるようなものです。壁や開いた扉には対応できません。
• 結果: 純粋な時間的には絶対的に最速でした。しかし、特定のスーパーコンピュータ（Alps）では、ループ内の「粒子移動」部分が詰まってしまい、レース全体を遅延させるトラブルが発生しました。

2. PCG ソルバー（信頼性の高い労働馬）

• 仕組み: この手法はグリッドを小さな正方形に分解し、探偵が証拠を一つずつ確認するように、数学を段階的に解きます。「前処理付き共役勾配法（Preconditioned Conjugate Gradient）」アプローチを使用します。
• 欠点: FFT に比べてはるかに遅いです（純粋な時間で約 10 倍）。しかし、非常に柔軟です。「巻き戻り」型のビデオゲーム世界だけでなく、壁（ディリクレ境界）や開放空間（ノイマン境界）にも対応できます。
• 結果: スケーリング性が高く（コンピュータを追加するほど速くなる）、作業を完了するまでには時間がかかります。

3. FEM ソルバー（高精度の建築家）

• 仕組み: これは「有限要素法（Finite Element Method）」です。剛体グリッドの代わりに、空間を曲げたり複雑な形状に適合させたりできる柔軟なメッシュのように扱います。既成の箱型のシャツではなく、仕立て上げのスーツを使用するようなものです。
• 欠点: PCG と同様に FFT よりも遅いです。また、柔軟なメッシュの端を常に確認する必要があるため、コンピュータ間の通信で少し苦労します。
• 結果: 高精度や複雑な形状が必要な場合は優れていますが、速度のチャンピオンではありません。

4. PIF ソルバー（新たな挑戦者）

• 仕組み: これは「粒子フーリエ法（Particle-in-Fourier）」方式です。まず粒子をグリッド上に描き込むのではなく、直接「周波数空間（波の数学的表現）」へ投影します。まるで地図を完全にスキップし、波のリズムによって航海するようなものです。
• 欠点: 完全に整列していない粒子を処理するために、特別な数学（非一様 FFT）が必要です。
• 結果: FFT よりもコストが高く（遅い）ですが、驚くほど安定しており、精度が高いです。丸い粒子を正方形のグリッドに当てはめようとする際に発生する「ゴースト現象」や「エイリアシング」誤差の影響を受けません。すべてのマシンで美しくスケーリングされ、パワーを追加するほど非常に効率的に高速化します。

レーストラック（スーパーコンピュータ）

著者らは、異なるエンジンを持つ 3 つの異なる「トラック（スーパーコンピュータ）」でこれらのテストを実行しました。

• Alps（スイス）: Nvidia の最新チップを使用。
• LUMI（フィンランド）: AMD チップを使用。
• JUWELS Booster（ドイツ）: 旧型の Nvidia チップを使用。

優勝者の表彰台

• 純粋な速度: FFT ソルバーが圧倒的に勝利しますが、それはあなたの問題がその厳格なルール（周期的境界）に適合しており、技術的な不具合で遅延した特定の Alps 機を使用していない場合に限られます。
• 柔軟性: シミュレーションに壁や複雑な形状がある場合、PCG および FEM ソルバーが最良の選択です。これらは遅いですが、FFT では対応できない場所で仕事を完了します。
• 高忠実度: PIF ソルバーが新たなスターです。FFT よりも少し時間がかかりますが、速度、安定性、精度のバランスが最も優れています。F1 カーよりもわずかに遅いスポーツカーのようですが、コーナーリングがはるかに優れており、運転が安全です。

結論

本論文は、単一の「最良の」ソルバーは存在しないと結論付けています。

• 速度が必要で境界が単純な場合は、FFTを使用してください。
• 柔軟性（壁、複雑な形状）が必要な場合は、PCGまたはFEMを使用してください。
• 標準的な手法の誤差なしに高精度と安定性が必要な場合は、PIFが優れたスケーラブルな代替手段です。

著者らはまた、Alps スーパーコンピュータにおける「粒子更新」のバグの修正と、FEM ソルバーの「前処理（計算を高速化する方法）」の改善に取り組んでおり、将来これらをさらに高速化すると付け加えています。

技術概要

技術的概要：静電的運動論的プラズマシミュレーションのための大規模並列性能ポータブル粒子法（PIC）スキームの比較

問題提起
本論文は、現代の異種ハイパフォーマンスコンピューティング（HPC）アーキテクチャの文脈において、静電的運動論的プラズマシミュレーション、特に Vlasov-Poisson 系の数値解法を選択する際の課題に取り組む。スーパーコンピューティングが AMD、Intel、Nvidia などの複数のベンダーから供給される CPU と GPU を組み合わせた異種システムへと移行するにつれ、シミュレーションコードは、大規模に並列化されると同時に、性能ポータビリティを備える必要がある。著者らは、異なるハードウェアプラットフォーム間で精度、スケーラビリティ、ポータビリティの最適なバランスを提供する粒子法（PIC）場ソルバおよび代替スキームを調査する。本研究の焦点は、ビーム物理学およびプラズマシミュレーションに不可欠な連成非線形高次元偏微分方程式系である静電的 Vlasov-Poisson 系にある。

手法
著者らは、性能ポータブルかつ次元非依存の粒子 - メッシュ法を設計した C++ フレームワークであるIPPL（Independent Parallel Particle Layer）ライブラリを利用する。IPPL は、ハードウェア抽象化にKokkos、FFT にheFFTe、ノード間通信にMPIを活用している。

本研究では、ランダウ減衰ミニアプリケーションをテストケースとして、IPPL 内で実装された 4 つの異なるスキームをベンチマーク評価した。比較対象となったスキームは以下の通りである：

1. FFT ソルバ： 高速フーリエ変換を用いた擬似スペクトルソルバ。周期的境界および自由空間境界に適している。
2. PCG ソルバ： 行列フリーの 2 次精度有限差分法に基づく前処理付き共役勾配法ソルバ。ディリクレ、ノイマン、および周期的境界を処理可能。
3. FEM ソルバ： 1 次ラグランジュ基底関数（2 次精度を提供）を用いた行列フリーの有限要素法ソルバ。非構造化メッシュおよび各種境界条件を処理可能。
4. PIF（Particle-in-Fourier）スキーム： 実空間グリッド補間を回避する新規アプローチ。粒子電荷を非一様 FFT（NUFFT）を用いて直接フーリエ空間へ射影し、スペクトル法で場方程式を解き、力を粒子へ補間する。この手法はエイリアシングを排除し、保存特性を向上させることを目指す。

実験環境
評価は、以下の 3 つの異なるスーパーコンピューティングアーキテクチャで行われた：

• Alps（CSCS、スイス）： GH200（Nvidia Grace-Hopper）チップを搭載した 2688 ノード。
• LUMI-G（CSC、フィンランド）： AMD MI250X GPU を搭載した 2978 ノード。
• JUWELS Booster（Jülich、ドイツ）： Nvidia A100 GPU を搭載した 936 ノード。

強スケーリングのために 2 つの問題サイズがテストされた：

• ケース A： $512^3$グリッド、セルあたり 8 粒子（約 10 億粒子）。
• ケース B： $1024^3$グリッド、セルあたり 8 粒子（約 85 億粒子）。

また、GPU 数に比例して問題サイズを増大させ、GPU あたりの作業量を一定に保つ弱スケーリング研究も実施された。

主要な結果

• 絶対性能： FFT ソルバは heFFTe ライブラリの最適化の恩恵を受け、すべてのアーキテクチャで一貫して最低の絶対実行時間を示した。ただし、その適用性は周期的または自由空間境界に限定される。
• スケーラビリティとボトルネック：
  • **Alps（GH200）**において、FFT ソルバの強スケーリングは粒子更新カーネルによって制限された。これらのノードで CUDA IPC を有効にすると粒子更新の実行時間が増加し、非常に高速だった FFT フェーズがボトルネックではなくなった。代わりに粒子通信が支配的要因となり、ケース A では 32 GPU を超えるとスケーリング効率が 50% 未満に低下した。
  • PCGおよびFEMソルバでは、線形ソルブまたは散乱/収集操作が主要なボトルネックであり、粒子更新コストを隠蔽して Alps 上でより良いスケーリングを示した。
  • PIFスキームは優れたスケーラビリティを示し、LUMI および JUWELS Booster では 512 GPU まで、Alps ではより大きな問題サイズにおいて 1024 GPU まで効率を 50% 以上維持した。
• ソルバ比較：
  • PCG と FEM： これらのソルバは絶対時間で FFT ソルバより約 1 桁遅かったが、静電的 PIC 文脈では同様にスケーリングした。FEM ソルバは、行列 - ベクトル評価における境界条件に必要な条件分岐論理とハロー通信により、わずかに高いコストを伴った。
  • PIF： FFT ベースの PIC スキームよりコストは高いが、PIF は高い忠実度の結果、優れた保存性と安定性を提供した。より多くのノード数では、FFT の粒子更新ボトルネックにより、特定のアーキテクチャにおいて PIF が絶対時間で FFT ソルバを上回ることがあった。
• 前処理： 本研究は、FEM に対する行列フリー前処理が依然として課題であることを指摘した。条件分岐論理を用いた単純な実装は CG 反復回数を減少させたが、条件分岐に対する GPU の最適性の欠如により、反復あたりの実行時間を増加させた。

意義と主張
著者らは、この研究が大規模並列異種スーパーコンピュータにおけるさまざまな PIC および PIF スキームの包括的な特性評価を提供すると主張する。主な貢献点は以下の通りである：

1. ポータビリティの実証： 本研究は、IPPL ライブラリがアーキテクチャ固有のコード書き換えを必要とせず、多様なハードウェア（AMD および Nvidia GPU）間で性能ポータブルな粒子 - メッシュシミュレーションを成功裡に提供できることを検証した。
2. ソルバ選択の指針： 本論文は、ソルバ間のトレードオフを明確にした。FFT は周期的問題において速度面で優れているが、PCG と FEM は複雑な境界条件に対して必要な柔軟性を提供する。PIF はエイリアシングを回避し、競争力のあるスケーラビリティを提供する高忠実度の代替案として特定され、保存性と安定性が最優先されるシミュレーションにおいて実用的な選択肢である。
3. ボトルネックの特定： 本研究は、GH200 などの特定のアーキテクチャにおける高度に最適化された FFT 実装において、粒子更新カーネルが制限要因となり得ることを浮き彫りにした。これは、場ソルバのみに焦点を当てた際にしばしば見過ごされる微妙な点である。

論文は、ソルバの選択は、特定の物理的制約（例：境界条件）とターゲットハードウェアに合わせてカスタマイズすべきであると結論付けており、計算コストが高い PIF などの高次スキームであっても、現代の大規模並列アーキテクチャを完全に活用できる可能性を示唆している。今後の課題として、FEM の性能をさらに向上させるため、行列フリー前処理の改善が挙げられている。