Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

本論文は、計算ステップを動的にスケジューリングされるループへと抽象化する、MetaWaveプラットフォーム内における統一されたMPI並列化フレームワークを提示しており、それがシクロブタジエン、ベンゼン、オゾンといった複雑な化学系のベンチマークのための大規模なiCIPT2計算を実行する上で、高い効率性と能力を有していることを実証している。

要約

想像してみてください。あなたは、とてつもなく巨大で、信じられないほど複雑なパズルを解こうとしています。化学の世界において、このパズルとは、分子のエネルギーや特性を予測するために、電子がどのように振る舞うかを正確に突き止めることです。精度を高めようとすればするほど、考慮すべき「パズルのピース（数学的な構成）」の数は増えていきます。巨大な分子の場合、そのピースの数はあまりにも膨大になり、世界最速のスーパーコンピュータでさえ、それらすべてをメモリに収めたり、合理的な時間内に計算を終わらせたりすることに苦戦します。

この論文は、これらのパズルをより速く、より効率的に解くために、「ワーカー（コンピューターのプロセッサ）」を整理するための新しい方法を紹介しています。以下に、簡単な比喩を用いた解説をまとめます。

1. 問題点：多すぎるワーカー、多すぎる混乱

通常、科学者がスーパーコンピューターを使用する場合、計算を開始する前に、特定のタスクを特定のコンピューター（ノード）に割り当てます。これは、建設現場の現場監督が16の作業チームに設計図を渡し、「君たちは屋根を作り、君たちは壁を作れ」と指示し、その後もずっとその計画に従うよう命じるようなものです。

問題は、あるタスクには10分しかかからない一方で、別のタスクには10時間かかる場合があることです。もし監督が事前にそれを知っていれば、屋根を作るチームが早く終わって手持ち無沙汰になったり、壁を作るチームが苦戦している間に他のチームが待機したりといった、時間の浪費や計算資源の無駄が発生します。

2. 解決策：「ゴースト・プロセス」マネージャー

著者らは、MetaWaveと呼ばれる、スマートで動的なマネージャーとして機能する新しいシステムを作成しました。固定された設計図を配る代わりに、彼らは**「ゴースト・プロセス（幽霊プロセス）」**を使用しています。

• 比喩： 16人のシェフがいるレストランの厨房を想像してください。一晩中、各シェフに特定の料理を作るよう割り当てるのではなく、中央のステーションに一人の「ゴスト・マネージャー（ゴースト・プロセス）」が立っています。
• 仕組み： シェフたちはゴースト・マネージャーに「手が空きました！」と伝えます。ゴースト・マネージャーは、即座に大量のタスクの山から、次に利用可能な注文を渡します。シェフがタスクを終えるたびに、彼らは次のタスクを求めます。
• 結果： どのシェフも、タスクを待って手持ち無沙汰になることがありません。また、他の人が終わっている間に、一人だけ時間がかかるタスクに縛り付けられることもありません。これにより、全員が100%の能力を発揮して働き続けることができます。

3. 「ユニバーサル・トランスレーター（万能翻訳機）」（シリアライゼーション）

プログラミングにおける大きな悩みの種の一つは、コンピューター間でデータを送る際に、それぞれ異なる「言語」を話すことです。あるコンピューターはデータを複雑な3D構造で整理しているかもしれませんが、通信システム（MPI）は平坦で単純な数字のリストしか理解できない場合があります。

著者らは、ユニバーサル・トランスレーター（シリアライゼーション・モジュール）を構築しました。

• 比喩： 分解された複雑なIKEAの棚を友人に郵送しようとしている場面を想像してください。バラバラのネジや板をただ箱に投げ入れることはできません。それらが紛失したり、順番が狂ったりする可能性があるからです。
• 解決策： 著者らは、複雑な棚を自動的に完璧に整列した平らな箱に詰め（シリアライゼーション）、送り、その後、自動的に箱を開けて元の通りに組み立て直す（デシリアライゼーション）システムを作成しました。これにより、彼らの複雑なソフトウェアは、標準的なスーパーコンピューターと壊れることなく通信できるようになりました。

4. 実演：iCIPT2（「スマート・サーチャー」）

このシステムが機能することを証明するために、彼らはiCIPT2と呼ばれる手法を用いてテストを行いました。

• 比喩： 何十億もの通りがある街の中で、最適なルートを見つけようとしている場面を想像してください。「総当たり（ブルートフォース）」の手法は、すべての通りを一つずつチェックするため、非常に時間がかかります。iCプト2は、行き止まりを無視して、最も有望な通りを優先的にチェックするスマートなGPSのようなものです。
• 革新性： 彼らは、通り同士の接続（行列ベクトル積）の特定方法と、残りの距離を推定する方法（摂動補正）を、「セミ・ストカスティック（半確率的）」な手法（正確な計算とスマートな推測の組み合わせ）を用いて改良しました。

5. 結果：スピードとスケール

この「ゴースト・マネージャー」と「ユニバーサル・トランスレーター」を用いることで、彼らは目覚ましい結果を達成しました。

• 効率性： 1,024コア（16ノード）を備えたスーパーコンピューター上で、彼らのシステムは、計算の最も困難な部分において94%の効率を達成しました。これは、ほぼすべてのプロセッサが有用な作業を行っており、待ち時間による無駄がほとんどなかったことを意味します。
• 新しいベンチマーク： システムが非常に高速であるため、彼らは以前は不可能だったパズルを解くことができました。彼らは、ベンゼン（一般的な環状分子）とオゾン分子のエネルギーを、科学界の新たな基準となるレベルの精度で算出しました。
• 「べき乗則」の発見： 彼らは、ある整然としたパターンを発見しました。つまり、パズルのピース（構成）を増やしていくにつれて、答えの誤差が予測可能な数学的な方法（「べき乗則」）で減少していくということです。これは、計算能力を増やし続ければ、完璧な答えに限りなく近づけることができることを示唆しています。

まとめ

要約すると、著者らは単に高速な計算機を発明したのではなく、**計算機のより良い「整理方法」**を発明したのです。タスクをその場で割り当てる動的な「ゴースト・マネージャー」と、コンピューター間でデータをスムーズに移動させる「ユニバーサル・トランスレーター」を使用することで、彼らは、最高峰のスーパーコンピューターでさえ手に負えなかった極めて困難な化学の問題を解くことを可能にしました。彼らは、シクロブタジエン、ベンゼン、およびオゾンのエネルギーのパズルを、記録的な速さと精度で解くことで、これを証明しました。

技術概要

技術要約：波動関数法における統一MPI並列化

問題提起
量子化学的手法とハイパフォーマンス・コンピューティングの統合は、中程度の精度で大規模な系を扱うため、あるいは高い精度で小規模な系を扱うために不可欠である。以前のMetaWaveプラットフォームは、高度なテンプレート・メタプログラミングを用いて非相対論的および相対論的な波動関数法の統一的な実装を実現したが、これらの手法には統一されたスケーラブルな並列化戦略が欠けていた。波動関数法に対する既存の大規模並列化の取り組み（例：sCI、HBCI）は、通常、手法ごとに特化しており、転用性に欠け、ヘテロジニアスなクラスター上でのロードバランシングに苦慮する静的なタスクスケジューリングに依存している。さらに、大規模な変分空間を扱うには、メモリ使用量や通信オーバーヘッドを回避するための効率的な行列ベクトル積（MVP）および摂動補正のアルゴリズムが必要となる。

手法
著者らは、MetaWaveプラットフォーム内における波動関数法のための統一的なメッセージ・パッシング・インターフェース（MPI）並列化戦略を提案している。本手法の核心となる技術的柱は、主に以下の3点である。

1. ゴーストプロセスによるアルゴリズムの抽象化：
   すべての計算ステップ（選択、対角化、摂動など）を、動的にスケジューリングされるループとして抽象化する。タスクコストに関する事前知識なしに分散ノード間でのロードバランシングを実現するため、著者らは「ゴーストプロセス」メカニズムを導入している。$N$個のノードからなるクラスターにおいて、$N$個のワーカープロセスが（内部的にOpenMPを用いて）実際の計算を実行し、1つまたは複数のゴーストプロセスがタスクキューを管理する。ゴーストプロセスは、ワーカーに対して動的にタスクのチャンクを配布し、結果を回収することで、スケジューリング論理とコアアルゴリズムを分離する。これにより、単一のMPIテンプレートを異なる手法やステップに適用することが可能となる。

2. 統一されたシリアライゼーション／デシリアライゼーション：
   MetaWaveで使用される複雑なC++オブジェクト（ハミルトニアンや波動関数に使用）と、CベースのMPIインターフェースが必要とするフラットなデータバッファとの間の溝を埋めるため、自動シリアライゼーション／デシリアライゼーションモジュールを開発した。このモジュールは、メンバの登録、ヒープメモリのメタデータ、および汎用MPIインターフェースを処理し、最小限のコード修正で複雑なオブジェクトをノード間でシームレスに転送することを可能にする。

3. 大規模空間のためのアルゴリズム改善（iCIPT2のショーケース）：
   この戦略は、反復的構成相互作用および二次摂動補正（iCIPT2）法を用いて実証されている。主なアルゴリズムの改良点は以下の通りである：

   • 残差ベースの接続探索： 全ハミルトニアン行列を保存したり、ASCIやHBCIのようにオンザフライで残差を再生成したりする代わりに、事前計算された一次および二次残差を使用して、軌道構成（oCFG）間の接続を効率的に特定する。
   • オンザフライMVP： 疎なハミルトニアン行列の保存を回避するため、直接行列ベクトル積の実装を使用する。シングル空間（$S$）を導入して、単一および二重の接続を単一のループ内で個別に生成することで、グローバルな重複排除を回避する。
   • セミ・ストカスティックENPT2： 全体の空間を保存することが不可能な極めて大規模な変分空間に対しては、修正されたセミ・ストカスティック推定器を採用する。空間を、各ノードに保存される生成器（$P_m$）と補集合（$P_s$）に分割し、補正を$P_m$に対する決定論的部分と$P_s$に対する確率的部分として計算し、分散を低減するために特定の不偏推定器を利用する。

主要な貢献

• 統一MPIテンプレート： 本論文は、既存のOpenMP並列化されたコードを、わずかな修正でハイブリッドMPI-OpenMP版へと変換する一般的なMPIアルゴリズムテンプレートを提示している。このテンプレートは、動的スケジューリングとグローバルリダクションのためにゴーストプロセス・メカニズムに依存している。
• ゴーストプロセス・アーキテクチャ： ヘテロジニアスな環境に適応し、正確なコスト推定を必要としない、軽量で効果的なノード間ロードバランシング・メカニズム。
• スケーラブルなiCIPT2実装： 残差ベースの接続探索とセミ・ストカスティック摂動論の統合により、iCIPT2は数千万の構成状態関数（CSF）および$\sim 10^{13}$のCSFを含む一次相互作用空間（FOIS）を持つ大規模な変分空間を扱うことができる。
• データ管理： 複雑なC++データ構造の分散メモリ環境における転送を可能にする、堅牢なシリアライゼーション層。

結果
著者らは、シクロブタジエン、ベンゼン、オゾンを含む系を用いて、最大16ノード（1024コア）でiCIPT2を検証した。

• 並列効率： 摂動ステップでは94%の並列効率を達成し、全計算では16ノードで89%を達成した。これは、静的なスケジューリング手法（例：HBCLEは16ノドで81%の全体効率）を大幅に上回る。
• ベンチマーク：
  • シクロブタジエン： 異性化障壁は8.91 kcal/molと計算され、CCSDTQのベンチマーク（8.93 kcal/mol）と極めて良く一致した。
  • ベンゼン： cc-pVDZおよびcc-pVTZ基底関数を用いた基底状態エネルギーを計算した。cc-pVTZにおける外挿相関エネルギーは約-1034.0 mEhであり、これはAFQMCの結果と一致し、CCSD(T)の推定値よりも低い。
  • オゾン： 完全基底集合（CBS）限界への外挿後、様々な定常点の反応障壁およびエネルギー差は、NN-LAVAの結果と0.02 eV以内で一致した。
• スケーリング則： エネルギー誤差（$\Delta E$）対CSF数（$N_{CSF}$）の解析により、べき乗則の関係（$\Delta E \propto N_{CSF}^{\alpha}$）が明らかになった。スケーリング指数は系や基底関数によって異なり（例：ベンゼンにおいてcc-pVDZでは-0.24、cc-pVTZでは-0.18）、iCIPT2は一部のニューラルネットワークベースのアプローチ（NN-LAVAなど）よりも収束は遅いものの、系統的な精度への経路を提供していることを示している。

意義と主張
本論文は、本研究が波動関数法の並列化のための統一的かつスケーラブルなフレームワークを確立し、手法固有の並列化戦略の限界を克服したものであると主張している。計算ステップを動的にスケジューリングされるループとして抽象化することにより、既存のOpenMPコードを最小限の労力で大規模分散システムへと拡張することを可能にしている。iCIPT2への適用成功は、メモリおよびスケーラビリティの制約により以前は不可能であった大規模な活性空間計算が可能になったことを示している。著者らは、現在の実装ではCIベクトルを各ノードに複製していること（これがメモリのボトルネックである）を認めているが、統一テンプレートは、メモリ制限を完全に排除するためのベクトル・クロスノード分布などの将来の開発を容易にするよう設計されている。また、本研究はiCIPT2の誤差におけるべき乗則のスケーリングの有用性を強調しており、大規模計算における収束の予測可能な指標を提供している。