cuGUGA: Operator-Direct Graphical Unitary Group Approach Accelerated with CUDA

本論文は、定数時間アルゴリズムとカスタムCUDAカーネルを利用することで、中規模までのアクティブスペースに対して高い数値精度を維持しつつ、既存のCPUおよびPySCF実装に対して大幅な高速化を実現した、高性能なGPU加速演算子直接型グラフィカル・ユニタリ・グループ近似（GUGA）構成間相互作用ソルバーであるcuGUGAを紹介するものである。

要約

複雑な分子がどのように振る舞うかを予測しようとしていると想像してみてください。これを正確に行うには、特に電子が「もつれ」合っていたり、奇妙な動きをしていたりする場合、Configuration Interaction (CI) と呼ばれる巨大な数学のパズルを解かなければなりません。

このパズルを、巨大な迷路だと考えてください。電子が配置されるあらゆる可能な方法は、迷路の中の異なる経路になります。電子や軌道の数が増えるほど、迷路は巨大になります。あまりに巨大すぎて、スーパーコンピュータを使っても、すべての経路を一つずつチェックするには何年もかかるほどです。

この論文では、この迷路をより高速に解くために設計された新しいツール、cuGUGAを紹介しています。特に、重労働を行うために最新のグラフィックスカード（GPU）を使用することに特化しています。

その仕組みを、シンプルな概念に分解して説明します。

1. 地図 vs リスト（「グラフ」によるアプローチ）

従来の方法では、電子の配置のあらゆる可能性をリストアップしようとすることがよくあります（都市のすべての住所を書き出すようなものです）。これは低速であり、メモリを浪費します。

cuGUGAは、Graphical Unitary Group Approach (GUGA) を使用しています。長いリストを作る代わりに、フローチャート（ShavittグラフまたはDRTと呼ばれます）を使用します。

• 比喩： 「選択肢によって結末が変わる冒険本（Choose-your-own-adventure book）」を想像してください。あらゆる物語の結末を巨大なリストとして書き出すのではなく、単に選択肢のマップ（地図）を持つのです。あなたは実際に存在する経路だけを辿ります。
• メリット： この「マップ」は非常に疎（スカスカ）です。cuGUGAは、不可能な経路を一切見ることなく、ある有効な経路から次の有効な経路へと正確にジャンプする方法を知っています。

2. 「即時翻訳機」（ルックアップテーブル）

昔は、コンピュータが迷路の各ステップの値を知りたいとき、その都度、複雑な計算（ミニ数学問題の解決のようなもの）を行わなければなりませんでした。これは低速です。

cuGUGUは、**事前表形式の因子（pre-tabulated factors）**を使用しています。

• 比喩： ボードゲームをしているところを想像してください。サイコロを振るたびに「6が出る確率は……」と毎回計算するのではなく、「もし6が出たら3マス進む」と書かれたカンニングペーパーを持っているようなものです。
• メリット： コンピュータは計算するのではなく、あらかじめ用意されたテーブルから答えを「検索」するだけです。これは「定数時間」で行われるため、テーブルが小さくても大きくても、かかる時間は一瞬で変わりません。

3. 「組立ライン」（作業の分離）

計算の中で最も難しい部分は、電子の配置とそれらの間の力（積分）を掛け合わせることです。

• 従来の方法： コンピュータは、「経路を見つけること（歩行）」と「力の計算（掛け算）」をすべて混ぜこぜにして行おうとします。これは、シェフが野菜を切ったり、鍋をかき混ぜたり、皿を洗ったりすることを同時に行おうとするようなものです。
• cuGUGAの方法： これは作業を2つの明確なステージに分割します。
  1. 列挙 (Enumeration): すべての有効な経路を素早く見つけること（「野菜を切る」工程）。
  2. 縮約 (Contraction): それらの経路に対して重い数学的掛け算を行うこと（「鍋をかき混ぜる」工程）。
• メリット： この分離により、コンピュータはそれぞれの仕事に対して最適なツールを使用できるようになります。「切る」作業はカスタムの特化したコードで行われ、「かき混ぜる（重い数学）」作業は、GPUが得意とする強力な既存ライブラリに引き渡されます。

4. GPUの超能力

GPU（論文内で言及されているNVIDIA RTX 4090など）は、何千もの小さな作業員の群れのようなものです。同じ単純な数学的タスクを並列で何度も繰り返すことは非常に得意ですが、作業員一人ひとりが異なることをしたり、指示を待ったりする必要があると混乱してしまいます。

• 課題： 「迷路を歩く」部分は非常に不規則です（長い経路もあれば短い経路もあり、途中で止まるものもあります）。これは通常、GPUを混乱させます。
• cuGUGAの解決策： 著者らは、これらの不規則な経路を整然としたバッチ（塊）に整理するカスタムコードを記述しました。彼らは「Count-Scan-Write（カウント・スキャン・ライト）」戦略を使用しています。
  1. Count (カウント): 各作業員に「あなたが生み出す結果は何個ですか？」と尋ねる。
  2. Scan (スキャン): 各作業員が、互いにぶつかることなく結果を書き込めるよう、メモリ内の正確な位置を特定する。
  3. Write (ライト): 全員が同時に結果を書き込む。
• 結果： これにより、乱雑で不規則なタスクが、スムーズで高速な組立ラインへと変わります。

結果：どれくらい速いのか？

著者らは、標準的なコンシューマ向けグラフィックスカード（RTX 4090）を用いて、以下のものと比較テストを行いました。

1. 標準的なCPUコード（「古い」方法）。
2. 他の人気のある化学ソフトウェア（PySCF）。

• 精度： 既存の最高水準の方法と同等の精度です（差異は原子1つの重さよりも小さいレベルです）。
• 速度：
  • 小規模から中規模の分子問題については、GPU版はCPU版よりも約10倍高速です。
  • 人気のあるPySCFソフトウェアと比較すると、cuGUGAはCPUのみの場合でも2〜4倍高速であり、小さなアクティブスペースを使用している場合は、GPUを使用することで最大40倍高速になります。
  • 注意点： 分子の問題が非常に巨大になると、速度の優位性は縮小します。これは、「重い数学（巨大な行列の掛け算）」の部分がボトルネックとなり、コンシューマ向けグラフィックスカードは、その特定の種類の数学において専用のデータセンター向けスーパーコンピュータほどのパワーを持たないためです。

まとめ

cuGUGAは、複雑な電子のパズルを解くための、高度に最適化された新しいエンジンです。長いリストの代わりにスマートなマップを使い、即座に答えを出すためのカンニングペーパーを備え、現代のグラフィックスカードの力を引き出すための特化した組立ラインを使用しています。これにより、科学者はこれまでよりも大幅に高速にこれらの問題を解くことができ、複雑な化学シミュレーションをより身近なものにします。

技術概要

技術要約：cuGUGA: CUDAによって加速された、演算子直接型グラフ・ユニタリ群アプローチ

問題提起
強相関分子の正確な電子状態予測には、多くの場合、マルチリファレンス処理、具体的には完全活性空間自己無撞合場（CASSCF）法が必要となる。これらの手法では、選択された活性軌道部分空間内でのフル構成間相互作用（FCI）問題を解く必要がある。CASSCFのマクロイテレーションにおける計算上のボトルネックは、反復的な固有値ソルバー（Davidson法など）において必要とされる行列・ベクトル積（「$\sigma$-ベクトル」、$\sigma = Hc$）の反復的な評価である。

スピン適合された構成状態関数（CSF）基底（グラフ・ユニタリ群アプローチ、GUGAによる）で計算を行うことは、スレーター行列式基底と比較して問題の次元を削減し、スピン純粋性を保証するが、実用的な実装においては課題に直面する。既存のコードは、ハミルトニアンの結合を扱うために、最内ループ内で行列式の中間体や大きなキャッシュオブジェクトを導入することがよくある。このアプローチは、CSF結合の微細な疎性を隠蔽してしまい、現代のハードウェア、特に不規則なグラフ探索やポインタ集約型のロジックに苦慮するGPU上での効率的な実行を困難にしている。

手法
本論文では、疎な結合の列挙と積分縮約を明確に分離し、CPUおよびGPUアーキテクチャへの効率的なマッピングを可能にする、演算子直接型（operator-direct）GUGA CIソルバーであるcuGUGAを紹介する。

1. 演算子直接型定式化:
   ハミルトニアン行列を明示的に形成する代わりに、cuGUGAはスピン自由生成子（$E_{pq}$）をCSFに直接作用させることで $\sigma = Hc$ を計算する。これらの生成子の作用は疎であり、与えられたCSF $|\Phi_j\rangle$ に対して、$E_{pq}|\Phi_j\rangle$ は少数の接続されたCSFの線形結合を生成する。

2. DRT表現とインデックス付け:
   CSF空間は、シャビット・グラフ（Shavitt graph）または有向行テーブル（DRT）として知られる、層状の有向非巡回グラフ（DAG）として表現される。

   • ランキング/アンランキングング: 動的計画法（DP）を用いて、DRT上の接尾辞ウォーク数（$W(v)$）および接頭辞和（$\Pi(v, d)$）を計算する。これにより、CSFインデックスとそのグラフ上のステップシーケンス（ウォーク）間の定数時間での変換が可能になる。
   • セグメント・ウォーク: 接続されたCSFを見つけるために、「セグメント・ウォーク」探索を行う。これは、生成子 $E_{pq}$ によって定義される特定の軌道区間 $[p_<, p_>]$ 内での有効なステップの置換を探索し、DRTの妥当性を保証するために境界ノードによって制約される。

3. 定数時間結合評価:
   局所的な結合係数（セグメント因子）は、二段階のルックアップテーブル（LUT）戦略を用いて定数時間で評価される。有限のケースマップが局所的なパターンをコンパクトなケースIDに割り当て、それが局所的なスピンラベルに基づく事前計算された係数配列をインデックス化する。これにより、ホットループ中の複雑な分岐ロジックが排除される。

4. 中間重み定式化:
   二電子項の寄与については、中間重み分解を採用する。まず、単一の生成子（$E_{rs}$）の作用に対する疎な係数を列挙し、次にこれらを二電子積分と縮約して有効な重み（$g^{(\mu j)}_{pq}$）を形成する。これにより、疎なCSF列挙と密な積分縮約を分離する。

   • バックエンド: 実装は、密な四指数積分と、密度適合（DF）またはチョレスキー分解された表現の両方をサポートする。DF/チョレスキー・バックエンドは、縮約を疎/密行列積および密/密行列積（GEMM/SpMM）へと削減する。

5. GPU加速戦略:
   不規則なDRT探索をGPUのSIMT（Single Instruction, Multiple Threads）アーキテクチャに適応させるため、以下の戦略をとる：

   • データレイアウト: ポインタ追跡を排除し、合体メモリアクセス（coalesced access）を可能にするため、DRTテーブルとノードラベルは連続したデバイス配列として格納される。
   • Count-Scan-Write: セグメント・ウォークが可変数の隣接要素を生成するため、動的確保を避けつつ出力バッファを充填するために、三パス・カーネル戦略（count、排他的スキャンによるオフセット計算、write）を使用する。
   • バッチ処理: 特に二電子縮約段階において算術強度を最大化するために、ブロック単位でベクトルにハミルトニアンを適用する。
   • 精度: すべての縮約および固有値更新は倍精度（FP64）で行われる。

主な貢献

• 初の演算子直接型GUGA GPUソルバー: cuGUGAは、不規則なグラフ探索と蓄積をカスタムCUDAカーネルで処理しつつ、密な縮約を最適化されたCUDAライブラリ（cuBLAS, cuSPARSE）に委ねる、完全なCSF直接型ソルバーを実装している。
• ハードウェア非依存のプリミティブ: コアとなる数学的定式化は、疎な列挙ロジックと密な積分バックエンドを分離しており、同じプリミティブをCPUとGPUの両方で効率的に実行できる。
• 性能最適化: 事前計算されたセグメント因子とフラット化されたDRTテーブルの使用により、GPU上でのワープダイバージェンスとメモリレイテンシを最小限に抑えている。

結果
実装は、Intel Core i7-14700K CPUおよびNVIDIA GeForce RTX 4090 GPUを用いてベンチマークが行われた。

• 精度: ソルバーは参照エネルギーを $10^{-11}$ $E_h$ レベルで再現する。CPUとGPUバックエンドの比較では、$\sigma$-ベクトルにおいて $10^{-14}$ の一致を示し、実行間の分散は無視できる程度（$< 10^{-13}$）である。
• CPU性能: cuGUGAのCPUバックエンドは、代表的なCASCIカーネルにおいて、PySCFの行列式（DET）バックエンドに対して $\gtrsim 2\times$、PySCFのCSFバックエンドに対して $\gtrsim 4\times$ の高速化を実現した。
• GPU性能: RTX 4090において、GPUバックエンドは、より小さな活性空間に対して、cuGUGA CPUバックエンドに対し最大 $\sim 10\times$ の高速化を提供する。代表的な系については、PySCF(DET)に対して $20\times$ 以上、PySCF(CSF)に対して $40\times$ を超える全体的な高速化を実現している。
• スケーリング特性: 活性空間が大きくなるにつれて、高速化の度合いは低下する。これは、ワークロードが次第にFP64 GEMM操作によって支配されるようになるためである。コンシューマ向けGPU（RTX 4090など）は、FP64のスループットが限定的（FP32の約1/64）であり、これが縮約が重い大きな活性空間の段階における加速を制限している。論文では、より高いFP64能力を持つデータセンター向けGPUであれば、より高い高速化率を維持できるであろうと述べている。

意義
本論文は、cuGUGAを、スピン適合性とCSF直接型の疎性が極めて重要であり、かつCIステップのGPU加速が求められるケースのための特化したツールとして位置づけている。これは、従来のGUGA実装（ポインタ集約型のグラフ探索に依存）とGPU実行モデルとの間のアーキテクチャ上の不一致に対処している。疎なCSF結合の列挙と密な積分縮約を明確に分離することで、cuGUGAはコンシューマ向けハードウェア上で顕著な性能向上を実現しながら、GUGA形式の厳格なスピン純粋性と精度を維持している。本研究は、演算子直接型GUGA手法が効果的にGPUへ移植可能であることを示しており、強相関系に対する行列式ベースのアプローチに代わる実行可能な選択肢を提示している。