High-Performance Simulations of Higher Representations of Wilson Fermions

技術要約：高次表現のウィルソン・フェルミオンの高パフォーマンス・シミュレーション（HiRep v2）

問題提起
格子場理論は、標準模型の精密な検証、特に強結合量子場論の非摂動的な理解において不可欠である。$SU(3)$ゲージ群に対する堅牢なシミュレーション・ライブラリは存在するが、標準模型を超える物理（BSM）の直接的な探索には、一般的なゲージ群 $SU(N_g)$ および高次表現（例：随伴表現、対称表現、反対称表現）のフェルミオンをシミュレートできるソフトウェアが必要となる。既存のオープンソース・ライブラリは、一般的な $N_g$ をサポートするための柔軟性に欠けているか、あるいは大規模な複合ヒッグス理論やテクニカラー理論のシミュレーションに必要な特定の高性能機能（GPU加速や高度なアルゴリズムなど）の組み合わせを欠いていることが多い。現代のヘテロジニアスなCPU-GPUアーキテクチャに対して最適化された、高次表現のウィルソン・フェルミオンを扱う一般的な色数を持つライブラリへの具体的なニーズが存在する。

手法
本論文では、これらの制限に対処するために設計されたオープンソース・ソフトウェア・スイート（C、CUDA C、およびC++で記述）である HiRep v2 を提示する。コアとなる手法は、ディラック演算子（計算上の主要なボトルネック）に焦点を当てた、格子場理論シミュレーション・パイプラインの包括的な再設計である。

• ディラック演算子と線形代数: 実装では、ウィルソン・ディラック演算子を任意の表現 $R$ およびゲージ群 $SU(N_g)$ に対して一般化している。性能を最適化するため、コードは線形代数演算に汎用的なマクロ・テンプレートを採用し、メモリ移動を削減するために「融合（fused）」カーネル（例：線形結合）を利用している。
• GPU加速とメモリレイアウト: 本研究の大部分は、NVIDIAおよびAMD GPUへのコードの移植である。著者らは、ローカル格子が送信/受信バッファとは別に単一の連続したブロックとして格納される「計算最適化ジオメトリ」レイアウトを導入している。これは、以前の「メモリ最適化」レイアウトとは対照的である。この変更により、スレッドがサイトごとではなくブロック（例：32サイト）単位で場の成分にアクセスする、GPUにおける効率的なメモリアクセス・コアレッシングとストライド・アクセス・パターンが容易になる。
• 並列化とアフィニティ: コードは、MPI、OpenMP、およびGPUスレッドを用いたハイブリッド並列化をサポートしている。トポロジーを認識したコミュニケータを実装して、格子のサブブロックとMPIプロセスとの関連付けを再形成し、ノード内通信を最適化している。また、プロセスを特定のCPU/GPUドメインにピン留めし、「ファーストタッチ」ポリシーを使用してメモリページが正しいNUMAノードに割り当てられるようにすることで、NUMA（Non-Uniform Memory Access）アフィニティにも対処している。
• アルゴリズム: HiRep v2は、ハイブリッド・モンテカルロ（HMC）およびラショナル・モンテカルロ（RHMC）アルゴリズムをサポートしている。Hasenbusch加速、偶奇（even-odd）プレコンディショニング、およびマルチシフト共役勾配インバータなどの高度な機能を含んでいる。本スイートは、Symanzik改善ゲージ作用（Lüscher-Weisz）、Cloverおよび指数型Clover改善、ならびにTwisted Mass作用を含む様々な作用をサポートしている。
• 観測量: ライブラリには、分光法（連結および非連結寄与）、散乱法（Lüscher法）、非摂動的繰り込み（RI'-MOM）、およびゲージ・スメアリング（APE、Stout、HYP、Wilson Flow）のためのツールが含まれている。

主要な貢献

1. GPU移植と最適化: 主要な貢献は、高次表現のウィルソン・フェルミオンを含むシミュレーションのための、GPU加速（NVIDIAおよびAMD）の完全なサポートである。著者らは、ディラック演算子の実装が優れた性能を発揮し、現代のGPUにおける理論的なピーク帯域幅の80〜90%に達することを実証している。
2. スケーラビリティ: ソフトウェアは、複数のGPUおよびノードにわたって優れた強スケーリングおよび弱スケーリング特性を示す。LUMI-Gスーパーコンピュータでのベンチマークでは、最小限の効率低下で1024個のGPUまでのスケーリングを示し、908 TB/sのピーク帯域幅を達成している。
3. $N_g$ への一般化: コードは一般的な色数（$N_g$）および様々な表現（基本表現、随伴表現、対称表現、反対称表現）をサポートしている。著者らは、格子サイトに加えてフェルミオン次元（$D_R$）に対して並列化を行う「Large-$N_g$ 改善カーネル」を導入している。このアプローチは、標準的なサイト並列化カーネルにおいて、$N_g$ が増加するにつれて発生するレジスタ・スピリングと性能低下を軽減する。
4. アルゴリズムの堅牢性: 本スイートは、高精度なリダクション（大きな体積における誤差蓄積を緩和するため）のためのダブル・ダブル演算や、階層構造を持つ様々なインテグレータ（Leapfrog、Omelyan）を含む高度な数値的手法を統合している。

結果

• 性能ベンチマーク: 単一GPU（V100, A100, H100, MI250x）において、線形代数ルーチンは最大90%のピーク帯域幅に達する。ウィルソン・ディラック演算子は、大きな $N_g$ に対して $D_R$-サイト並列化カーネルが標準的なサイト並列化カーネルを大幅に上回り、帯域幅の低下を回避することを示している。
• スケーリング: LUMI-GおよびJUWELSにおける弱スケーリング・テストは、1024個のGPUまでほぼ完全なスケーリングを示している。強スケーリングでは、計算によって通信オーバーヘッドを隠蔽できない非常に小さなローカル格子において、期待される効率低下が見られる。
• アルゴリズム・テスト: コードは、Creutz等式（$\langle e^{-\Delta H} \rangle = 1$）や、ステップサイズに伴うハミルトニアンの破れのスケーリング（$\langle \Delta H \rangle \propto \delta\tau^4$）を含む標準的なアルゴリズム・テストに合格している。可逆性テストは、アルゴリズムがインバータの精度まで可逆であることを確認している。
• 物理学的検証: 著者らは、$SU(2)$ ゲージ理論と随伴フェルミオンを用いたCPUとGPUの結果を比較することで、分光コードを検証している。有効質量と相関関数は一致しており、実数表現の取り扱いおよび全体的な実装の正当性を確認している。

意義
本論文は、HiRep v2が、高次表現のウィルソン・フェルミオンと一般的なゲージ群のシミュレーションをサポートする、現在最も柔軟なオープンソースの高パフォーマンス・格子ソフトウェア・スイートであると主張している。その意義は、これまで最適化されたソフトウェアの欠如によって阻まれていた、複合ヒッグス模型や大規模 $N_g$ 極限などのBSM物理学の定量的研究を可能にすることにある。堅牢でスケーラブルかつGPU加速されたツールを提供することにより、HiRep v2は、標準模型を超える理論の精密な検証に不可欠な、大きな格子上の軽いフェルミオン質量の大規模なシミュレーションを促進する。著者らは、本ソフトウェアが最先端のスーパーコンピュータへの展開に適しており、格子場理論で利用可能な計算能力の重要な前進であることを述べている。