High-Performance Simulations of Higher Representations of Wilson Fermions

技术摘要：高性能高表示威尔逊费米子模拟 (HiRep v2)

问题陈述
格点场论对于非微扰理解强耦合量子场论（特别是标准模型的精密检验）至关重要。虽然存在稳健的 $SU(3)$ 规范群模拟库，但直接寻找超越标准模型（BSM）的物理学需要能够模拟一般规范群 $SU(N_g)$ 以及高表示（如伴随表示、对称表示、反对称表示）费米子的软件。现有的开源库通常缺乏支持一般 $N_g$ 及高表示的灵活性，或者缺乏实现大规模模拟（如复合希格斯和技术子理论）所需的特定高性能特性组合（如 GPU 加速和先进算法）。目前迫切需要一个能够实现具有一般颜色数的高表示威尔逊费米子，并针对现代异构 CPU-GPU 架构进行优化的库。

方法论
本文介绍了 HiRep v2，这是一个旨在解决上述局限性的开源软件套件（使用 C、CUDA C 和 C++ 编写）。核心方法论是对格点场论模拟流水线进行全面重构，重点在于狄拉克算符（Dirac operator），因为它是主要的计算瓶颈。

• 狄拉克算符与线性代数： 该实现将威尔逊-狄拉克算符推广到任意表示 $R$ 和规范群 $SU(N_g)$。为了优化性能，代码采用了通用的宏模板进行线性代数运算，并利用“融合”内核（例如线性组合）来减少内存移动。
• GPU 加速与内存布局： 工作的重要部分是将代码移植到 NVIDIA 和 AMD GPU 上。作者引入了一种“计算优化几何”布局，其中局部格点被存储为一个单一的连续块，并与发送/接收缓冲区分离。这与之前的“内存优化”布局形成对比。这种改变有助于在 GPU 上实现高效的内存合并和跨步访问模式，其中线程以块（例如 32 个位点）而非逐个位点的方式访问场分量。
• 并行化与亲和性： 代码支持使用 MPI、OpenMP 和 GPU 线程的混合并行化。它实现了拓扑感知通信器，以重新调整 MPI 进程与格点子块的关联，从而优化节点内通信。它还通过将进程绑定到特定的 CPU/GPU 域并使用“首次触碰”（first touch）策略来确保内存页分配在正确的 NUMA 节点上，从而解决了 NUMA（非统一内存访问）亲和性问题。
• 算法： HiRep v2 支持混合蒙特卡洛（HMC）和有理混合蒙特卡洛（RHMC）算法。它包含了高级特性，如 Hasenbusch 加速、奇偶预处理（even-odd preconditioning）以及多偏移共轭梯度求解器。该套件支持多种作用量，包括 Symanzik 改进规范作用量（Lüscher-Weisz）、Clover 及指数型 Clover 改进，以及扭曲质量（Twisted Mass）作用量。
• 观测量： 该库包含用于谱学（连通与非连通贡献）、散射方法（Lüscher 方法）、非微扰重整化（RI'-MOM）以及规范平滑（APE、Stout、HYP、Wilson 流）的工具。

主要贡献

1. GPU 移植与优化： 主要贡献是为涉及高表示威尔逊费米子的模拟提供了完整的 GPU 加速支持（NVIDIA 和 AMD）。作者证明了其狄拉克算符的实现达到了极高的性能，在现代 GPU 上达到了理论峰值带宽的 80–90%。
2. 可扩展性： 该软件在多个 GPU 和节点上表现出卓越的强扩展性和弱扩展性。在 LUMI-G 超级计算机上的基准测试显示，其在 1024 个 GPU 上仍具有极佳的扩展性，且效率损失极小，峰值带宽达到 908 TB/s。
3. 向 $N_g$ 的泛化： 代码支持一般颜色数（$N_g$）及各种表示（基本表示、伴随表示、对称表示、反对称表示）。作者引入了一种“大 $N_g$ 改进内核”，除了格点位点外，还对费米子维度（$D_R$）进行并行化。这种方法减轻了随着 $N_g$ 增加而出现的寄存器溢出（register spilling）和性能下降问题。
4. 算法鲁棒性： 该套件集成了先进的数值技术，包括用于高精度归约的双双精度算术（以减轻大体积下的误差累积）以及具有层次结构的各种积分器（Leapfrog、Omelyan）。

结果

• 性能基准测试： 在单 GPU（V100, A100, H100, MI250x）上，线性代数例程达到了高达 90% 的峰值带宽。威尔逊-狄拉克算符表明，对于大 $N_g$ 情况，$D_R$-位点并行化内核显著优于标准的位点并行化内核，避免了由寄存器溢出导致的带宽下降。
• 扩展性： 在 LUMI-G 和 JUWELS 上的弱扩展性测试显示，在高达 1024 个 GPU 时仍保持近乎完美的扩展性。强扩展性测试显示，对于通信开销无法被计算掩盖的极小局部格点，会出现预期的效率损失。
• 算法测试： 代码通过了标准算法测试，包括 Creutz 等式（$\langle e^{-\Delta H} \rangle = 1$）以及哈密顿量违反量随步长的缩放关系（$\langle \Delta H \rangle \propto \delta\tau^4$）。可逆性测试确认了算法在逆转器精度范围内是可逆的。
• 物理验证： 作者通过比较 $SU(2)$ 规范理论中伴随费米子的 CPU 和 GPU 结果，验证了其谱学代码。有效质量和相关函数保持一致，证实了实数表示处理及整体实现的正确性。

意义
论文声称 HiRep v2 是目前最灵活的、支持高表示威尔雕逊费米子及一般规范群模拟的高性能开源格点软件套件。其意义在于能够开展对 BSM 物理（如复合希格斯模型和大 $N_g$ 极限）的定量研究，而这些研究此前一直受到缺乏优化软件的阻碍。通过提供一个稳健、可扩展且经过 GPU 加速的工具，HiRep v2 为在大格点上进行轻费米子质量的大规模模拟提供了便利，这对于超越标准模型的理论进行精密检验至关重要。作者指出，该软件适用于部署在最先进的超级计算机上，代表了格点场论计算能力的重大进步。