A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

本文评估了IPPL库中多种泊松求解器（包括FFT、PCG、FEM以及新型粒子傅里叶（PIF）方案）在多样化GPU架构上进行静电PIC模拟时的性能与可移植性，发现尽管FFT速度最快，但PIF方案作为一种高保真替代方案具有出色的可扩展性。

要点

想象一下，你正在模拟一大群人（粒子）在房间内移动，每个人根据彼此的位置相互推挤或拉扯。这本质上就是科学家在模拟等离子体（一种超高温、带电的气体）以理解其行为时所做的事情。

本文是一份“赛事报告”，比较了计算这些粒子间作用力的不同方法，旨在找出在世界上最强大的超级计算机上，哪种方法最快且最可靠。

以下是使用简单类比对这场“赛事”的分解：

赛场设置：“粒子网格法”循环

将模拟想象为一场分回合进行的游戏。在每一回合中，计算机执行四个步骤：

1. 散射（Scatter）： 它获取粒子的位置，并将它们的“电荷”绘制到网格上（就像国际象棋棋盘）。
2. 求解（Solve）： 它根据绘制好的电荷，计算该网格上每一点的电场（即推/拉作用力）。这是比赛的主赛事。
3. 收集（Gather）： 它从网格读取作用力，并告知每个粒子如何移动。
4. 推进（Push）： 粒子移动到新位置。

作者测试了四种不同的“求解器”（用于执行第 2 步的方法），以看谁能获胜。

四位参赛者

1. FFT 求解器（快速短跑选手）

• 工作原理： 该方法使用一种名为“快速傅里叶变换”的数学技巧。想象一下，与其一次看一块拼图，不如通过镜子瞬间看到整幅画面。它极其迅速。
• 局限性： 它仅适用于具有“周期性”边界的房间。这就像电子游戏世界，如果你从右边缘走出，会瞬间出现在左边缘。它无法处理墙壁或敞开的门。
• 结果： 就原始时间而言，它是绝对最快的。然而，在一台特定的超级计算机（Alps）上，它遭遇了挫折，因为循环中的“粒子移动”部分卡住了，拖慢了整场比赛。

2. PCG 求解器（可靠的实干家）

• 工作原理： 该方法将网格分解为微小的方块，并逐步求解数学问题，就像侦探逐一检查每个线索。它采用“预条件共轭梯度”方法。
• 局限性： 它比 FFT 慢得多（原始时间大约慢 10 倍），但它非常灵活。它可以处理墙壁（狄利克雷边界）或开放空间（诺伊曼边界），而不仅仅是那种“环绕式”的电子游戏世界。
• 结果： 它的扩展性良好（随着计算机数量增加而变快），但完成工作需要更长的时间。

3. FEM 求解器（高精度建筑师）

• 工作原理： 这是“有限元方法”。它不使用刚性网格，而是将空间视为可弯曲的网格，以适应复杂形状。这就像使用量身定制的西装，而不是现成的方正衬衫。
• 局限性： 与 PCG 一样，它比 FFT 慢。由于必须不断检查其柔性网格的边缘，它在计算机之间的通信方面也略显吃力。
• 结果： 如果你需要高精度或处理复杂形状，它非常出色，但它不是速度冠军。

4. PIF 求解器（新晋挑战者）

• 工作原理： 这是“粒子傅里叶”方案。它不是先将粒子绘制到网格上，而是直接将它们投影到“频率空间”（一种波的数学表示）。这就像完全跳过地图，直接通过波的节奏来导航。
• 局限性： 它需要特殊的数学方法（非均匀快速傅里叶变换）来处理未完美对齐的粒子。
• 结果： 它比 FFT 更昂贵（更慢），但它极其稳定且准确。它不会遭受将圆形粒子强行拟合到方形网格时产生的“重影”或“混叠”误差。它在所有机器上都具有出色的扩展性，意味着随着算力的增加，它能非常高效地提速。

赛道（超级计算机）

作者在三个具有不同引擎的“赛道”（超级计算机）上运行了这些测试：

• Alps（瑞士）： 使用英伟达（Nvidia）最新芯片。
• LUMI（芬兰）： 使用 AMD 芯片。
• JUWELS Booster（德国）： 使用较旧的英伟达芯片。

领奖台

• 原始速度： FFT 求解器完胜，但前提是你的问题符合其严格规则（周期性边界），且你没有使用那台因技术故障而使其减速的特定 Alps 机器。
• 灵活性： 如果你的模拟包含墙壁或复杂形状，PCG 和 FEM 求解器是最佳选择。它们虽然较慢，但能在 FFT 无法涉足的地方完成任务。
• 高保真度： PIF 求解器是新星。虽然它比 FFT 稍慢，但它提供了速度、稳定性和准确性之间的最佳平衡。它就像一辆跑车，虽然比一级方程式赛车稍慢，但过弯性能更好，驾驶也更安全。

核心结论

本文得出结论：不存在单一的“最佳”求解器。

• 如果你需要速度且边界简单，请使用 FFT。
• 如果你需要灵活性（墙壁、复杂形状），请使用 PCG 或 FEM。
• 如果你需要高精度和稳定性，且不希望出现标准方法的误差，PIF 是一个出色且可扩展的替代方案。

作者还指出，他们目前正在修复 Alps 超级计算机上的“粒子更新”故障，并改进 FEM 求解器的“预条件”（一种加速数学计算的方法），以便在未来让它们更快。

技术摘要

技术摘要：用于静电动力学等离子体模拟的大规模并行可移植粒子网格（PIC）方案性能比较

问题陈述
本文探讨了在现代异构高性能计算（HPC）架构背景下，为静电动力学等离子体模拟（特别是求解 Vlasov-Poisson 系统）选择最佳数值方案的挑战。随着超级计算向结合多家供应商（如 AMD、Intel、Nvidia）的 CPU 和 GPU 的异构系统转变，模拟代码必须同时具备大规模并行能力和性能可移植性。作者研究了哪些粒子网格（PIC）场求解器及替代方案能在不同硬件平台上提供最佳精度、可扩展性和可移植性的平衡。本研究聚焦于静电 Vlasov-Poisson 系统，这是一个耦合的非线性高维偏微分方程组，对束流物理和等离子体模拟至关重要。

方法论
作者利用了IPPL（独立并行粒子层）库，这是一个专为性能可移植、维度无关的粒子 - 网格方法设计的 C++ 框架。IPPL 利用Kokkos进行硬件抽象，利用heFFTe进行快速傅里叶变换（FFTs），并利用MPI进行节点间通信。

该研究使用**朗道阻尼（Landau damping）**微型应用程序作为测试案例，对 IPPL 中实现的四种不同方案进行了基准测试。所比较的方案包括：

1. FFT 求解器： 一种使用快速傅里叶变换的伪谱求解器，适用于周期性边界和自由空间边界。
2. PCG 求解器： 一种无矩阵、二阶有限差分预条件共轭梯度求解器，能够处理狄利克雷（Dirichlet）、诺伊曼（Neumann）和周期性边界。
3. FEM 求解器： 一种使用一阶拉格朗日基函数（提供二阶精度）的无矩阵有限元方法求解器，能够处理非结构化网格和各种边界条件。
4. PIF（Fourier 中的粒子）方案： 一种避免实空间网格插值的新颖方法。它使用非均匀快速傅里叶变换（NUFFTs）将粒子电荷直接投影到傅里叶空间，谱求解场方程，并将力插值回粒子。该方法旨在消除混叠并改善守恒特性。

实验设置
评估在三种不同的超级计算架构上进行：

• Alps（CSCS，瑞士）： 2688 个节点，配备 GH200（Nvidia Grace-Hopper）芯片。
• LUMI-G（CSC，芬兰）： 2978 个节点，配备 AMD MI250X GPU。
• JUWELS Booster（Jülich，德国）： 936 个节点，配备 Nvidia A100 GPU。

针对强扩展性测试了两个问题规模：

• 案例 A： $512^3$ 网格，每单元 8 个粒子（约 10 亿个粒子）。
• 案例 B： $1024^3$ 网格，每单元 8 个粒子（约 85 亿个粒子）。

还进行了弱扩展性研究，按比例增加问题规模以匹配 GPU 数量，从而保持每个 GPU 的工作量恒定。

关键结果

• 绝对性能： FFT 求解器在所有架构上始终表现出最低的绝对运行时间，这得益于 heFFTe 库中的优化。然而，其适用性仅限于周期性或自由空间边界。
• 可扩展性与瓶颈：
  • 在**Alps（GH200）**上，FFT 求解器的强扩展性受到粒子更新内核的限制。在这些节点上启用 CUDA IPC 增加了粒子更新的运行时间，导致 FFT 阶段（原本非常快）不再成为瓶颈；相反，粒子通信成为主导因素，导致案例 A 在超过 32 个 GPU 后扩展效率降至 50% 以下。
  • PCG和FEM求解器，其线性求解或散射/收集操作是主要瓶颈，掩盖了粒子更新成本，并在 Alps 上表现出更好的扩展性。
  • PIF方案显示出卓越的可扩展性，在 LUMI 和 JUWELS Booster 上直至 512 个 GPU 保持 50% 以上的效率，在 Alps 上针对较大问题规模直至 1024 个 GPU 也保持此效率。
• 求解器比较：
  • PCG 和 FEM： 这些求解器的绝对时间比 FFT 求解器慢约一个数量级，但在静电 PIC 背景下扩展性相似。FEM 求解器由于矩阵 - 向量评估中边界条件所需的条件逻辑以及光晕通信，产生了略高的成本。
  • PIF： 虽然比基于 FFT 的 PIC 方案成本更高，但 PIF 提供了高保真度结果，具有出色的守恒性和稳定性。在较大的节点数量下，由于 FFT 的粒子更新瓶颈，PIF 在某些架构上的绝对时间有时优于 FFT 求解器。
• 预条件： 研究指出，FEM 的无矩阵预条件仍然是一个挑战。使用条件逻辑的朴素实现虽然减少了共轭梯度（CG）迭代次数，但由于 GPU 对条件逻辑的次优性，增加了每次迭代的运行时间。

意义与主张
作者声称，这项工作全面表征了不同 PIC 和 PIF 方案在大规模并行异构超级计算机上的表现。主要贡献包括：

1. 可移植性证明： 该研究验证了 IPPL 库能够在不针对特定架构重写代码的情况下，成功地在多样化硬件（AMD 和 Nvidia GPU）上提供性能可移植的粒子 - 网格模拟。
2. 求解器选择指导： 该论文阐明了求解器之间的权衡。虽然 FFT 在周期性问题的速度上占优，但 PCG 和 FEM 为复杂边界条件提供了必要的灵活性。PIF 被确定为一种高保真度替代方案，可避免混叠并提供具有竞争力的可扩展性，使其成为守恒性和稳定性至关重要的模拟中的可行选项。
3. 瓶颈识别： 该工作强调，在特定架构（如 GH200）上高度优化的 FFT 实现中，粒子更新内核可能成为限制因素，这一细微差别在仅关注场求解器时往往被忽视。

该论文得出结论，求解器的选择应针对具体的物理约束（例如边界条件）和目标硬件进行定制，并指出像 PIF 这样的高阶方案尽管计算成本较高，但仍能充分利用现代大规模并行架构。未来的工作被确定为改进 FEM 的无矩阵预条件，以进一步提升其性能。