An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

本文提出了一种高效的多 GPU 加速不连续伽辽金海洋模型 SLIM 实现，其相比基于 CPU 的系统实现了巨大的加速，并支持超高分辨率海岸模拟，例如将大堡礁的分辨率提高了五倍。

要点

以下是用简单语言和创意类比对这篇论文的解读。

宏观图景：让海洋模型“超级快”

想象一下模拟海洋。长期以来，科学家们使用像国际象棋棋盘一样的“网格”来绘制水域。但海洋并非棋盘；它拥有锯齿状的海岸线、深邃的海沟和浅滩珊瑚礁。为了让棋盘适配，你要么让所有地方的方格都变得极小（计算起来耗时无穷），要么接受边缘看起来生硬且错误的结果。

这篇论文中描述的SLIM 模型采用了一种不同的方法：非结构化网格。这就像是由形状不规则的瓷砖拼成的马赛克。你可以在岩石珊瑚礁旁边使用微小、精致的瓷砖，而在深海开阔水域使用巨大、简单的瓷砖。这对于沿海地区非常完美，但计算成本高昂。这就像试图用一把极小的画笔绘制杰作；它需要大量的时间和努力。

这篇论文的作者问道：“我们如何让这种细节丰富、马赛克风格的海洋模型运行得足够快，从而变得实用？”他们的答案是构建一个专门针对GPU（游戏电脑和超级计算机中强大的图形芯片）设计的版本。

核心创新：“为 GPU 就绪”的海洋

这篇论文聚焦于一种特定的数学方法，称为不连续伽辽金（DG）法。

• 类比：想象一间教室。
  • 旧方法（连续）：学生们手拉手围成一个巨大的圆圈。如果一个学生移动，他必须告诉圆圈里的其他人。这是连接的，但协调起来很慢。
  • DG 方法：每个学生坐在自己的课桌前。他们独立地解决自己的数学问题。只有当需要传递纸条时，他们才与紧邻的邻居交谈。
• 为何这有帮助：因为学生（数据点）独立工作，你可以雇佣 1,000 名老师（GPU 核心）同时帮助所有人，而不会互相干扰。这正是 GPU 喜欢做的事情：大规模并行工作。

他们如何让它变快（“秘密配方”）

作者们不仅仅是将代码放到 GPU 上；他们彻底重新设计了数据的存储和移动方式，使用了三个主要技巧：

1. “图书馆”式组织（内存布局）
GPU 就像超级快速的图书管理员。如果书籍散乱无章，管理员就会浪费时间在四处奔跑。如果它们被完美地组织好，管理员就能瞬间取到。

• 团队重新组织了数据，使相关信息在内存中彼此紧邻。他们甚至使用了一种“希尔伯特曲线”（一种特定的蜿蜒路径）来排列不规则的瓷砖，使得邻居在计算机内存中物理位置靠近。这让 GPU 的“图书管理员”始终保持最高速度运行。

2. “单元”流水线
海洋模型是三维的，由垂直的水柱组成。某些计算需要一次性解决整根水柱的难题。

• 问题：通常，逐个解决这些难题非常缓慢。
• 解决方案：他们创建了一种特殊的“单元”布局。想象一条工厂流水线，128 名工人（线程）被分配给 128 根水柱。与其来回传递零件，不如将零件组织成一个整齐的网格（矩阵），这样所有 128 名工人就能同时获取所需之物。这将一个缓慢的、顺序的过程转变为一个快速的、并行的过程。

3. “无蓝图”求解器（无矩阵）
在许多数学问题中，在解决问题之前，你必须先构建一张巨大的蓝图（矩阵）。构建蓝图需要时间。

• 技巧：对于海洋模型的某些部分（如压力和垂直运动），作者们意识到蓝图总是遵循可预测的模式。与其构建蓝图，他们编写了一个食谱，直接即时计算答案。这就像在不需要写出长除法步骤的情况下就知道数学题的答案。

结果：速度革命

这篇论文展示了基准测试结果，证明了其有效性：

• 单块 GPU 对比一间计算机房：一块高端 GPU（如 NVIDIA A100）可以完成大约1,500 个标准计算机处理器的工作量。
• "50 倍”飞跃：如果你用一台仅包含 4 块此类 GPU 的服务器，替换掉拥有 128 个 CPU 核心的庞大服务器，模拟运行速度将快 50 倍。
• 扩展性：他们在拥有多达1,024 块 GPU的超级计算机上进行了测试。系统扩展性极佳，意味着只要模拟的海洋区域足够大，能让所有这些 GPU 保持忙碌，增加更多 GPU 就能让模拟持续高效运行。

现实世界测试：大堡礁

为了证明这不仅仅是一个理论速度测试，他们运行了大堡礁的模拟。

• 挑战：珊瑚礁具有极其复杂的形状。以前的模型必须使用“模糊”的分辨率（每块瓷砖约 1.5 公里至 4 公里），才能在合理的时间内运行。
• 新结果：使用他们新的 GPU 加速模型，他们以五倍更精细的分辨率（低至 200 米）模拟了整个珊瑚礁。
• 结果：他们能够看到以前看不见的微小细节，如“潮汐射流”（快速的水流）和小涡流。他们实现了一种速度，即计算机每 1 天真实时间就能模拟100 天的海洋时间。

总结

这篇论文表明，通过重新思考数据的组织方式并利用现代图形芯片的独特能力，科学家们终于能够运行高度详细、针对复杂海岸线的三维海洋模型。他们将一个曾经过于缓慢且昂贵的过程，转变为一个快速、高效的工具，为像大堡礁这样的地方进行超高分辨率模拟打开了大门。

技术摘要

技术摘要：不连续伽辽金海洋模型 SLIM 的高效多 GPU 实现

问题陈述
非结构化网格海洋模型因其能够表征复杂几何形状并应用局部网格加密，在海岸带应用中日益重要。然而，其更广泛的采用，特别是基于不连续伽辽金有限元（DG-FE）方法的模型，一直受到高计算成本的阻碍。DG-FE 方法本质上比传统有限体积法或连续有限元方法在每个单元中包含更多的自由度和计算量。此外，非结构化网格的不规则连通性需要显式存储和管理邻居关系，导致复杂的数据处理需求和计算开销增加。虽然局部网格加密和模式分裂等策略已被采用，但它们通常不足以支持高分辨率或长时程模拟。基于 GPU 的高性能计算（HPC）架构的迅速兴起提供了一种潜在的解决方案，因为 DG-FE 公式非常适合大规模并行、逐单元计算，但要充分利用这些架构，则需要对计算代码进行彻底的重构。

方法
作者展示了 SLIM 的完整三维 DG-FE 海洋模型实现，针对单 GPU 和多 GPU 系统进行了优化，并支持 NVIDIA 和 AMD 架构。该实现依赖一个轻量级抽象层，以在 CPU、CUDA 和 HIP 后端之间进行切换。

• 内存布局与线程分配： 模型采用“每单元一线程”策略，而非每节点一线程，以增加每个线程的计算工作量。为了优化内存合并访问，使用希尔伯特曲线对二维网格进行重排序。引入了一种混合数据布局：通用计算采用结构体数组（SoA）格式，而求解线性系统则采用专用的“单元布局”。单元布局将棱柱柱组（通常为 128 个）分组为矩阵结构（结构体数组的数组），从而在求解与垂直柱相关的带状线性系统时实现完美的内存合并访问。
• 数值格式： 模型采用分裂式 IMEX 龙格 - 库塔格式。外部（正压）模式在二维网格上使用三步显式龙格 - 库塔方法，而内部（斜压）模式则推进三维方程。内部模式将水平和垂直过程分离；水平平流和粘性是显式的，而垂直过程可以是隐式的，以缓解严格的 CFL 条件。
• 求解器：
  • 无矩阵求解器： 对于水平压力梯度和垂直速度，线性系统具有可预测的结构，允许在不显式组装矩阵的情况下进行求解。单次遍历的向上查找求解器通过递归公式编码矩阵结构。
  • 完全组装的柱求解器： 对于湍流闭合和隐式垂直通量，模型组装了耦合柱内节点的稀疏矩阵。这些矩阵使用高斯消元法就地求解，每个系统分配一个线程，并利用局部缓冲区以避免寄存器溢出。
• 多 GPU 策略： 域在水平方向上使用 MPI 进行分解，每个秩（rank）对应一个 GPU。为了重叠计算与通信，代码将每个分区划分为边界/幽灵单元和内部单元。边界计算和幽灵区交换在高优先级的通信流上启动，而内部计算则在计算流上进行。这种重叠至关重要，特别是对于二维外部模式，因为内核启动延迟和通信成本可能成为瓶颈。

关键结果

• 单 GPU 性能： 在 NVIDIA A100 GPU 上的基准测试表明，其性能相当于约 1500 个 CPU 核心。用 4×A100 GPU 节点替换 128 核 CPU 节点，可获得约 50 倍的加速。该实现在内存受限内核中维持了高达 80% 的峰值内存带宽，在计算受限内核中维持了 60% 的峰值浮点吞吐量，在整个时间步长内的平均持续值约为 30%。
• 扩展性： 在 LUMI 超级计算机上，弱扩展效率在高达 1024 个 GPU（512 个 AMD MI250X GCD）时得以保持。强扩展遵循阿姆达尔定律，其中三维斜压分量几乎理想地扩展，但二维正压模式由于短内核和幽灵区交换的高频特性，充当了串行部分。
• 大堡礁（GBR）应用： 该模型应用于大堡礁的真实模拟，网格包含 330 万个三角形（3400 万个三维单元），分辨率从近礁的 200 米到离岸的 10 公里不等。在 32 个 AMD MI250X GPU（64 个 GCD）上以双精度运行，模拟实现了每天约 100 个模拟日的吞吐量。该配置解析了低至几百米的流场结构，捕捉到了以往在均匀分辨率模型中无法解析的潮汐射流和涡旋。

意义与主张
本文主张，GPU 加速的 DG-FE 方法可以极大地推动非结构化网格海洋建模的能力。通过利用特定的数据布局、无矩阵求解器和通信重叠策略来有效利用 GPU 架构，作者证明高分辨率非结构化模拟的计算成本可以降至与较粗分辨率的结构化网格模型相当的水平。这消除了非结构化网格模型在区域和海岸带领域实际应用中的历史约束。

作者强调，这项工作使得以前不可行的超高分辨率海岸带模拟成为可能，从而能够解析陆海连续体中的多尺度过程。虽然大堡礁应用主要作为可扩展性和分辨率能力的演示，而非完全验证的科学研究，但它突显了其在环境管理操作应用中的潜力。论文结论指出，非结构化网格的固有优势——几何灵活性、局部加密和多尺度分辨率——现在可以在没有传统计算开销的情况下加以利用，这将 GPU 加速的 DG 模型定位为下一代海岸海洋模拟的有前途的工具。