A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

기술 요약: 정전기 운동론적 플라즈마 시뮬레이션을 위한 대규모 병렬 성능 이식성 입자-격자 (PIC) 방식 비교

문제 제기
본 논문은 현대의 이종 고성능 컴퓨팅 (HPC) 아키텍처 맥락에서, 특히 Vlasov-Poisson 시스템을 해결하는 정전기 운동론적 플라즈마 시뮬레이션을 위한 최적의 수치 기법 선택이라는 과제를 다룹니다. 슈퍼컴퓨팅이 AMD, Intel, Nvidia 등 여러 벤더의 CPU 와 GPU 를 결합한 이종 시스템으로 전환됨에 따라, 시뮬레이션 코드는 대규모 병렬화되어야 할 뿐만 아니라 성능 이식성을 갖추어야 합니다. 저자들은 서로 다른 하드웨어 플랫폼 간에 정확도, 확장성, 이식성 사이의 최적 균형을 제공하는 입자 - 격자 (PIC) 필드 솔버 및 대안적 기법들을 조사합니다. 본 연구는 빔 물리 및 플라즈마 시뮬레이션에 필수적인 결합된 비선형 고차원 편미분방정식 (PDE) 시스템인 정전기 Vlasov-Poisson 시스템에 초점을 맞춥니다.

방법론
저자들은 성능 이식성 및 차원 독립성을 갖춘 입자 - 격자 (particle-mesh) 방법을 위해 설계된 C++ 프레임워크인 IPPL(Independent Parallel Particle Layer) 라이브러리를 활용합니다. IPPL 은 하드웨어 추상화를 위해 Kokkos를, FFT 를 위해 heFFTe를, 노드 간 통신을 위해 MPI를 활용합니다.

본 연구는 Landau 감쇠 미니 애플리케이션을 테스트 사례로 사용하여 IPPL 내에 구현된 네 가지 서로 다른 기법을 벤치마킹합니다. 비교된 기법들은 다음과 같습니다:

1. FFT 솔버: 주기적 및 자유 공간 경계에 적합한 빠른 푸리에 변환 (Fast Fourier Transforms) 을 사용하는 의사 스펙트럴 솔버입니다.
2. PCG 솔버: 디리클레, 노이만, 주기적 경계를 처리할 수 있는 행렬 없는 2 차 유한 차분 Preconditioned Conjugate Gradient 솔버입니다.
3. FEM 솔버: 1 차 라그랑주 기저 함수를 사용하여 2 차 정확도를 제공하는 행렬 없는 유한 요소법 (Finite Element Method) 솔버로, 비정형 메시와 다양한 경계 조건을 처리할 수 있습니다.
4. PIF(Particle-in-Fourier) 기법: 실공간 격자 보간을 피하는 새로운 접근법입니다. 이 방법은 입자 전하를 비균일 FFT(NUFFTs) 를 사용하여 직접 푸리에 공간으로 투영하고, 스펙트럴 방식으로 필드 방정식을 풀며, 힘을 입자로 다시 보간합니다. 이 방법은 앨리어싱을 제거하고 보존 특성을 개선하는 것을 목표로 합니다.

실험 설정
평가 작업은 세 가지 서로 다른 슈퍼컴퓨팅 아키텍처에서 수행되었습니다:

• Alps(CSCS, 스위스): GH200(Nvidia Grace-Hopper) 칩이 탑재된 2,688 개 노드.
• LUMI-G(CSC, 핀란드): AMD MI250X GPU 가 탑재된 2,978 개 노드.
• JUWELS Booster(Jülich, 독일): Nvidia A100 GPU 가 탑재된 936 개 노드.

강한 확장성 (strong scaling) 테스트를 위해 두 가지 문제 크기가 테스트되었습니다:

• Case A: $512^3$ 격자에 셀당 8 개의 입자 (약 10 억 개 입자).
• Case B: $1024^3$ 격자에 셀당 8 개의 입자 (약 85 억 개 입자).

약한 확장성 (weak scaling) 연구도 수행되어, GPU 당 일정한 작업을 유지하기 위해 GPU 수에 비례하여 문제 크기를 증가시켰습니다.

주요 결과

• 절대 성능: FFT 솔버는 heFFTe 라이브러리의 최적화 혜택을 받아 모든 아키텍처에서 일관되게 가장 낮은 절대 실행 시간을 보여주었습니다. 그러나 그 적용 범위는 주기적 또는 자유 공간 경계로 제한됩니다.
• 확장성 및 병목 현상:
  • **Alps(GH200)**에서 FFT 솔버의 강한 확장성은 입자 업데이트 커널에 의해 제한되었습니다. 이러한 노드에서 CUDA IPC 를 활성화하면 입자 업데이트의 실행 시간이 증가하여 매우 빠른 FFT 단계가 더 이상 병목이 되지 않게 되었고, 대신 입자 통신이 지배적인 요인이 되어 Case A 의 경우 32 개 GPU 이후 확장성 효율이 50% 미만으로 저하되었습니다.
  • 선형 해석 또는 산란/수집 (scatter/gather) 연산이 주요 병목인 PCG 및 FEM 솔버는 입자 업데이트 비용을 가리고 Alps 에서 더 나은 확장성을 보였습니다.
  • PIF 기법은 LUMI 와 JUWELS Booster 에서 512 개 GPU 까지, 더 큰 문제 크기의 경우 Alps 에서 1,024 개 GPU 까지 효율성을 50% 이상 유지하며 우수한 확장성을 보여주었습니다.
• 솔버 비교:
  • PCG 및 FEM: 이러한 솔버들은 절대 시간 기준으로 FFT 솔버보다 약 10 배 느렸으나, 정전기 PIC 맥락에서는 유사하게 확장되었습니다. FEM 솔버는 행렬 - 벡터 평가에 필요한 경계 조건을 위한 조건부 논리와 헤일로 (halo) 통신으로 인해 약간 더 높은 비용을 발생시켰습니다.
  • PIF: FFT 기반 PIC 기법보다 비용이 더 들지만, PIF 는 뛰어난 보존성과 안정성을 가진 고충실도 결과를 제공했습니다. 더 많은 노드 수에서는 FFT 의 입자 업데이트 병목 현상으로 인해 특정 아키텍처에서 PIF 가 절대 시간 기준으로 FFT 솔버보다 때로는 더 우수한 성능을 보였습니다.
• 전처리: 연구는 FEM 을 위한 행렬 없는 전처리가 여전히 과제임을 지적했습니다. 조건부 논리를 사용하는 단순한 구현은 CG 반복 횟수를 줄였지만, 조건문에 대한 GPU 의 비최적성으로 인해 반복당 실행 시간을 증가시켰습니다.

의의 및 주장
저자들은 본 연구가 대규모 병렬 이종 슈퍼컴퓨터에서 다양한 PIC 및 PIF 기법에 대한 포괄적인 특성을 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 이식성 입증: 본 연구는 IPPL 라이브러리가 아키텍처별 코드 재작성 없이 다양한 하드웨어 (AMD 및 Nvidia GPU) 에서 성능 이식성 입자 - 격자 시뮬레이션을 성공적으로 제공할 수 있음을 검증합니다.
2. 솔버 선택 가이드: 본 논문은 솔버 간의 트레이드오프를 명확히 합니다. FFT 는 주기적 문제에서 속도가 우수하지만, PCG 와 FEM 은 복잡한 경계 조건에 필요한 유연성을 제공합니다. PIF 는 앨리어싱을 피하고 경쟁력 있는 확장성을 제공하는 고충실도 대안으로 식별되어, 보존성과 안정성이 최우선인 시뮬레이션에 실현 가능한 옵션이 됩니다.
3. 병목 현상 식별: 본 작업은 (GH200 과 같은) 특정 아키텍처에서 최적화된 FFT 구현에서 입자 업데이트 커널이 제한 요인이 될 수 있음을 강조하며, 이는 필드 솔버에만 초점을 맞출 때 종종 간과되는 세밀한 차이입니다.

본 논문은 솔버 선택이 특정 물리적 제약 (예: 경계 조건) 과 대상 하드웨어에 맞게 조정되어야 한다고 결론지으며, 계산 비용이 높음에도 불구하고 PIF 와 같은 고차 기법이 현대의 대규모 병렬 아키텍처를 완전히 활용할 수 있음을 지적합니다. 향후 작업은 FEM 의 행렬 없는 전처리를 개선하여 성능을 더욱 향상시키는 것으로 식별되었습니다.