OpenMP GPU Acceleration and Portability of TRIMEG-C1 for Electromagnetic Gyrokinetic Simulations in Tokamak Plasmas

기술 요약: 전자기 자이로키네틱 시뮬레이션을 위한 TRIMEG-C1의 OpenMP GPU 가속 및 이식성

문제 정의
TRIMEG-C1 코드는 토카막 플라즈마 내의 전자기 불안정성을 시뮬레이션하기 위해 설계된 삼각형 메쉬 기반의 자이로키네틱 입자-인-셀(PIC) 솔버이다. 이 코드는 낮은 격자 해상도에서도 정확한 물리학을 포착하기 위해 고차 $C^1$ 유한 요소법을 활용한다. 그러나 현대의 슈퍼컴퓨터가 점점 더 이종 아키텍처에 의존함에 따라, 이 코드는 작은 전자 스케일과 수송 시간 스케일을 포함하는 다중 스케일 시뮬레이션으로 확장해야 하는 과제에 직면해 있다. GPU 오프로딩은 PIC 코드의 높은 병렬성 덕분에 상당한 가속 잠재력을 제공하지만, 기존의 접근 방식들은 이식성이 부족한 경우가 많다. GEM 및 ORB5와 같은 코드에서 사용되는 OpenACC는 NVIDIA 아키텍처에서는 잘 지원되지만, HPC 클러스터(예: Max Planck 컴퓨팅 및 데이터 시설의 Viper 클러스터)에서 점점 더 널리 보급되고 있는 AMD GPU에 대한 강력한 지원이 부족하다. 반대로 CUDA나 HIP는 상당한 코드 재작성이나 수동 커널 변환을 요구한다. 본 연구에서 다루는 주요 문제는 기존의 Fortran 코드베이스 구조를 변경하거나 광범위한 코드 중복을 요구하지 않으면서, NVIDIA와 AMD GPU 아키텍처 모두에서 동작하는 이식 가능한 가속 구현을 달 есть 것이다.

방법론
저자들은 가속 전략으로 OpenMP 오프로딩 프레임워크를 선택했다. 이 선택은 단일한 Fortran 코드베이스 내에서 NVIDIA와 AMD GPU를 모두 지원하여 구조적 변경과 코드 분기를 최소화할 수 있는 능력에 의해 결정되었다. 포팅 과정은 가장 계산 집약적인 구성 요소인 입자 푸셔(particle pusher) 커널과 그리드-투-입자(G2P) 연산(pullback 처리, 밀도 계산, 분포 함수 보간 포함)에 집중되었다.

주요 방법론적 단계는 다음과 같다:

1. 커널 적응: 독립적으로 마커 입자를 진화시키는 입자 푸셔를 단일 대형 OpenMP target region으로 래핑하여 병렬성을 극대화했다. 이를 위해 외부 B-스플라인 보간 라이브러리를 포함한 모든 호출 함수가 디바이스 호출 가능(device-callable)하도록 코드를 리팩토링해야 했다.
2. 컴파일러 제한 사항 해결: amdflang 및 nvfortran 컴파일러의 OpenMP 오프로딩 관련 제한 사항을 극복하기 위해 상당한 노력이 투입되었다. 구체적인 과제는 다음과 같다:
   • 다형성 및 타입 바운드 프로시저: 두 컴파일러 모두 디바이스 코드에서 이러한 기능을 완전히 지원하지 않는다. 저자들은 필요한 경우 class 대신 비다형성 type 선언을 사용하도록 코드를 수정하였고, B-스플라인 라이브러리의 타입 바운드 프로시저 바인딩을 우회하였다.
   • 메모리 관리: C++ std::vector를 모사하는 동적 배열을 처리하기 위해, 복잡한 런타임 포인터 매핑 문제와 AMD MI300A APU에서의 Out-Of-Memory (OOM) 오류를 피하고자 Array-of-Structures (AoS) 데이터 레이아웃을 1차원 배열로 평탄화하였다.
   • 경합 조건(Race Conditions): 공유 임시 배열을 사용하는 B-스플라인 라이브러리의 경합 조건은 로컬에 선언된 자동 배열(automatic arrays)로 전환함으로써 해결되었다.
   • 성능 최적화: NVIDIA GPU에서 커널은 초기에는 임시 배열의 런타임 할당으로 인해 성능 저하를 겪었다. 이는 특정 함수에 대해 컴파일 타임 고정 크기 배열을 사용하도록 전환함으로써 완화되었으며, 이 변경 사항은 대상 아키텍처에 따라 조건부로 적용되었다.
3. 하이브리드 병렬화: 본 연구는 자원 오버서브스크립션(resource oversubscription, 하나의 GPU당 여러 MPI 프로세스를 실행) 하에서의 성능을 평가하여, 노드 할당이 제한된 대규모 시뮬레이션에서의 실현 가능성을 판단하기 위해 하이브리드 MPI-OpenMP 오프로딩 전략을 검토하였다.

주요 기여

• 이식 가능한 GPU 구현: 본 논문은 OpenMP를 사용하여 TRIMEG-C1 코드를 NVIDIA와 AMD GPU 아키텍처 모두로 성공적으로 포팅한 최초의 사례를 제시하며, 이를 통해 다양한 HPC 시스템(예: Viper, Raven, Pitagora)에서 실행이 가능하게 하였다.
• 컴파일러 특화 과제 해결: 다형성, 동적 메모리 할당 및 외부 라이브러리 통합과 관련된 Fortran 컴파일러의 제한 사항에 대한 구체적인 해결책을 상세히 기술하였다.
• 성능 벤치마킹: 여러 클러스터(AMD MI300A, NVIDIA A100, NVIDIA H100)와 문제 크기에 걸쳐 종합적인 성능 평가를 수행하여, 개별 커널의 속도 향상과 강한 확장성(strong scalability)을 분석하였다.
• 검증: GPU 구현의 정확성을 표준 벤치마크 케이스를 사용하여 CPU 결과와 엄격하게 비교 검증함으로써, 포팅 과정이 물리적 부정확성을 도입하지 않았음을 확인하였다.

결과

• 속도 향상: 전체 노드 기준 $32 \times 10^6$ 마커 입자의 현실적인 문제 크기에 대해, 입자 푸셔 커널은 가장 빠른 CPU 전용 구현(AMD EPYC 9754) 대비 AMD MI300A (Viper) 및 NVIDIA H100 (Pitagora) 모두에서 약 9배의 속도 향상을 달성하였다.
• 오버서브스크립션: 연구 결과, GPU 자원을 오버서브스크립션(노드당 MPI 프로세스 증가)하면 직렬화 및 컨텍스트 스위칭으로 인해 개별 커널의 속도 향상이 감소하지만, 하이브리드 접근 방식은 여전히 유효하다는 것을 발견했다. 그러나 전체 코드의 속도 향상은 작업 규모에 크게 의존한다. 작은 작업 규모($10^6$ 입자)의 경우, 데이터 전송 오버헤드와 제한된 산술 강도(arithmetic intensity)로 인해 CPU 전용 노드와 비교했을 때 이점이 현저히 줄어든다.
• 확장성: 강한 확장성 분석은 GPU 가속 코드가 여러 노드에 걸쳐 잘 확장됨을 보여주었으나, P2G(particle-to-grid) 단계가 지배적일 때는 GPU 가속의 이점이 미미하다. 이는 해당 단계가 CPU 전용 노드의 높은 코어 수으로부터 큰 이득을 얻기 때문이다.
• 정확성: Cyclone 베이스 케이스와 TCV-X21 케이스에 대한 이온 온도 구배(ITG) 모드 시뮬레이션 비교 결과, CPU와 GPU 버전 간에 양호한 일치를 보였다. 에너지 성장률은 Cyclone 케이스의 경우 3% 미만이었고, TCV-X21 케이스의 경우 일반적으로 10% 미만이었다(높은 토로이달 모드 수에서 편차가 더 높음). 2차원 모드 구조 또한 유지되었다.
• 프로파일링: AMD GPU에서의 프로파일링 결과, 높은 레지스터 압박(register pressure)으로 인해 활성 연산 유닛(CU)이 제한되고 Local Data-Share(LDS) 활용도가 낮게 나타났다. 이는 OpenMP API가 공유 메모리를 명시적으로 관리할 수 없는 능력 때문인 것으로 분석되었다.

의의 및 주장
본 논문은 OpenMP를 사용하여 TRIMEG-C1을 GPU 아키텍처로 성공적으로 포팅한 것이 향후 대규모 물리 연구를 위한 이식 가능한 계산 기반을 제공한다고 주장한다. 저자들은 컴파일러 제한 사항을 극복하기 위해 상당한 코드 구조 변경이 필요했음을 강조하면서도, 결과적으로 생성된 코드가 서로 다른 벤더의 하드웨어 플랫폼에서 별도의 코드베이스를 유지하지 않고도 다양한 하드웨어에서 전자기 불안정성 시뮬레이션을 가능하게 한다고 강조한다.

본 연구는 입자 푸셔가 GPU 가속의 주요 후보이며, 많은 입자 수에서 상당한 속도 향상을 제공한다는 점을 확립했다. 그러나 저자들은 현재 전체 코드 성능이 GPU 가속에 덜 적합하거나 CPU 병렬성의 이득을 더 많이 받는 다른 단계(예: 장 방정식 풀이 및 P2G 연산)에 의해 병목 현상이 발생하고 있음을 겸허히 언급했다. 따라서 GPU 가속의 전체 잠재력은 푸셔가 실행 시간의 대부분을 차지하는 대규모 입자 수의 시뮬레이션에서 실현된다.

저자들이 제시한 향 향후 과제에는 PETSc를 통한 GPU 지원 솔버 통합, 포팅 노력 감소 및 오프로딩 효율 개선을 위한 TRIMEG의 C++ 포팅 탐색, 그리고 입자-그리드 연산에 대한 GPU 오프로딩 구현 등이 포함된다. 현재의 GPU 가속 TRIMEG-C1은 다중 스케일 난류 연구 및 실제 디버전(diverted) 토카막 구성에서의 플라즈마 수송 연구를 위한 디딤돌 역할을 하고 있다.