High-Performance Simulations of Higher Representations of Wilson Fermions

기술 요약: 고차 표현의 윌슨 페르미온에 대한 고성능 시뮬레이션 (HiRep v2)

문제 정의
격자 장론(Lattice Field Theory)은 강하게 결합된 양자 장론, 특히 표준 모델의 정밀 검증을 위한 비섭동적 이해에 필수적입니다. $SU(3)$ 게이지 군에 대해서는 견고한 시뮬레이션 라이브러리들이 존재하지만, 표준 모델 너머의 물리학(BSM)을 직접 탐색하기 위해서는 일반적인 게이지 군 $SU(N_g)$와 고차 표현(예: adjoint, symmetric, antisymmetric)을 시뮬레이션할 수 있는 소프트웨어가 필요합니다. 기존의 오픈 소스 라이브러리들은 일반적인 $N_g$를 지원하는 유연성이 부족하거나, 거대 규모의 시뮬레이션(복합 히그스 및 테크니컬러 이론 등)에 필요한 특정 고성능 기능(GPU 가속 및 고급 알고리즘 등)의 조합이 결여되어 있는 경우가 많습니다. 따라서 현대적인 이종 CPU-GPU 아키텍처에 최적화된, 일반적인 색수(number of colors)와 고차 표현을 가진 윌슨 페르온을 구현하는 라이มี러리가 필요합니다.

방법론
본 논문은 이러한 한계를 해결하기 위해 설계된 오픈 소스 소프트웨어 제품군인 HiRep v2(C, CUDA C, C++로 작성됨)를 제시합니다. 핵심 방법론은 계산의 주요 병목 지점인 디락 연산자(Dirac operator)에 초점을 맞춘 격자 장론 시뮬레이션 파이프라인의 포괄적인 재설계입니다.

• 디락 연산자 및 선형 대수: 본 구현체는 윌슨-디락 연산자를 임의의 표현 $R$과 게이지 군 $SU(N_g)$에 대해 일반화합니다. 성능 최적화를 위해, 코드는 선형 대수 연산을 위한 제네릭 매크로 템플릿을 사용하며, 메모리 이동을 줄이기 위해 "융합된(fused)" 커널(예: 선형 결합)을 활용합니다.
• GPU 가속 및 메모리 레이아웃: 작업의 상당 부분은 NVIDIA 및 AMD GPU로 코드를 포팅하는 데 할애되었습니다. 저자들은 로컬 격자가 송수신 버퍼와 분리되어 단일 연속 블록으로 저장되는 "계산 최적화 기하학(computation-optimized geometry)" 레이아웃을 도입했습니다. 이는 이전의 "메모리 최적화" 레이아웃과 대조됩니다. 이러한 변화는 GPU에서 스레드가 사이트 단위가 아닌 블록(예: 32개 사이트) 단위로 필드 성분에 접근함에 따라 효율적인 메모리 코어싱(coalescing)과 스트라이드 접근 패턴을 용이하게 합니다.
• 병렬화 및 어피니티(Affinity): 코드는 MPI, OpenMP, GPU 스레드를 이용한 하이브리드 병렬화를 지원합니다. 격자 서브 블록과 MPI 프로세스 연관 관계를 재구성하여 노드 내 통신을 최적화하는 토폴로지 인식 커뮤니케이터를 구현합니다. 또한, 프로세스를 특정 CPU/GPU 도메인에 고정하고 메모리 페이지가 올바른 NUMA 노드에 할당되도록 "first touch" 정책을 사용하여 NUMA(Non-Uniform Memory Access) 어피니티 문제를 해결합니다.
• 알고리즘: Hi-Rep v2는 하이브리드 몬테카를로(HMC) 및 라셔널 HMC(RHMC) 알고리즘을 지원합니다. Hasenbusch 가속, even-odd 프리컨디셔닝, 다중 시프트 공액 구배(multi-shift conjugate gradient) 인버터를 포함한 고급 기능들을 갖추고 있습니다. 또한 Symanzik 개선 게이지 액션(Lüscher-Weisz), Clover 및 exponential Clover 개선, 그리고 Twisted Mass 액션을 지원합니다.
• 관측량: 본 라이브러리는 분광학(연결된 및 연결되지 않은 기여도), 산란 방법(Lüscher 방법), 비섭동적 재규격화(RI'-MOM), 그리고 게이지 스미어링(APE, Stout, HYP, Wilson Flow)을 위한 도구들을 포함합니다.

주요 기여

1. GPU 포팅 및 최적화: 주요 기여는 고차 표현의 윌슨 페르온을 포함하는 시뮬레이션을 위한 GPU 가속(NVIDIA 및 AMD)의 완전한 지원입니다. 저자들은 디락 연산자의 구현이 현대적 GPU의 이론적 최대 대역폭의 80~90%에 도달하며 우수한 성능을 달성함을 입증했습니다.
2. 확장성: 소프트웨어는 다중 GPU 및 노드에 걸쳐 뛰어난 강한 확장성(strong scaling)과 약한 확장성(weak scaling)을 보여줍니다. LUMI-G 슈퍼컴퓨터에서의 벤치마크 결과, 최소한의 효율 저하로 1024개의 GPU까지 확장되는 것을 보여주었으며, 908 TB/s의 피크 대역폭을 달상했습니다.
3. $N_g$에 대한 일반화: 코드는 일반적인 색수($N_g$)와 다양한 표현(Fundamental, Adjoint, Symmetric, Antisymmetric)을 지원합니다. 저자들은 격자 사이트뿐만 아니라 페르미온 차원($D_R$)에 대해서도 병렬화되는 "$N_g$ 개선 커널"을 도입했습니다. 이 접근 방식은 $N_g$가 증가함에 따라 발생하는 표준 사이트 병렬화 커널의 레지스터 스필링(register spilling) 및 성능 저하 문제를 완화합니다.
4. 알고리즘적 견고성: 라이브러리는 대규모 볼륨에서의 오차 누적을 완화하기 위한 이중-이중(double-double) 산술 및 계층적 구조를 가진 다양한 인테그레이터(Leapfrog, Omelyan)를 포함한 고급 수치 기술을 통합합니다.

결과

• 성능 벤치마크: 단일 GPU(V100, A100, H100, MI250x)에서 선형 대수 루틴은 최대 90%의 피크 대역폭에 도달합니다. 윌슨-디락 연산자는 큰 $N_g$에 대해 $D_R$-사이트 병렬화 커널이 표준 사이트 병렬화 커널보다 크게 우수함을 보여주며, 대역폭 저하를 방지합니다.
• 확장성: LUMI-G 및 JUWELS에서의 약한 확장성 테스트는 1024개의 GPU까지 거의 완벽한 확장을 보여줍니다. 강한 확장성 테스트는 계산이 통신 오버헤드를 가릴 수 없는 매우 작은 로컬 격자에서 예상되는 효율 저하를 보여줍니다.
• 알고리즘 테스트: 코드는 크루츠 등식($\langle e^{-\Delta H} \rangle = 1$)과 단계 크기에 따른 해밀토니안 위반의 스케일링($\langle \Delta H \rangle \propto \delta\tau^4$)을 포함한 표준 알고리즘 테스트를 통과합니다. 가역성 테스트는 알고리즘이 인버터 정밀도까지 가역적임을 확인합니다.
• 물리 검증: 저자들은 $SU(2)$ 게이지 이론과 adjoint 페르온에 대한 CPU 및 GPU 결과를 비교함으로써 분광학 코드를 검증했습니다. 유효 질량과 상관 함수가 일치함을 통해 실수 표현(real-number representation) 처리와 전반적인 구현의 정확성을 확인했습니다.

의의
본 논문은 HiRep v2가 고차 표현의 윌슨 페르온과 일반적인 게이지 군을 지원하는 현재 가장 유연한 오픈 소스 고성능 격자 소프트웨어 제품군이라고 주장합니다. 그 의의는 이전에 최적화된 소프트웨어의 부재로 인해 어려움을 겪었던 복합 히그스 모델 및 대규모 $N_g$ 극한과 같은 BSM 물리학의 정량적 연구를 가능하게 한다는 점에 있습니다. 견고하고 확장 가능하며 GPU 가속이 가능한 도구를 제공함으로써, HiRep v2는 표준 모델 너머의 이론에 대한 정밀 검증에 필수적인 대규모 격자 상의 가벼운 페르미온 질량에 대한 대규모 시뮬레이션을 촉진합니다. 저자들은 이 소프트웨어가 최첨단 슈퍼컴퓨터에 배치하기에 적합하며, 격자 장론에서 사용 가능한 계산 능력의 중요한 진전임을 명시했습니다.