GPU acceleration of plane-wave density functional theory calculations in Abinit

이 논문은 대규모 전자 구조 계산을 위한 Abinit 코드의 GPU 이주 작업, 특히 Kohn-Sham 문제 해결을 위한 반복 대각화 알고리즘 (LOBPCG 및 체비셰프 다항식 필터링) 의 수정과 성능 비교를 통해 다중 GPU 아키텍처에서의 효율성을 입증합니다.

핵심

1. 배경: 왜 GPU 가 필요한가요?

"수천 권의 책을 한 번에 정리해야 하는 도서관"

아비닛 프로그램은 물질을 연구할 때 원자 안의 전자들이 어떻게 움직이는지 계산합니다. 이는 마치 도서관에 있는 수천 권의 책 (전자 상태) 을 한 번에 정리하고 분류하는 일과 같습니다.

• 기존 방식 (CPU): 도서관 사서 한 명이 책 한 권씩 꼼꼼히 정리합니다. 정확하지만 시간이 매우 오래 걸립니다.
• 새로운 방식 (GPU): 수백 명의 배달 기사 (GPU 코어) 를 고용합니다. 이들은 한 번에 많은 책을 동시에 나르거나 분류할 수 있어 속도가 훨씬 빠릅니다.

하지만 문제는, 이 배달 기사들이 **책 정리 규칙 (알고리즘)**을 잘 모른다는 점입니다. 그래서 연구자들은 아비닛 프로그램을 GPU 가 이해할 수 있도록 다시 설계해야 했습니다.

2. 주요 전략: "한 번에 많이 처리하기" (Batch Processing)

"우편물을 한 장씩 보내지 말고, 트럭 한 대에 실어서 보내자"

기존 프로그램은 전자 하나하나를 따로따로 계산했습니다. GPU 에게는 "하나씩" 처리하는 것이 비효율적입니다. 마치 우편물을 한 장씩 트럭에 실어 보내는 것과 같습니다.

• 변경된 방식: 연구자들은 전자들을 뭉쳐서 (Batch) 처리하도록 프로그램을 바꿨습니다. 마치 우편물을 한 트럭에 가득 실어 한 번에 보내는 것처럼요. 이렇게 하면 GPU 가 한 번에 엄청난 양의 계산을 처리할 수 있어 속도가 기하급수적으로 빨라집니다.

3. 데이터 이동: "집과 창고 사이의 왕복" 줄이기

"요리사가 재료를 부엌에서 꺼내서 바로 요리하는 것"

GPU 는 계산은 빠르지만, CPU(메인 컴퓨터) 와 데이터를 주고받는 속도는 상대적으로 느립니다.

• 과거의 비효율: 요리사 (GPU) 가 재료를 요리할 때마다, 창고 (CPU) 에서 재료를 가져와서 부엌으로 옮기고, 요리한 뒤 다시 창고로 가져가는 과정을 반복했습니다. 이 이동 시간이 전체 시간을 다 잡아먹었습니다.
• 새로운 전략: 연구자들은 재료를 처음에 한 번만 부엌 (GPU 메모리) 으로 가져와서, 모든 요리를 끝낼 때까지 거기서만 처리하도록 했습니다. 이동 시간을 최소화하고, 요리 (계산) 시간에만 집중하게 만든 것입니다.

4. 두 가지 요리법 비교: LOBPCG vs 체비셰프 필터링

이 논문에서는 전자를 정리하는 두 가지 다른 방법 (알고리즘) 을 비교했습니다.

• 방법 A (LOBPCG): "조금씩 조금씩 정리하기"
  • 책장을 정리할 때, 한 권씩 확인하고 정리하는 방식입니다.
  • 단점: GPU 에게는 너무 자주 "정리 완료 확인"을 요구합니다. 이 확인 과정 (MPI 통신) 이 많아서 GPU 가 쉬는 시간이 생깁니다.
• 방법 B (체비셰프 필터링): "한 번에 대량으로 필터링하기"
  • 책장 전체를 한 번에 훑어서 원하는 책만 빠르게 골라내는 방식입니다.
  • 장점: GPU 가 좋아하는 "한 번에 많은 작업"을 합니다. 확인 과정이 적고, GPU 의 계산 능력을 100% 활용합니다.

결과: GPU 환경에서는 **방법 B(체비셰프 필터링)**가 훨씬 더 빠르고 효율적이었습니다. 특히 AMD 와 NVIDIA 라는 두 가지 다른 GPU 칩에서 모두 좋은 성능을 보였습니다.

5. 에너지 효율: "전기세도 아낀다"

빠른 속도는 곧 전기세 절약을 의미합니다.

• CPU 만으로 계산하면 8 대의 컴퓨터를 1 시간 동안 돌려야 할 일을, GPU 를 사용하면 2 대의 컴퓨터로 1 시간 만에 끝낼 수 있습니다.
• 이는 에너지 소비를 획기적으로 줄여주며, 환경에도 좋고 운영 비용도 절감해 줍니다.

6. 결론: 무엇을 얻었나요?

이 연구는 아비닛이라는 과학 도구를 현대적인 GPU 슈퍼컴퓨터에 최적화시켰습니다.

• 핵심 메시지: 단순히 프로그램을 옮기는 것만으로는 부족합니다. 계산하는 방식 (알고리즘) 자체를 GPU 가 좋아하는 형태로 바꿔야 진정한 속도를 낼 수 있습니다.
• 미래: 이제 과학자들은 더 큰 시스템, 더 복잡한 물질을 훨씬 더 빠르고 저렴하게 시뮬레이션할 수 있게 되었습니다.

한 줄 요약:

"수천 개의 전자를 계산하는 거대한 작업을, 수백 명의 배달 기사 (GPU) 가 한 번에 대량으로 처리할 수 있도록 재설계하여, 시간은 줄이고 에너지는 아끼는 새로운 과학 시대의 문을 열었습니다."

기술 요약

논문 요약: Abinit 의 평면파 밀도범함수이론 (DFT) 계산을 위한 GPU 가속화

1. 문제 제기 (Problem)

• 계산의 복잡성: 재료 과학의 양자 수준 시뮬레이션, 특히 평면파 기반 밀도범함수이론 (DFT) 은 수천 개의 전자 상태를 계산해야 하므로 계산 비용이 매우 큽니다. 이는 대규모 행렬 대각화 (Hamiltonian 행렬) 와 푸리에 변환 (FFT) 을 반복적으로 수행해야 함을 의미합니다.
• 하드웨어의 변화: 기존 멀티코어 CPU 아키텍처에 의존하던 HPC 환경이 GPU 가속기를 탑재한 이종 (Heterogeneous) 아키텍처로 진화하고 있습니다.
• 기존 한계: Abinit 코드는 이미 MPI 와 OpenMP 를 활용한 대규모 병렬화를 지원해 왔으나, GPU 를 효과적으로 활용하기 위해서는 단순한 포트 (Porting) 를 넘어 알고리즘적 재구성이 필요했습니다. 특히 반복적 대각화 알고리즘이 GPU 의 높은 병렬 처리 능력을 활용하기 어렵고, 메모리 대역폭 병목 현상이 발생할 수 있었습니다.

2. 방법론 (Methodology)

저자들은 Abinit 코드를 GPU 아키텍처에 최적화하기 위해 다음과 같은 전략을 수립하고 구현했습니다.

• 프로그래밍 모델:

  • OpenMP Offloading: CUDA 나 HIP 와 같은 특정 벤더 라이브러리에 종속되지 않는 이식성 높은 프로그래밍을 위해 OpenMP 5.0 이상 (Target Directive) 을 사용했습니다.
  • 저수준 라이브러리 활용: 벤더 제공 라이브러리 (NVIDIA 의 cuBLAS, cuSOLVER, cuFFT 및 AMD 의 rocBLAS, rocSOLVER, rocFFT) 를 래퍼 (Wrapper) 를 통해 호출하여 최적의 성능을 확보했습니다.

• 알고리즘적 최적화:

  • 배치 처리 (Batch Processing): 개별 전자 밴드 (Band) 단위가 아닌, 여러 밴드를 하나의 배치로 묶어 처리합니다. 이는 GPU 커널 호출 오버헤드를 줄이고 데이터 병렬성을 극대화합니다. 특히 FFT 와 행렬 - 행렬 곱셈 (GEMM) 에서 배치 처리가 핵심입니다.
  • GPU 거주 (GPU-resident) 계산: 파동함수 (Wave function) 를 SCF (Self-Consistent Field) 반복의 시작 시 GPU 로 한 번 전송한 후, 대각화 과정이 끝날 때까지 GPU 메모리에 상주시킵니다. 이는 Host-Device 간 데이터 전송 오버헤드를 최소화합니다.
  • 대각화 알고리즘 비교: 두 가지 주요 반복 대각화 알고리즘을 GPU 환경에 적용 및 비교했습니다.
    1. LOBPCG (Locally Optimal Block Preconditioned Conjugate Gradient): 블록 단위 직교화를 수행하며, 반복 횟수만큼 MPI 통신이 발생합니다.
    2. 체비셰프 다항식 필터링 (Chebyshev Polynomial Filtering): 스펙트럼을 필터링하여 고유벡터를 추출하며, LOBPCG 에 비해 반복 내 MPI 통신 횟수가 적고 연산 밀도 (Arithmetic Intensity) 가 높습니다.

• 메모리 및 통신 최적화:

  • MPI 통신: GPU 인지 MPI (GPU-aware MPI) 를 사용하여 GPU 간 직접 통신을 지원하며, 파동함수의 행/열 분포 (Row/Column distribution) 간 전치 (Transpose) 연산을 효율적으로 처리합니다.
  • 메모리 레이아웃: 파동함수의 메모리 배치 (Waveform layout) 를 최적화하여 FFT 수행 시 메모리 접근 패턴을 개선했습니다.

3. 주요 기여 (Key Contributions)

1. Abinit 의 완전한 GPU 포트: 2009 년 초기 시도 이후, 2 년에 걸쳐 처음부터 다시 작성 (Re-implemented) 된 Abinit v10.6 이상의 GPU 버전 구현.
2. 알고리즘 성능 비교 분석: LOBPCG 와 체비셰프 필터링 알고리즘의 GPU 효율성을 이론적 비용 모델 (FLOP, 통신 비용, 연산 밀도) 과 실제 벤치마크를 통해 심층 비교.
3. 성능 및 에너지 효율 지표 도입: GPU 메모리 대역폭과 연산 밀도를 기반으로 한 성능 분석 (Roofline 모델) 을 적용하여 계산 병목 (Compute-bound) 과 메모리 병목 (Memory-bound) 구간을 식별.
4. 이종 아키텍처 비교: NVIDIA (Ampere, Hopper 계열) 와 AMD (MI250X, MI300) GPU 에 대한 성능 및 에너지 효율 비교 데이터 제공.

4. 결과 (Results)

• 성능 가속화:
  • NVIDIA GPU: 체비셰프 필터링 알고리즘을 사용할 때, 2 개의 GPU 노드가 8 개의 CPU 노드보다 더 빠른 성능을 보여주어 상당한 자원 절감 효과를 입증했습니다.
  • AMD GPU: 성능 향상은 있었으나 NVIDIA 에 비해 Rayleigh-Ritz 단계 (대각화) 에서 가속화 효과가 상대적으로 낮았습니다. 이는 ROCm 라이브러리의 성능 한계와 관련이 있습니다.
• 알고리즘 비교 (LOBPCG vs. 체비셰프):
  • 체비셰프 필터링: Hamiltonian 적용 (FFT 및 GEMM) 을 반복하는 구조로 인해 연산 밀도 (Arithmetic Intensity) 가 높고, GPU 의 계산 능력을 극대화합니다. 또한 정확도를 높이기 위해 다항식 차수를 높여도 성능 저하가 적어 SCF 수렴 속도를 높일 수 있습니다.
  • LOBPCG: 블록 간 직교화 (Orthogonalization) 와 Rayleigh-Ritz 절차가 빈번하게 발생하여 메모리 병목과 통신 오버헤드에 취약합니다. 밴드 수가 많을수록 성능이 저하되는 경향이 있습니다.
• 에너지 효율: NVIDIA GPU 기반 시스템 (Jean Zay) 은 AMD 기반 시스템 (Adastra) 에 비해 더 높은 에너지 절감 효과를 보였습니다. 이는 체비셰프 필터링의 높은 연산 밀도가 GPU 의 전력 효율을 극대화했기 때문입니다.
• Roofline 모델 분석: Hamiltonian 적용 및 필터링 단계는 계산 병목 (Compute-bound) 으로 GPU 가속에 적합하지만, Rayleigh-Ritz 및 직교화 단계는 메모리/통신 병목으로 인해 GPU 성능이 제한됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 대규모 시뮬레이션 가능: GPU 가속을 통해 평면파 DFT 계산의 실행 시간을 획기적으로 단축하여, 더 크고 복잡한 재료 시스템의 시뮬레이션이 가능해졌습니다.
• 알고리즘적 통찰: 단순한 코드 이식이 아닌, GPU 아키텍처에 맞는 알고리즘 (특히 체비셰프 필터링) 의 선택과 최적화가 성능의 핵심임을 증명했습니다.
• 미래 전망: Rayleigh-Ritz 단계의 병목 현상을 해결하기 위해 스펙트럼 슬라이싱 (Spectrum Slicing) 방법론을 도입할 경우, 더 큰 규모의 시스템에 대한 GPU 가속 효율을 더욱 높일 수 있을 것으로 기대됩니다.

이 논문은 Abinit 의 GPU 이주 과정을 체계적으로 문서화했을 뿐만 아니라, HPC 환경에서 DFT 계산을 수행할 때 어떤 알고리즘과 하드웨어 조합이 가장 효율적인지에 대한 실증적인 가이드라인을 제시했다는 점에서 중요한 의의를 가집니다.