Solvers for the Hermitian and the pseudo-Hermitian Bethe-Salpeter equation in the Yambo code: Implementation and Performance

기술 요약: Yambo 코드 내 헤르미트(Hermitian) 및 유사-헤르미트(Pseudo-Hermitian) 베테-살테르 방정식(Bethe-Salpeter Equation)을 위한 솔버

문제 정의
베테-살테르 방정식(BSE)은 응집 물질 물리학에서 중성 들뜸(neutral excitations) 및 광학적 특성을 계산하기 위한 최첨단 제일원리 접근법이다. 그러나 BSE 고유값 문제를 해결하는 것은, 특히 시스템 크기가 증가함에 따라 상당한 계산적 난제를 제기한다. BSE 행렬은 종종 $N \approx 10^5$에 달하는 차원을 가지며, 조밀하고 구조화되어 있다. 탐 댄코프 근사(Tamm-Dancoff approximation, TDA)는 이 문제를 헤르미트 고유값 문제로 축소시키지만, 많은 물리적 사례(예: 자성 물질, 시간 역전 대칭성이 없는 시스템)에서는 전체 유사-헤르미트 정식화가 필요하다. 이 전체 형태는 비-헤르미트(non-Hermitian) 구조를 가진 행렬을 포함하며, 이는 대각화를 위해 계산적으로 더 많은 요구를 한다. 또한, 행렬 생성은 고성능 컴퓨팅(HPC) 환경에 최적화되었으나, 솔버 단계는 역사적으로 병목 현상이 되어 왔으며, 특히 고유벡터(엑시톤 파동함수)가 필요한 경우 더욱 그러하다. 표준 반복 솔버들은 전체 BSE 행렬의 특정 구조를 다루는 데 어려움을 겪는 경우가 많으며, 직접 대각화는 $O(N^3)$의 복잡도를 가지므로 대규모 시스템에서는 실행이 불가능해진다.

방법론
본 연구는 Yambo 코드 내에서 BSE 고유값 문제를 해결하기 위해 확립된 선형 대수 라이브러리와 인터페이스하는 두 가지 뚜렷한 전략을 분석하고 구현한다:

1. 직접 대각화(Direct Diagonalization): 저자들은 Yambo를 ScaLAPACK 및 ELPA 라이브러리와 인터페이스한다. 전체 유사-헤르미트 케이스(결합 항이 0이 아닌 경우)를 위해, 그들은 문제를 실제 왜 대칭(real skew-symmetric) 고유값 문제로 변환하는 특화된 알고리즘을 구현한다. 이는 실수 대칭 행렬 $M_r$을 구성하고, 원래의 해밀토니안 $H_{2p}$를 표준 헤르미트 또는 왜 대칭 솔버에 의해 해결 가능한 형태로 매핑하는 유니터리 변환을 활용하는 것을 포함한다. 이 접근 방식은 일반적인 비-헤르미트 솔버의 계산 비용을 피한다.
2. 반복 솔버(Iterative Solver): 저자들은 SLEPc 라이브러리를 사용하는 반복적 접근 방식을 구현한다. 그들은 유사-헤르미트 행렬을 위해 설계된 구조 보존 란초스 반복(특히 Shao 방법)을 활용한다. 두 가지 분포 방식이 테스트되었다:
   • Shell 접근 방식: 명시적인 행렬 재분배 없이 Yambo의 기존 병렬 구조를 재사용하여 메모리를 최소화하지만, GPU 지원이 부족하다.
   • Explicit 접근 방식: Yambo의 블록 순환 레이아웃에서 SLEPc의 표준 1D 행 단위 분할로 BSE 행렬을 재분배하여, CUDA/HIP를 통한 GPU 가속을 가능하게 한다.

이 솔버들의 성능은 CPU (ISM-CNR 클러스터) 및 GPU (Leonardo Booster) 아키텍처 모두에서 평가된다. 연구는 세 가지 행렬 크기($N \approx 10^4$, $3 \cdot 10^4$, $10^5$)를 고려하며, 헤르미트(TDA), 비-헤르미트, 그리고 유사-헤르미트 알고리즘 구현을 비교한다.

주요 기여

• 유사-헤르미트 솔버 구현: 본 논문은 전체 BSE 행렬의 유사-헤르미트 구조를 활용하는 특화된 솔버의 구현을 상세히 설명한다. 이를 통해 일반적인 비-헤르미트 솔버 대신 효율적인 실수 왜 대칭 또는 헤르미트-정치(Hermitian-definite) 솔버를 사용할 수 있다.
• 라이브러리 통합: 본 작업은 결합 케이스에 필요한 특정 대각화 루틴을 처리하는 새로운 라이브러리(Lumen fork)를 포함하여, Yambo와 ScaLAPACK, ELPA, SLEPc 사이의 견고한 인터페이스를 구축한다.
• GPU 포팅: 저자들은 반복 솔버(SLEPc explicit)와 대각화 솔버(ELPA)를 GPU 아키텍처로 성공적으로 포팅하였으며, NVIDIA A100 GPU에서의 실현 가능성을 입증하였다.
• 성능 벤치마킹: 다양한 행렬 크기와 아키텍처에 대해 시간 복잡도, 강한 스케일링(strong scaling), 메모리 활용도에 대한 종합적인 벤치마크를 제공한다.

결과

• 알고리즘 효율성: 새로운 유사-헤리트(PH) 알고리즘은 표준 비-헤르미트(NH) 접근 방식보다 크게 앞선다. 반복 솔버(SLEPc)의 경우, PH 구현은 개선된 스케일링 지수(이상적인 $O(N^2)$에 더 가까움) 덕분에 NH 방식에 비해 5~6배의 속도 향상을 보인다. 직접 대각화의 경우에도 PH 접근 방식은 NH 방식보다 약 5배 빠른 성능을 보인다.
• 스케일링 동작:
  • CPU: ELPA는 결합 케이스에 대해 ScaLAPACK보다 일관되게 우수한 스케일링과 효율성을 보여준다. ELPA의 병렬화 계수($p$)는 이상적인 $-1$에 근접하는 반면($-0.8$에서$-0.9$ 사이의 값), ScaLAPACK과 SLEPc는 더 낮은 효율성($p \approx -0.6$에서 $-0.7$)을 보인다.
  • GPU: SLEPC는 소-중형 행렬에 대해 ELPA보다 수 차례 더 빠르지만, 메모리 오버헤드와 데이터 전송에 의해 제한된다. ELPA는 결합 케이스에 대해 GPU에서 우수한 스케일링을 보여주며, 매우 큰 코어 수에서만 효율성이 정체된다.
• 메모리 사용량: 반복 솔버(SLEPc)는 일반적으로 직접 대각화보다 적은 메모리를 요구한다. 그러나 explicit SLEPc 접근 방식은 직렬 실행에서 병렬 실행으로 전환할 때 상당한 병렬 오버헤드 메모리 비용을 발생시킨다. SLEPc의 유사-헤르미트 구현은 비-헤르미트 버전에 비해 메모리 효율성을 개선하는 반면, 대각화 케이스는 NH에 비해 PH에서 약간의 메모리 사용량 증가를 보인다.
• 실현 가능성: 결과는 충분한 MPI 태스크와 메모리 자원이 확보된다면 $10^5$ 차수의 조밀한 BSE 행렬을 효과적으로 다룰 수 있음을 입증한다.

의의 및 주장
저자들은 자신들의 작업이 대규모 행렬에 대한 결정적인 장벽인 "솔버 장벽(solver barrier)"을 제거했다고 주장한다. 유사-헤르미트 구조를 활용함으로써, 그들은 전체 결합 BSE 행의 해결을 공명(resonant, TDA) 근사에 가깝게 효율적으로 만들었다. 이는 TDA가 불충분한 복잡한 시스템(예: 자성 물질, 2D 이종 구조)에서 엑시톤 효과를 연구할 수 있게 한다.

본 논문은 행렬 생성이 상당한 최적화를 이루었음에도 불구하고, 솔버 단계가 고유벡터를 추출하는 데 있어 제한 요소가 되고 있음을 강조한다. 저자들은 외부의 고도로 최적화된 라이브러리(ELPA, ScaLAPACK, SLEPc)를 사용하는 것이 BSE 솔버를 위한 유효하고 효과적인 전략임을 주장하며, 이는 맞춤형 반복 솔버를 선호하는 DFT와 대조된다. 성공적인 GPU 포팅과 $N \approx 10^5$ 행렬을 처리하는 시연은, 이제 코드가 이전에는 계산적으로 불가능했던 대규모 광학 특성 시뮬레이션을 다룰 수 있음을 시사한다. 본 작업은 가장 큰 시스템(1 TB를 초과할 수 있음)에 대한 메모리 저장 문제를 해결한다고 주장하는 것이 아니라, 이러한 규모에서도 대각화 단계를 효율적으로 수행할 수 있음을 입증하는 것이다.