Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

본 논문은 계산 단계를 동적으로 스케줄링되는 루프로 추상화하는 MetaWave 플랫폼 내의 통합된 MPI 병렬화 프레임워크를 제시하며, 이를 통해 사이클로부타다이엔, 벤젠, 오존과 같은 복잡한 화학 시스템의 벤치마킹을 위한 대규모 iCIPT2 계산을 수행할 수 있는 높은 효율성과 역량을 입증한다.

핵심

당신은 거대하고 믿을 수 없을 정도로 복잡한 퍼즐을 풀려고 노력 중이라고 상상해 보십시오. 화학의 세계에서 이 퍼즐은 분자의 에너지와 성질을 예측하기 위해 전자가 정확히 어떻게 행동하는지 알아내는 것입니다. 더 정확해지고 싶을수록, 고려해야 할 퍼즐 조각(수학적 구성)의 수는 점점 더 많아집니다. 거대 분자의 경우, 이 조각의 수는 너무나 방대해져서 세계에서 가장 빠른 슈퍼컴퓨터조차 이 모든 것을 메모리에 담거나 합리적인 시간 내에 계산을 끝내는 데 어려움을 겪습니다.

이 논문은 이 퍼즐을 더 빠르고 효율적으로 풀기 위해 "일꾼"(컴퓨터 프로세서)들을 조직하는 새로운 방법을 소개합니다. 여기 그 내용을 쉬운 비유를 들어 설명합니다.

1. 문제점: 너무 많은 일꾼, 너무 많은 혼란

보통 과학자들이 슈퍼컴퓨터를 사용할 때는 작업을 시작하기 전에 특정 컴퓨터(노드)에 특정 작업을 할당합니다. 이것은 마치 건설 현장의 현장 소장이 16개의 서로 다른 팀에게 설계도를 나누어 주며, "너는 지붕을 만들고, 너는 벽을 만들어라"라고 말한 뒤, 그 계획을 영원히 고수하라고 명령하는 것과 같습니다.

문제는 어떤 작업은 10분이 걸리는 반면, 어떤 작업은 10시간이 걸릴 수도 있다는 점입니다. 만약 현장 소장이 사전에 이를 알지 못한다면, 지붕을 만드는 팀은 일찍 끝나서 빈둥거리게 되고, 벽을 만드는 팀은 여전히 고군분투하게 됩니다. 이는 시간과 컴퓨팅 자원을 낭비하게 만듭니다.

2. 해결책: "고스트 프로세스" 관리자

저자들은 MetaWave라고 불리는 스마트하고 역동적인 관리자 역할을 하는 새로운 시스템을 만들었습니다. 고정된 설계도를 나누어 주는 대신, 그들은 **"고스트 프로세스(Ghost Process)"**를 사용합니다.

• 비유: 16명의 요리사(컴퓨터 노드)가 있는 레스토리언 주방을 상상해 보십시오. 각 요리사에게 밤새 특정 요리를 맡기는 대신, 중앙 스테이션에 서 있는 한 명의 "고스트 매니저(Ghost Manager)"가 있습니다.
• 작동 방식: 요리사들은 고스트 매니저에게 "저 한가해요!"라고 말합니다. 그러면 고스트 매니저는 즉시 거대한 작업 더미에서 사용 가능한 다음 주문을 건네줍니다. 요리사가 작업을 마치는 즉시, 그들은 다음 작업을 요청합니다.
• 결과: 어떤 요리사도 다음 작업을 기다리며 빈둥거리지 않으며, 다른 이들이 일을 마쳤는데 혼자서 너무 오래 걸리는 작업에 붙들려 있지도 않습니다. 이는 모든 인원이 100%의 역량으로 일할 수 있게 유지해 줍니다.

3. "만능 번역기" (직렬화)

프로그래밍에서 발생하는 주요 골칫거리 중 하나는 서로 다른 컴퓨터들이 데이터를 보낼 때 서로 다른 "언어"를 사용한다는 점입니다. 어떤 컴퓨터는 데이터를 복잡한 3D 구조로 구성하는 반면, 통신 시스템(MPI)은 평면적이고 단순한 숫자 목록만을 이해할 수 있습니다.

저자들은 만능 번역기(직렬화 모듈)를 구축했습니다.

• 비유: 친구에게 분해된 복잡한 이케아 선반을 택배로 보내려고 한다고 상상해 보십시오. 단순히 나사와 판재를 상자에 던져 넣을 수는 없습니다. 그것들이 길을 잃거나 잘못된 순서로 도착할 수 있기 때문입니다.
• 해결책: 저자들은 복잡한 선반을 자동으로 가져와서, 완벽하게 정돈된 평면 상자(직렬화)에 담아 보내고, 반대편에서 자동으로 이를 풀어 원래 모습 그대로 재조립하는(역직렬화) 시스템을 만들었습니다. 이를 통해 그들의 복잡한 소프트웨어가 표준 슈퍼컴퓨터와 문제없이 통신할 수 있게 되었습니다.

4. 시연: iCIPT2 (스마트 탐색기)

그들의 시스템이 작동함을 증명하기 위해, 그들은 iCIPT2라고 불리는 방법으로 테스트를 진행했습니다.

• 비유: 수십억 개의 거리로 이루어진 도시에서 최적의 경로를 찾는다고 상상해 보십시오. "브루트 포스(무차별 대입)" 방식은 모든 거리를 일일이 확인하므로 시간이 너무 오래 걸립니다. iC립T2는 막다른 길은 무시하고 가장 유망한 거리만을 먼저 확인하는 스마트한 GPS와 같습니다.
• 혁신: 그들은 행렬-벡터 곱(matrix-vector products) 사이의 연결을 찾는 방식과, "세미 스토캐스틱(semi-stochastic, 결정론적 계산과 스마트한 추측의 혼합)" 방법을 사용하여 남은 거리를 추정하는 방식을 개선했습니다.

5. 결과: 속도와 규모

이 새로운 "고스트 매니저"와 "만능 번역기"를 사용하여, 그들은 인상적인 결과를 달 achieved 했습니다.

• 효율성: 1,024개의 코어(16개 노드)를 갖춘 슈퍼컴퓨터에서, 그들의 시스템은 가장 어려운 계산 부분에서 94%의 효율성을 달성했습니다. 이는 거의 모든 프로세서가 대기 시간 없이 유용한 작업을 수행했음을 의미합니다.
• 새로운 벤치마크: 시스템이 매우 빠르기 때문에, 그들은 이전에 불가능했던 퍼즐을 풀 수 있었습니다. 그들은 벤젠(흔한 고리 모양 분자)과 오존 분자의 에너지를 과학계의 새로운 표준이 될 수준의 정확도로 계산해 냈습니다.
• "거듭제곱 법칙" 발견: 그들은 흥미로운 패턴을 발견했습니다. 퍼즐 조각(구성)을 더 많이 추가할수록, 정답의 오차가 예측 가능한 수학적 방식(거듭제곱 법칙)으로 감소한다는 것입니다. 이는 컴퓨팅 파워를 계속 추가한다면 완벽한 정답에 계속해서 더 가까워질 수 있음을 시사합니다.

요약

요컨대, 저자들은 단순히 더 빠른 계산기를 발명한 것이 아니라, 계산기를 운용하는 더 나은 방법을 발명했습니다. 실시간으로 작업을 할당하는 역동적인 "고스트 매니저"와 컴퓨터 간에 데이터를 매끄럽게 이동시키는 "만능 번역기"를 사용하여, 그들은 최고의 슈퍼컴퓨터로도 너무 커서 해결할 수 없었던 매우 어려운 화학 문제들을 풀 수 있게 만들었습니다. 그들은 사이클로부타디엔, 벤젠, 오존의 에너지 퍼즐을 기록적인 속도와 정확도로 해결함으로써 이를 입증했습니다.

기술 요약

기술 요약: 파동 함수 방법의 통합 MPI 병렬화

문제 정의
양자 화학 방법론과 고성능 컴퓨팅의 통합은 적절한 정확도를 가진 대규모 시스템 또는 높은 정확도를 가진 소규모 시스템을 다루는 데 필수적입니다. 기존의 MetaWave 플랫폼은 고급 템플릿 메타프로그래밍을 사용하여 비상대론적 및 상대론적 파동 함수 방법을 통합 구현하는 데 성공했으나, 이러한 방법들은 통합되고 확장 가능한 병렬화 전략이 부족했습니다. 파동 함수 방법(예: sCI, HBCI)을 위한 기존의 대규모 병렬화 노력은 일반적으로 특정 방법에 국한되어 있으며, 전이성이 부족하고 이기종 클러스터에서의 부하 균형(load balancing) 조절에 어려움을 겪습니다. 또한, 거대한 변분 공간(variational spaces)을 처리하기 위해서는 메모리 사용량과 통신 오버헤드를 피할 수 있는 효율적인 행렬-벡터 곱(MVP) 및 섭동 보정 알고리즘이 필요합니다.

방법론
저자들은 MetaWave 플랫폼 내에서 파동 함수 방법을 위한 통합 메시지 전달 인터페이스(MPI) 병렬화 전략을 제안합니다. 핵심 방법론은 세 가지 주요 기술적 축으로 구성됩니다:

1. 고스트 프로세스(Ghost Processes)를 통한 알고리즘 추상화:
   모든 계산 단계(예: 선택, 대각화, 섭동)는 동적으로 스케줄링되는 루프로 추상화됩니다. 작업 비용에 대한 사전 지식 없이 분산 노드 간의 부하 균형을 달기 위해, 저자들은 "고스트 프로세스" 메커니ism을 도입했습니다. $N$개의 노드로 구성된 클러스터에서, $N$개의 워커 프로세스는 내부적으로 OpenMP를 사용하여 실제 계산을 수행하며, 하나 이상의 고스트 프로세스는 작업 큐를 관리합니다. 고스트 프로세스는 워커에게 작업 청크를 동적으로 배분하고 결과를 수집함으로써, 스케줄링 로직을 핵심 알고리즘으로부터 분리합니다. 이를 통해 단일 MPI 템플릿을 서로 다른 방법 및 단계에 적용할 수 있습니다.

2. 통합 직렬화/역직렬화(Unified Serialization/Deserialization):
   MetaWave에서 해밀토니안(Hamiltonian) 및 파동 함수를 위해 사용하는 복잡한 C++ 객체와 C 기반 MPI 인터페이스에 필요한 평탄한 데이터 버퍼 사이의 간극을 메우기 위해, 저자들은 자동 직렬화/역직렬화 모듈을 개발했습니다. 이 모듈은 멤버 등록, 힙 메모리 메타데이터 및 범용 MPI 인터페이스를 처리하여, 최소한의 코드 수정만으로 복잡한 객체를 노드 간에 원활하게 전송할 수 있게 합니다.

3. 대규모 공간을 위한 알고리즘 개선 (iCIPT2 쇼케이스):
   이 전략은 반복적 구성 상호작용 및 2차 섭동 보정(iCIPT2) 방법을 사용하여 입증되었습니다. 주요 알고리즘 수정 사항은 다음과 같습니다:

• 잔차 기반 연결 탐색(Residue-Based Connection Search): 전체 해밀토니안 행렬을 저장하거나 (ASCI 또는 HBCI처럼) 잔차를 실시간으로 재생성하는 대신, 이 방법은 사전 계산된 1차 및 2차 잔차를 사용하여 궤도 구성(oCFG) 간의 연결을 효율적으로 식별합니다.
• 온더플라이(On-the-Fly) MVP: 희소 해밀토니안 행렬을 저장하는 것을 피하기 위해 직접 행렬-벡터 곱 구현을 사용합니다. 단일 공간($S$)을 도입하여 단일 및 이중 연결을 하나의 루프 내에서 별도로 생성함으로써 글로벌 중복 제거를 방지합니다.
• 준확률적(Semi-Stochastic) ENPT2: 전체 공간을 저장하는 것이 불가능한 극도로 큰 변분 공간의 경우, 수정된 준확률적 추정기가 사용됩니다. 공간은 모든 노드에 저장되는 생성기($P_m$)와 그 보충 공간($P_s$)으로 분할됩니다. 보정은 $P_m$에 대한 결정론적 부분과 차이에 대한 확률적 부분으로 계산되며, 분산을 줄이기 위해 특정 편향되지 않은 추정기를 활용합니다.

주요 기여

• 통합 MPI 템플릿: 본 논문은 기존의 OpenMP 병렬화 코드를 최소한의 수정만으로 하이브리드 MPI-OpenMP 버전으로 변환하는 일반적인 MPI 알고리즘 템플릿을 제시합니다. 이 템플릿은 동적 스케줄링 및 글로벌 리덕션(global reduction)을 위해 고스트 프로세스 메커니즘에 의존합니다.
• 고스트 프로세스 아키텍처: 정밀한 비용 추정이 필요하지 않으며, 이기종 환경에 적응할 수 있는 가볍고 효과적인 노드 간 부하 균형 메커니즘입니다.
• 확장 가능한 iCIPT2 구현: 잔차 기반 연결 탐색 및 준확별적 섭동 이론의 통합을 통해, iCIPT2는 수천만 개의 구성 상태 함수(CSF)와 약 $10^{13}$개의 CSF를 포함하는 1차 상호작용 공간(FOIS)을 가진 대규모 변분 공간을 다룰 수 있습니다.
• 데이터 관리: 복잡한 C++ 데이터 구조를 분산 메모리 환경에서 전송할 수 있게 하는 견고한 직렬화 계층을 제공합니다.

결과
저자들은 사이클로부타디엔(cyclobutadiene), 벤젠(benzene), 오존(ozone) 시스템을 포함한 시스템에 대해 iCIPT2를 사용하여 프레임워크를 검증하였으며, 최대 16개 노드(1024 코어)를 활용하였습니다.

• 병렬 효율성: 섭동 단계는 94%의 병렬 효율을 달성하였고, 전체 계산은 16개 노드에서 89%를 달성하였습니다. 이는 정적 스케줄링 방식(예: 16개 노드에서 81%의 전체 효율을 보인 HBCI)보다 크게 우수한 성능입니다.
• 벤치마킹:
  • 사이클로부타디엔: 자동 이성질체화 장벽(automerization barrier)은 8.91 kcal/mol로 계산되었으며, 이는 CCSDTQ 벤치마크(8.93 kcal/mol)와 매우 잘 일치합니다.
  • 벤젠: cc-pVDZ 및 cc-pVTZ 기저 집합에 대한 바닥 상태 에너지를 계산하였습니다. cc-pVTZ에 대한 외삽된 상관 에너지(extrapolated correlation energy)는 약 -1034.0 mEh로 나타났으며, 이는 AFQMC 결과와 일치하고 CCSD(T) 추정치보다 낮습니다.
  • 오존: 완전 기저 집합(CBS) 한계로 외삽한 후의 다양한 정지점(stationary points)에 대한 반응 장벽 및 에너지 차이는 NN-LAVA 결과와 0.02 eV 이내로 일치하였습니다.
• 스케일링 법칙: 에너지 오차($\Delta E$)와 CSF 수($N_{CSF}$) 사이의 관계 분석은 거듭제곱 법칙($\Delta E \propto N_{CSF}^{\alpha}$)을 드러냈습니다. 스케일링 지수는 시스템과 기저 집합에 따라 달랐으며(예: cc-pVDZ 및 cc-pVTZ를 사용한 벤젠의 경우 각각 -0.24 및 -0.18), 이는 iCIPT2가 일부 신경망 기반 접근 방식(예: NN-LAVA)보다 수렴 속도는 느리지만 체계적인 정확도 경로를 제공함을 나타냅니다.

의의 및 주장
본 논문은 이 연구가 파동 함수 방법론을 병렬화하기 위한 통합적이고 확장 가능한 프레임워크를 구축하며, 방법별로 특화된 병렬화 전략의 한계를 극복한다고 주장합니다. 계산 단계를 동적으로 스케줄링되는 루프로 추상화함으로써, 저자들은 기존의 OpenMP 코드를 최소한의 노력으로 대규모 분산 시스템으로 확장할 수 있게 했습니다. iCIPT2에 대한 성공적인 적용은 메모리와 확장성 제약으로 인해 접근이 불가능했던 대규모 활성 공간 계산이 이제 가능하다는 것을 보여줍니다. 저자들은 현재 구현이 각 노드에 CI 벡터를 복제한다는 점(메모리 병목 현상)을 언급하였으나, 이 통합 템플릿은 메모리 제한을 완전히 제거하기 위해 벡터의 노드 간 분산을 지원하는 향후 발전을 용이하도록 설계되었습니다. 또한, 이 연구는 iCIPT2 오차의 거듭제곱 법칙 스케일링의 유용성을 강조하며, 대규모 계산에서 예측 가능한 수렴 지표를 제공합니다.