cuGUGA: Operator-Direct Graphical Unitary Group Approach Accelerated with CUDA

본 논문은 상수 시간 알고리즘과 맞춤형 CUDA 커널을 활용하여 소규모에서 중규모 활성 공간에 대해 기존의 CPU 및 PySCF 구현체보다 상당한 속도 향상을 달면서도 높은 수치적 정확도를 유지하는, 고성능 GPU 가속 연산자 직접 그래픽 유니터리 그룹 접근법(GUGA) 구성 상호작용 솔버인 cuGUGA를 소개한다.

핵심

당신은 복잡한 분자가 어떻게 행동하는지 예측하려고 노력하고 있다고 상상해 보십시오. 이를 정확하게 수행하려면, 특히 전자들이 "얽혀 있거나(entangled)" 이상하게 행동할 때, 구성 상호작용(Configuration Interaction, CI) 문제라고 불리는 거대한 수학 퍼즐을 풀어야 합니다.

이 퍼즐을 거대한 미로라고 생각하십시오. 전자들이 배치될 수 있는 모든 가능한 방법은 미로 속의 서로 다른 경로가 됩니다. 전자와 오비탈(orbital)이 많아질수록 미로는 더 커지며, 너무 커져서 슈퍼컴퓨터로도 모든 경로를 하나씩 확인하는 데 수년이 걸릴 수도 있습니다.

이 논문은 이 미로를 훨씬 더 빠르게 해결하기 위해 설계된 새로운 도구인 cuGUGA를 소개합니다. 특히 그래픽 카드(GPU)를 사용하여 힘든 작업을 처리하도록 설계되었습니다.

이것이 어떻게 작동하는지, 간단한 개념별로 나누어 설명하겠습니다:

1. 지도 vs 목록 (그래프 접근 방식)

전통적인 방식은 종종 전자의 모든 가능한 배치 상태를 나열하려고 시도합니다(마치 도시의 모든 주소를 일일이 적는 것과 같습니다). 이는 느리고 메모리를 낭비합니다.

cuGUGA는 **그래픽 유니타리 그룹 접근법(Graphical Unitary Group Approach, GUGA)**을 사용합니다. 긴 목록 대신, 플로우차트(Shavitt 그래프 또는 DRT라고 불림)를 사용합니다.

• 비유: '당신의 선택에 따라 결말이 달라지는 모험 소설(choose-your-own-adventure book)'을 상상해 보세요. 모든 이야기의 결말을 거대한 목록으로 적는 대신, 선택의 경로가 담긴 지도를 만드는 것입니다. 당신은 오직 가능한 경로만을 따라 걷게 됩니다.
• 이점: 이 "지도"는 매우 희소합니다(빈 공간이 많습니다). cuGUGA는 불가능한 경로를 전혀 쳐다보지 않고도 어떻게 유효한 다음 경로로 점프해야 하는지 정확히 알고 있습니다.

2. "즉석 번역기" (룩업 테이블)

예전에는 컴퓨터가 미로 속의 한 단계를 알고 싶을 때마다, 실시간으로 복잡한 계산(미니 수학 문제를 푸는 것과 같은)을 수행해야 했습니다. 이는 느립니다.

cuGUGA는 **사전 표기된 인자(pre-tabulated factors)**를 사용합니다.

• 비유: 보드게임을 하고 있다고 상상해 보세요. 주사위를 던질 때마다 6이 나올 확률을 매번 계산하는 대신, "6이 나오면 3칸 이동"이라고 적힌 치트 시트를 가지고 있는 것입니다.
• 이점: 컴퓨터는 계산하지 않고, 미리 만들어진 표에서 답을 찾아보기만 합니다. 이는 "상수 시간(constant time)"에 발생하며, 즉 표의 크기가 작든 크든 상관없이 항상 똑같이 빠른 속도로 이루어집니다.

3. "조립 라인" (작업의 분리)

계산에서 가장 어려운 부분은 전자 배치와 그들 사이의 힘(적분, integrals)을 곱하는 것입니다.

• 옛날 방식: 컴퓨터는 "경로 찾기(걷기)"와 "수학 계산(힘 곱하기)"을 모두 섞어서 수행하려 했습니다. 이는 요리사가 채소를 썰면서 동시에 냄비를 젓고 설거지까지 하는 것과 같습니다.
• cuGUGA 방식: 이 작업은 두 개의 뚜렷한 단계로 나뉩니다:
  1. 열거(Enumeration): 모든 유효한 경로를 빠르게 찾는 과정 ( "채소 썰기")
  2. 수축(Contraction): 해당 경로들에 대해 무거운 수학 곱셈을 수행하는 과정 ("냄비 젓기")
• 이점: 이러한 분리는 컴퓨터가 각 작업에 가장 적합한 도구를 사용할 수 있게 해줍니다. "채소 썰기"는 맞춤형 특수 코드로 수행되는 반면, "냄비 젓기"(무거운 수학 계산)는 GPU가 자랑하는 강력하고 이미 만들어진 라이브러리로 전달됩니다.

4. GPU의 초능력

GPU(논문에서 언급된 NVIDIA RTX 4090 같은 모델)는 수천 명의 작은 일꾼들이 모인 군단과 같습니다. 이들은 동일한 단순 수학 작업을 반복하여 병렬로 처리하는 데는 매우 뛰어나지만, 모든 일꾼이 서로 다른 일을 하거나 명령을 기다려야 하면 혼란에 빠집니다.

• 과제: "미로 걷기" 부분은 매우 불규칙합니다(어떤 경로는 길고, 어떤 경로는 짧으며, 어떤 경로는 중간에 끊깁니다). 이는 보통 GPU를 혼란스럽게 만듭니다.
• cuGUGA의 해결책: 저자들은 이러한 불규칙한 경로들을 깔끔한 배치(batch)로 정리하는 맞춤형 코드를 작성했습니다. 이들은 "Count-Scan-Write" 전략을 사용합니다:
  1. Count (계수): 모든 일꾼에게 "당신은 몇 개의 결과를 만들어낼 것입니까?"라고 묻습니다.
  2. Scan (스캔): 각 일꾼이 서로 부딪히지 않고 자신의 결과를 메모리의 정확히 어느 위치에 넣어야 할지 결정합니다.
  3. Write (쓰기): 모두가 동시에 자신의 결과를 기록합니다.
• 결과: 이 방식은 무질서하고 불규칙한 작업을 매끄럽고 고속인 조립 라인으로 탈바꿈시킵니다.

결과: 얼마나 빠른가?

저자들은 표준 소비자용 그래픽 카드(RTX 4090)에서 테스트를 진행했으며, 이를 다음 세 가지와 비교했습니다:

1. 표준 CPU 코드 ("옛날" 방식)
2. 다른 유명한 화학 소프트웨어 (PySCF)

• 정확도: 기존의 최선책들과 거의 동일한 정확도를 보입니다 (차이가 원자 하나의 무게보다 작습니다).
• 속도:
  • 중소규모 분자 문제의 경우, GPU 버전은 CPU 버전보다 약 10배 더 빠릅니다.
  • 인기 있는 PySCF 소프트웨어와 비교했을 때, cuGUGA는 CPU만 사용했을 때 2~4배 더 빠르며, 작은 활성 공간(active spaces)에 대해 GPU를 사용할 경우 최대 40배까지 더 빠릅니다.
  • 주의점: 분자 문제가 매우 거대해질수록 속도 이점이 줄어듭니다. 이는 "무거운 수학 계산" 부분(거대한 행렬을 곱하는 작업)이 병목 현상이 되며, 소비자용 그래픽 카드가 특정 유형의 수학 계산에서 전문 데이터 센터용 슈퍼컴퓨터만큼 강력하지 않기 때문입니다.

요약

cuGUGA는 복잡한 전자 퍼즐을 풀기 위해 고도로 최적화된 새로운 엔진입니다. 이 도구는 긴 목록 대신 스마트한 지도를 사용하고, 즉각적인 답변을 위한 미리 만들어진 치트 시트를 활용하며, 현대 그래픽 카드의 힘을 끌어내기 위해 특화된 조립 라인을 사용합니다. 이를 통해 과학자들은 이전보다 훨씬 빠르게 문제를 해결할 수 있으며, 복잡한 화학 시뮬레이션을 더욱 쉽게 접근 가능하게 만듭니다.

기술 요약

기술 요약: CUDA로 가속화된 연산자 직접 방식의 그래픽 유니타리 그룹 접근법 (cuGUGA)

문제 정의
강하게 상관된 분자(strongly correlated molecules)에 대한 정확한 전자 구조 예측은 종종 다중 참조 처리(multireference treatments), 구체적으로는 완전 활성 공간 자기 일관적 장(Complete Active Space Self-Consistent Field, CASSCF) 방법을 필요로 합니다. 이러한 방법들은 선택된 활성 궤도 부공간 내에서 완전 구성 상호작용(Full Configuration Interaction, FCI) 문제를 해결하는 과정을 포함합니다. CASSCF 매크로 반복(macro-iterations)에서의 계산 병목 현상은 데이비드슨(Davidson)과 같은 반복적 고유값 솔버에 필요한 행렬-벡터 곱(즉, "$\sigma$-벡터", $\sigma = Hc$)의 반복적인 평가입니다.

스핀 적응형 구성 상태 함수(Configuration State Function, CSF) 기저(그래픽 유니타리 그룹 접근법, GUGA를 통해)에서 작업하면 슬레이터 결정(Slater determinant) 기저에 비해 문제의 차원을 줄이고 스핀 순수성을 강제할 수 있지만, 실제 구현에서는 어려움이 따릅니다. 기존 코드들은 해밀토니안 결합을 처리하기 위해 가장 안쪽 루프 내에서 결정 중간체(determinant intermediates)나 대규모 캐시 객체를 도입하곤 합니다. 이러한 접근 방식은 CSF 결합의 미세한 희소성(sparsity)을 가리고, 포인터가 많은 로직이나 불규칙한 그래프 탐색을 수행하는 현대적 하드웨어(특히 GPU)에서의 효율적인 실행을 방해합니다.

방법론
본 논문은 희소한 결합 열거(coupling enumeration)와 적분 수축(integral contraction)을 명확히 분리하여 CPU 및 GPU 아키텍처 모두에 효율적인 매핑이 가능하도록 설계된 연산자 직접 방식(operator-direct) GUGA CI 솔버인 cuGUGA를 소개합니다.

1. 연산자 직접 방식(Operator-Direct Formulation):
   해밀토니안 행렬을 명시적으로 형성하는 대신, cuGUGA는 스핀 자유 생성자($E_{pq}$)를 CSF에 직접 적용함으로써 $\sigma = Hc$를 계산합니다. 이러한 생성자의 작용은 희소하며, 주어진 CSF $|\Phi_j\rangle$에 대해 $E_{pq}|\Phi_j\rangle$는 연결된 소수의 CSF들의 선형 결합을 생성합니다.

2. DRT 표현 및 인덱싱:
   CSF 공간은 샤빗 그래프(Shavitt graph) 또는 방향성 행 테이블(Directed Row Table, DRT)로 알려진 계층적 유향 비순환 그래프(DAG)로 표현됩니다.

• 랭킹/언랭킹(Ranking/Unranking): 동적 계획법(DP)을 사용하여 DRT 상의 접미사 워크 카운트($W(v)$)와 접두사 합($\Pi(v, d)$)을 계산합니다. 이를 통해 CSF 인덱스와 그에 대응하는 그래프 상의 단계 시퀀스(walks) 간의 상수 시간 변환이 가능합니다.
• 세그먼트 워크(Segment-Walks): 연결된 CSF를 찾기 위해 코드는 세그먼트 워크 탐색을 수행합니다. 이는 생성자 $E_{pq}$에 의해 정의된 특정 궤도 구간 $[p_<, p_>]$ 내에서 단계(step)의 유효한 치환을 탐색하며, DRT 유효성을 보장하기 위해 경계 노드(boundary nodes)에 의해 제약됩니다.

3. 상수 시간 결합 평가:
   국소 결합 계수(segment factors)는 2단계 룩업 테이블(LUT) 전략을 사용하여 상수 시간에 평가됩니다. 유한한 케이스 맵(case map)이 국소 패턴을 압축된 케이스 ID에 할당하고, 이 ID는 로컬 스핀 라벨에 기반하여 사전 표기된 배열을 인덱싱합니다. 이는 핫 루프(hot loop) 동안의 복잡한 분기 로직을 제거합니다.

4. 중간 가중치 공식화(Intermediate-Weight Formulation):
   2-전자 기여도를 위해, 본 방법은 중간 가중치 분해를 채택합니다. 먼저 단일 생성자($E_{rs}$)의 작용에 대한 희소 계수를 열거한 다음, 이를 2-전자 적분과 수축시켜 유효 가중치($g^{(\mu j)}_{pq}$)를 형성합니다. 이는 희소한 CSF 열거와 조밀한 적분 수축을 분리합니다.

• 백엔드(Backends): 구현은 조밀한 4-인덱스 적분과 밀도 피팅(Density-Fitted, DF) 또는 숄레스키 인수 분해(Cholesky-factorized) 표현을 모두 지원합니다. DF/Cholesky 백엔드는 수축 과정을 희소/조밀 행렬 곱 및 조밀/조밀 행렬 곱(GEMM/SpMM)으로 축소합니다.

5. GPU 가속 전략:
   불규칙한 DRT 탐색을 GPU의 SIMT(Single Instruction, Multiple Threads) 아키텍처에 적응시키기 위해 다음을 수행합니다:

• 데이터 레이아웃: 포인터 추적을 제거하고 병합된 메모리 액세스(coalesced memory access)를 가능하게 하기 위해 DRT 테이블과 노드 라벨을 연속적인 디바이스 배열로 저장합니다.
• Count-Scan-Write: 세그먼트 워크가 가변적인 수의 이웃을 생성하므로, 동적 할당 없이 출력 버퍼를 채우기 위해 3-패스 커널 전략(count, exclusive scan for offsets, write)을 사용합니다.
• 배칭(Batching): 특히 2-전자 수축 단계에서 산술 강도(arithmetic intensity)를 극대화하기 위해 블록 단위로 해밀토니안을 적용합니다.
• 정밀도: 모든 수축과 고유값 업데이트는 배정밀도(FP64)로 수행됩니다.

주요 기여

• 최초의 연산자 직접 방식 GUGA GPU 솔버: cuGUGA는 불규칙한 그래프 탐색과 누적이 커스텀 CUDA 커널에 의해 처리되는 완전한 CSF-직접 솔버를 구현하며, 조밀한 수축은 최적화된 CUDA 라이브러리(cuBLAS, cuSPARSE)에 위임합니다.
• 하드웨어 불가지론적 프리미티브(Hardware-Agnostic Primitives): 핵심 수학적 공식은 희소 열거 로직을 밀집 적분 백엔드와 분리하여, 동일한 프리미티브가 CPU와 GPU 모두에서 효율적으로 실행될 수 있도록 합니다.
• 성능 최적화: 사전 표기된 세그먼트 팩터와 평탄화된 DRT 테이블의 사용은 GPU에서의 워프 분기(warp divergence)와 메모리 지연 시간을 최소화합니다.

결과
구현 결과는 Intel Core i7-14700K CPU와 NVIDIA GeForce RTX 4090 GPU에서 벤치마크되었습니다.

• 정확도: 솔버는 $10^{-11}$ $E_h$ 수준에서 참조 에너지(reference energies)를 재현합니다. CPU와 GPU 백엔드 간의 비교에서 $\sigma$-벡터가 $10^{-14}$까지 일치함을 보였으며, 실행 간 분산(run-to-run dispersion)은 무시할 만한 수준($< 10^{-13}$)입니다.
• CPU 성능: cuGUGA CPU 백엔드는 대표적인 CASCI 커널에 대해 PySCF의 결정(determinant) 백엔드보다 $\gtrsim 2\times$ 빠르고, PySCF의 CSF 백엔드보다 $\gtrsim 4\times$ 빠른 속도를 제공합니다.
• GPU 성능: RTX 4090에서 GPU 백엔드는 작은 활성 공간에 대해 cuGUGA CPU 백엔드 대비 최대 $\sim 10\times$의 가속을 제공합니다. 대표적인 시스템의 경우, 이는 PySCF(DET) 대비 $20\times$ 이상, PySCF(CSF) 대비 $40\times$ 이상의 전체 속도 향상으로 이어집니다.
• 스케일링 동작: 활성 공간이 커짐에 따라 속도 향상 폭이 감소합니다. 이는 워크로드가 점차 FP64 GEMM 연산에 의해 지배되기 때문입니다. 소비자용 GPU(RTX 4090 등)는 제한된 FP64 처리량(약 FP32의 1/64)을 가지고 있어, 수축 작업이 많은 큰 활성 공간에서의 가속을 제한합니다. 논문은 FP64 능력이 더 높은 데이터 센터용 GPU를 사용하면 더 높은 가속을 유지할 수 있을 것이라고 언급합니다.

의의
본 논문은 스핀 적응과 CSF-직접 희소성이 중요하며, CI 단계의 GPU 가속이 필요한 경우를 위한 특화된 도구로서 cuGUGA의 위치를 정립합니다. cuGUGA는 전통적인 GUGA 구현(포인터가 많은 그래프 탐색에 의존)과 GPU 실행 모델 사이의 아키텍처적 불일치를 해결합니다. CSF 결합의 희소한 열거와 조밀한 적분 수축을 명확히 분리함으로써, cuGUGA는 소비자용 하드웨어에서도 상당한 성능 이득을 얻는 동시에 GUGA 형식의 엄격한 스핀 순수성과 정확성을 유지합니다. 이 연구는 연산자 직접 방식의 GUGA 방법이 GPU로 효과적으로 이식될 수 있음을 입증하며, 강하게 상관된 시스템을 위한 유망한 대안을 제시합니다.