Fast solvers for Tokamak fluid models with PETSC

본 논문은 PETSc 에 구현된 M3D-C1 토카막 코드용 새로운 반-세밀화 기하학적 멀티그리드 솔버를 제시하며, 이는 토로이달 격자 구조를 활용하여 복잡한 자기유체역학 모델에서 기존 블록 야코비 전구조건자의 수렴 한계를 극복하고 뛰어난 견고성과 성능을 달성하는 것을 목표로 한다.

핵심

거대하고 도넛 모양을 한 토카막이라는 기계 안에서 전하를 띤 입자들의 소용돌이치는 초고온의 '수프'(플라즈마) 가 어떻게 행동하는지 예측하려고 한다고 상상해 보세요. 이 기계는 태양의 힘과 같은 핵융합 에너지를 생성하도록 설계되었습니다. 하지만 이 '수프'는 믿을 수 없을 정도로 혼란스럽습니다. 컴퓨터를 사용하여 그 움직임을 단계별로 계산하려고 하면, 수학이 너무 복잡해져서 컴퓨터가 멈추거나, 답이 도착할 때쯤이면 그 답이 쓸모없어질 정도로 시간이 너무 오래 걸립니다.

이 논문은 바로 이러한 특정 유형의 문제를 위한 더 똑똑하고 빠른 계산기를 만드는 것에 관한 것입니다.

다음은 저자들이 수행한 작업을 간단한 비유를 통해 정리한 내용입니다:

1. 문제: 수학의 '교통 체증'

그들이 사용하는 컴퓨터 코드 ( M3D-C1이라고 함) 는 플라즈마의 움직임을 설명하는 방정식을 풀려고 합니다. 이를 위해 이 코드는 수백만 번에 걸쳐 거대한 퍼즐을 풀어야 합니다.

• 옛날 방식 (블록 야코비): 도시 전체의 교통 체증 지도가 있다고 상상해 보세요. 옛날 방식은 도시의 나머지 부분을 무시한 채, 한 번에 한 개의 거리만 다른 사람에게 교통 정리를 맡기는 것과 같았습니다. 도시가 작다면 이 방식이 작동합니다. 하지만 도시가 커질수록 (도넛 모양의 더 많은 '평면'이나 단면이 늘어날수록), 거리를 수리하는 사람들이 서로 너무 느리게 소통하게 됩니다. 교통 체증이 심해지고 해결 속도가 느려지거나 아예 작동이 멈춥니다.
• 구체적인 도전 과제: 이러한 기계 안의 플라즈마는 '이방성 (anisotropic)'입니다. 종이 한 뭉치를 생각해 보세요. 종이 표면을 따라 미끄러뜨리는 것은 매우 쉽지만 (쉬운 방향), 종이 뭉치 안으로 밀어 넣는 것은 매우 어렵습니다 (어려운 방향). 기존의 수학 솔버는 이 '종이 뭉치' 구조를 이해하지 못했기 때문에, 어려운 방향과 쉬운 방향을 모두 같은 어색한 방법으로 풀려고 했습니다.

2. 해결책: '멀티그리드' 엘리베이터

저자들은 **멀티그리드 (MG)**라는 방법을 사용하여 새로운 솔버를 구축했습니다.

• 비유: 거대한 다층 저택에서 분실된 장난감을 찾으려고 한다고 상상해 보세요.
  • 옛날 방식: 1 층으로 이동하기 전에 모든 방, 모든 서랍, 모든 구석을 하나하나 확인합니다. 시간이 영원히 걸립니다.
  • 멀티그리드 방식: 먼저 새의 눈으로 본 저택의 축소 모형을 봅니다. 장난감이 어디에 없는지 일반적인 영역을 ('거친' 그리드) 빠르게 찾아냅니다. 그런 다음, 범위를 좁히기 위해 중간 크기의 지도로 확대합니다. 마지막으로 장난감을 주우러 실제 방 ('세밀한' 그리드) 으로 갑니다.
  • 문제의 '큰 그림' 수준에서 먼저 해결함으로써, 솔버는 미세한 세부 사항에 도달했을 때 정확히 어디를 찾아야 할지 알게 됩니다. 이로 인해 속도가 놀라울 정도로 빨라집니다.

3. '비밀 재료': 세미-코어닝 (Semi-Coarsening)

저자들은 토카막이 3 차원 도넛으로 꼬인 2 차원 단면 (폴로이달 평면) 의 뭉치와 같다는 것을 깨달았습니다.

• 그들은 '멀티그리드 엘리베이터'를 특히 적층 방향 (토로이달 방향) 에 적용했습니다.
• 전체 3 차원 혼란을 한 번에 단순화하려고 시도하는 대신, 토카막 벽의 모양이 복잡하기 때문에 2 차원 단면은 상세하게 유지하면서, 단계가 올라갈수록 단면의 뭉치를 단순화했습니다.
• 이는 두꺼운 책의 페이지 수만 줄이고 각 페이지의 텍스트는 선명하게 유지하는 것과 같습니다. 이는 기계의 모양에 완벽한 적합입니다.

4. 결과: 속도와 신뢰성

이 팀은 두 가지 매우 어려운 시나리오에서 이 새로운 솔버를 테스트했습니다:

• 시나리오 A: '런어웨이 전자' (SPARC): 입자가 통제 불가능하게 가속되는 위험한 사건을 시뮬레이션합니다.
  • 결과: 새로운 솔버는 작은 설정에서는 기존 솔버와 경쟁력 있는 성능을 보였으며, 가장 크고 복잡한 설정에서는 훨씬 더 빠르었습니다. 더 적은 단계로 문제를 해결하여 시간을 절약했습니다.
• 시나리오 B: '스텔라레이터' (다른 더 꼬인 기계): 이 기하학적 구조는 표준 도넛보다 훨씬 더 꼬이고 불규칙합니다.
  • 결과: 기존 솔버는 완전히 실패하여 답을 찾지 못했습니다. 반면 새로운 멀티그리드 솔버는 성공했습니다. 기존 도구를 무너뜨린 꼬인 기하학적 구조를 처리할 만큼 견고했습니다.

5. 하드웨어: 슈퍼컴퓨터 활용

이들은 Perlmutter라는 세계에서 가장 빠른 슈퍼컴퓨터 중 하나에서 이러한 테스트를 실행했는데, 이 컴퓨터는 강력한 CPU 와 GPU(그래픽 카드) 를 모두 사용합니다.

• 그들은 '설정'(축소 모형 구축) 은 비용이 많이 들지만, 실제 해결 과정은 GPU 에서 놀라울 정도로 빠르다는 것을 발견했습니다.
• 가장 어려운 문제의 경우, 솔버가 멈추지 않도록 유지하기 위해 '고중량' 스무더 (특수 수학 트릭) 를 사용해야 한다는 것을 발견했는데, 이는 약간의 더 많은 컴퓨팅 파워를 필요로 하지만 속도로 보상받았습니다.

요약

이 논문은 핵융합 플라즈마 기계의 특정 '종이 뭉치' 모양을 이해함으로써 다음과 같은 새로운 수학 도구 (멀티그리드) 를 만들었다고 주장합니다:

1. 크고 복잡한 시뮬레이션에서 현재 표준 방법보다 문제를 더 빠르게 해결합니다.
2. 기존 방식이 실패하는 꼬인 복잡한 모양에서도 충돌하지 않습니다.
3. 이는 궁극적으로 핵융합 에너지로 이어질 물리학을 시뮬레이션하여 실제 발전소 설계를 돕기 위해 실용적이고 빠른 시뮬레이션을 가능하게 하는 중요한 첫걸음입니다.

그들은 이것이 핵융합 에너지 자체를 해결한다고 주장한 것이 아니라, 결국 핵융합 에너지로 이어질 물리학을 시뮬레이션하는 데 필요한 빠르고 신뢰할 수 있는 계산기를 제공한다고 주장했습니다.

기술 요약

기술 요약: PETSc 를 활용한 토카막 유체 모델용 고속 솔버

문제 제기
M3D-C1 코드는 핵융합 에너지 연구에서 토카막과 스텔러레이터의 대규모 불안정성과 붕괴 현상을 다루기 위해 확장 자기유체역학 (MHD) 플라즈마 시뮬레이션의 주된 도구로 사용됩니다. 이 코드는 반암시적 시간 적분기를 사용하며, 이는 시간 단계당 수많은 선형 시스템을 풀어야 합니다. 이 중 운동량 방정식의 암시적 전진이 가장 도전적이고 가장 덜 견고한 구성 요소로 식별되었습니다.

현재 생산용 솔버는 Block Jacobi(BJ) 방법으로 전치된 Krylov 방법 (FGMRES/GMRES) 을 사용하며, 여기서 블록들은 고정된 토로이달 좌표 평면상의 자유도를 그룹화합니다. BJ 솔버는 작은 구성에서는 효과적이지만, 전치된 행렬의 스펙트럼 특성으로 인해 토로이달 평면의 수가 증가함에 따라 수렴성이 현저히 저하됩니다. 더 나아가 BJ 솔버는 비축대칭 스텔러레이터 구성에서는 전혀 수렴하지 않아, 코드가 복잡한 핵융합 장치에 적용되는 것을 제한합니다.

방법론
본 연구는 M3D-C1 의 특정 이산화 및 격자 구조에 맞춘 기하학적 멀티그리드 (MG) 솔버를 개발합니다. 방법론은 다음과 같은 구조적 특성을 활용합니다:

• 격자 구조: M3D-C1 은 토러스 주변으로 신장된 poloidal 평면에서 비정형 2D 격자를 사용하고, 토로이달 방향에서는 정규 1D 격자를 결합합니다.
• 반-세밀화 (Semi-Coarsening): 솔버는 특히 토로이달 방향에서 기하학적 반-세밀화를 사용합니다. 이 접근법은 토로이달 격자가 구조화되어 있어 표준 기하학적 MG 기법 (2:1 세밀화) 을 적용할 수 있고, 복잡한 poloidal 평면은 향후 작업을 위해 세밀화하지 않는다는 이유로 선택되었습니다.
• 대수적 인터페이스: 응용 프로그램이 미세 격자에서 야코비안을 계산하지만, 조밀 격자 연산자는 Galerkin 과정 ($A_{i+1} = P^T A_i P$) 을 사용하여 대수적으로 구성됩니다. 여기서 $P$는 3 점 스텐실 연장 연산자입니다. 이는 PETSc 와 호환되는 순수 대수적 인터페이스를 갖춘 기하학/대수적 하이브리드 솔버를 생성합니다.
• 스무더 (Smoothers): 두 가지 스무더가 조사되었습니다:
  1. Point-Block Jacobi (PBJ): 대각 블록 (정점당 크기 36) 의 명시적 조밀 역을 계산합니다. 이는 빠르고 메모리 효율이 좋으며 GPU 가속에 적합합니다.
  2. Block Jacobi (BJ): 기존 생산용 솔버가 스무더로 재사용됩니다. 이는 poloidal 평면에서 완전한 LU 분해를 포함합니다. 비용이 많이 들지만, PBJ 가 정체되는 가장 어려운 문제들에 대해 $V(0,1)$-사이클에서 post-smoother 로 사용됩니다.
• 구현: 솔버는 PETSc 라이브러리 내에서 구현되었으며, Krylov 솔버와 선형 대수 백엔드 (직접 풀이를 위한 MUMPS 및 SuperLU 포함) 를 위한 추상 인터페이스를 활용합니다.

주요 결과
솔버는 Perlmutter 슈퍼컴퓨터 (CPU 및 GPU 노드) 를 사용하여 SPARC 토카막 붕괴의 runaway 전자 모델과 준축대칭 스텔러레이터 모델이라는 두 가지 테스트 사례에서 평가되었습니다.

1. SPARC 토카막 (확장성 및 속도):

   • 4 개에서 16 개의 토로이달 평면을 가진 구성에서, 전치기가 갱신되었을 때 MG 솔버 (PBJ 스무더 사용) 는 단일 반복으로 수렴하여 우수한 알고리즘적 확장성을 입증했습니다.
   • 가장 큰 구성 (64 개 평면) 에서는 문제 난이도가 증가하여 더 엄격한 솔버 허용오차 ($rtol = 10^{-7}$) 와 빈번한 갱신을 갖춘 더 공격적인 $V(6,6)$-사이클이 필요했습니다.
   • 성능: MG 솔버는 BJ 솔버와 경쟁력 있는 성능을 달성했습니다. 64 개 평면 사례에서 MG 솔버는 BJ 솔버에 비해 Krylov 반복 총수를 약 16 배 줄였습니다. 총 해결 시간은 GPU 에서 거의 비슷했지만, MG 솔버는 CPU 에서 훨씬 빠른 해결 시간을 보여주었습니다.
   • 복잡도: 이론적 분석에 따르면 MG 솔버는 격자 수준 전반에 걸친 작업의 기하학적 합으로 인해 BJ 솔버의 점근적 작업 복잡도가 약 2 배입니다. 관찰된 성능은 현재 조밀 격자 해결이 poorly 수행되고 있음을 시사하며, 최적화의 여지가 있음을 나타냅니다.

2. 스텔러레이터 (견고성):

   • 비축대칭 스텔러레이터 테스트 사례에서 표준 Block Jacobi 솔버는 완전히 수렴하지 못했습니다.
   • 반면, MG 솔버 (BJ 를 스무더로 사용) 는 성공적으로 수렴했습니다. 이는 행렬의 스펙트럼 특성이 BJ 전치기를 무력화시키는 비축대칭 기하학에서 MG 접근법의 중요한 견고성 우위를 보여줍니다.

의의 및 주장
이 논문은 M3D-C1 코드 내의 복잡하고 과학적으로 관련성이 높은 MHD 토카막 모델에 멀티그리드 방법을 적용하는 첫걸음을 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

• 실행 가능성 입증: 멀티그리드 방법이 매우 이방성이고 조건이 나쁜 자화된 플라즈마 모델을 위한 더 빠르고 확장 가능하며 견고한 솔버로 가는 길을 제공할 수 있음을 증명합니다.
• 토로이달 반-세밀화: 신장된 격자 구조를 가진 일반적인 토카막 코드에 대해 토로이달 방향의 반-세밀화가 유용하고 효과적인 첫걸음임을 확립합니다.
• 견고성: MG 솔버가 현재 생산용 Block Jacobi 솔버가 실패하는 문제 (특히 스텔러레이터 붕괴) 를 해결할 수 있음을 보여줍니다.

향후 작업 및 한계
저자들은 솔버의 현재 상태에 대해 겸손하게 접근하며, 몇 가지 개선 영역을 지적합니다:

• 조밀 격자 성능: 현재 성능은 비효율적인 조밀 격자 해결에 의해 제한되며, 이는 부분적으로 조밀 격자에서 직접 솔버 (MUMPS/SuperLU) 의 중복 병렬화 요구 사항과 MPI 실패 때문입니다.
• 완전 3D 멀티그리드: 가장 영향력 있는 향후 최적화는 완전한 3D MG 솔버를 만들기 위해 poloidal 평면에 2D 멀티그리드를 추가하는 것입니다. 이는 비정형 기하학적 조밀 격자를 처리해야 합니다.
• 스무더: 향후 작업에는 GPU 스레드 그룹에 더 잘 맞도록 PBJ 스무더의 블록 크기를 최적화하고, 세 개의 분리된 MHD 파동을 별도로 처리하는 FieldSplit 전치기를 조사하는 것이 포함됩니다.
• 갱신 전략: 현재 갱신 모델 (주기적 LU 분해) 은 단순하며, 준정상 상태를 더 효율적으로 처리하기 위한 더 지능적인 알고리즘이 필요합니다.

요약하자면, 이 작업은 M3D-C1 을 위한 실행 가능하고 견고한 멀티그리드 프레임워크를 수립하여, 어려운 기하학에서 반복 횟수와 견고성 측면에서 기존 솔버보다 우수성을 입증하면서도, 완전한 교과서 수준의 멀티그리드 효율성을 달성하기 위해 해결해야 할 구체적인 알고리즘 및 구현적 장애물을 식별합니다.