Scalable parallel 3-D TEM inversion via rational approximation of the matrix exponential

기술 요약: 행렬 지수함수의 유리 근사를 통한 확장 가능한 병렬 3 차원 TEM 역산

문제 제기
과도 전자기법 (TEM) 은 광물 탐사, 수문지질학, 환경 연구 등 응용 지구물리학에서 중요한 기법입니다. 그러나 비자명한 환경에서 3 차원 전도도 모델을 역산하는 것은 계산적으로 매우 요구가 많습니다. 전통적인 접근법은 시간 영역에서 맥스웰 방정식을 풀기 위해 암시적 시간 단계법 (예: 후방 오일러) 에 의존합니다. 이러한 방법들은 시간 전진을 중심으로 계산 워크플로우를 조직화하며, 전방 모델링과 역산의 비용은 과도 응답을 해결하는 데 필요한 시간 단계 수에 밀접하게 결합되어 있습니다. 무어의 법칙 한계로 인해 단일 코어 성능 향상이 정체됨에 따라, 본질적으로 순차적인 이러한 알고리즘들은 현대 병렬 하드웨어에서 효율적으로 확장되는 데 어려움을 겪습니다.

방법론
저자들은 행렬 지수함수의 작용을 사용하여 전방 문제를 재형식화함으로써 계산 비용을 관측 시간 수로부터 분리하는 새로운 역산 프레임워크를 제안합니다.

1. 행렬 지수함수의 유리 근사:
   시간 단계법 대신 과도 해 $u(t)$ 를 초기 벡터에 대한 행렬 지수함수 $\exp(-t M^{-1}K)$ 의 작용으로 표현합니다. 저자들은 RKFIT 알고리즘을 사용하여 구성된 이 지수함수의 유리 근사 (RBA) 를 사용합니다. 이 근사는 해를 이동된 선형 시스템들의 선형 결합으로 나타냅니다:
   $$u(t_j) \approx 2 \text{Re} \left( \sum_{i=1}^m \alpha_i^{(j)} (K - \xi_i M)^{-1} f \right)$$
   여기서 $\{ \xi_i \}$ 는 모든 시간 점에서 공유되는 극점 (poles) 이고, $\{ \alpha_i^{(j)} \}$ 는 미리 계산된 계수입니다. 중요한 점은 이동된 시스템 행렬 $(K - \xi_i M)$ 이 시간과 무관하다는 것입니다.

2. 병렬 전방 및 민감도 계산:
   이 재형식화를 통해 $m$ 개의 이동된 선형 시스템을 독립적으로 그리고 병렬로 풀 수 있습니다. 시간 의존성은 완전히 잔차 (계수 $\alpha$) 에 포함되므로, 전방 응답과 민감도의 계산은 원하는 관측 시간 수 $K$ 와 실질적으로 무관합니다.

   • 전방 솔버: 이동된 시스템을 분해하고 풀기 위해 병렬 직접 솔버 (MUMPS) 를 사용합니다.
   • 민감도 (야코비안): 야코비안은 동일한 이동된 시스템 세트를 사용하여 암시적으로 계산됩니다. 질량 행렬의 미분은 미리 계산된 해 벡터 $g_i = (K - \xi_i M)^{-1}f$ 에 적용됩니다. 이는 시간 단계법에서 전형적인 순차적 전방/역방향 재귀를 피합니다.

3. 역산 프레임워크:

   • 최적화: 역문제는 가우스 - 뉴턴 프레임워크를 사용하여 풉니다. 선형화된 최소제곱 문제는 야코비안을 암시적 연산자 (행렬 프리) 로 처리하는 LSQR 알고리즘을 통해 풉니다.
   • 정규화: 매끄러움 제약 조건은 비정렬 메시에서 조각별 상수 모델 파라미터를 처리하기 위해 라비에 - 토마스 (RT0) 요소를 사용하여 공식화되며, 기울기의 일관된 이산화를 보장합니다.
   • 구현: 코드는 Julia 로 작성되었으며, 유한 요소 조립을 위해 Gridap.jl 프레임워크를 활용하고, 공유 메모리 아키텍처에서 병렬 분해를 관리하기 위해 MUMPS 를 위한 사용자 정의 MPI 인터페이스를 사용합니다.

주요 기여

• 알고리즘 설계의 패러다임 전환: 이 논문은 병렬 하드웨어에 순차적 시간 전진 방법을 적응시키는 것에서, 본질적으로 동시성을 노출하는 수학적 공식 (RBA) 을 설계하는 것으로의 전환을 보여줍니다.
• 시간 채널의 분리: 계산 비용은 시간 채널 수 $K$(종종 수백) 가 아니라 극점 수 $m$(일반적으로 작음, 예: 16~21) 에 의해 결정됩니다. 이를 통해 선형 대수 작업량을 증가시키지 않고도 고해상도 시간 샘플링이 가능해집니다.
• 확장 가능한 역산 워크플로우: 수학적 모델 수준에서 병렬성을 내재화함으로써 저자들은 주요 비용 (이동된 시스템 풀기) 을 MPI 랭크 간에 분배할 수 있는 확장 가능한 역산을 달성합니다.
• 오픈 소스 공개: 구현은 지구물리학 커뮤니티의 재현 가능한 연구를 지원하기 위해 오픈 소스 소프트웨어로 공개됩니다.

결과
이 방법은 반공간 내에서 전도성 및 저항성 이상체를 특징으로 하는 약 70 만 개의 자유도를 가진 합성 3 차원 모델에서 검증되었습니다.

• 재구성 정확도: 역산은 이상체의 위치와 일반적인 모양을 성공적으로 복원했습니다. 전도성 블록은 잘 해결되었으나, 저항성 블록은 TEM 민감도와 매끄러움 정규화의 알려진 한계와 일치하는 감소된 대비를 보였습니다.
• 성능:
  • 확장성: 분해 및 후방 대입 모두에 대해 8 개 MPI 랭크까지 거의 이상적인 성능을 보여주는 강한 확장성 실험이 수행되었습니다. 16 개 랭크에서는 공유 메모리 NUMA(비균일 메모리 액세스) 효과 및 메모리 대역폭 경쟁으로 인해 효율성이 약간 저하되었습니다.
  • 메모리: 피크 메모리 사용량은 21 개의 이동된 시스템 분해를 동시에 저장하는 데 필요한 약 620 GB 였습니다.
  • 비교: 동일한 시간 창에 대해 31 개의 실수 분해를 필요로 하는 암시적 오일러 시간 단계법과 비교할 때, RBA 접근법은 21 개의 복소수 분해를 필요로 합니다. 복소수 연산이 더 비싸지만, RBA 방법은 순차적 시간 전진 임계 경로를 제거하여 분산 아키텍처에서 벽시계 시간 감소를 위한 더 우수한 잠재력을 제공합니다.

의의 및 주장
저자들은 이 작업이 시간 재귀의 병목 현상을 특히 해결하는 표준 3 차원 TEM 역산에 대한 확장 가능한 대안을 제공한다고 주장합니다. 주요 이점은 반드시 직렬 산술 작업의 감소가 아니라 병렬 임계 경로의 감소와 비용이 시간 채널 수와 무관하다는 점에 있습니다.

이 논문은 현재 한계를 인정하며, 여러 희소 분해의 동시 저장은 상당한 메모리 발자국을 생성하며 공유 메모리 아키텍처는 대역폭 병목 현상에 직면한다고 지적합니다. 저자들은 향후 작업이 분산 고성능 컴퓨팅 (HPC) 클러스터로의 전환과 확장성을 더욱 개선하고 메모리 사용을 줄이기 위해 직접 솔버를 사전 조건부 반복 솔버로 대체하는 데 초점을 맞춰야 한다고 제안합니다. 이 연구는 제안된 프레임워크가 3 차원 구조를 성공적으로 복원하고 더 효율적이고 대규모 전자기 역산을 위한 기초를 마련했다고 결론지었습니다.