Accelerating an ensemble of variational data assimilations with randomized preconditioning

기술 요약: 무작위 전처리를 통한 변분 데이터 동화 앙상블 가속화

문제 제기
변분 데이터 동화 앙상블 (EDA) 은 운영 수치 기상 예보에 필수적이며, 앙상블 예보를 위한 여러 초기 상태 제공 및 흐름 의존 오차 공분산 추정을 담당합니다. EDA 는 일반적으로 이차 비용 함수를 선형 시스템의 반복적 해법을 통해 최소화하는 점진적 접근법을 사용하여 병렬로 수행되는 교란된 변분 데이터 동화 문제를 해결하는 과정을 포함합니다. 일반적인 운영상의 제약 조건은 계산 비용을 통제하기 위해 단일 외부 반복을 사용하는 것입니다.

이러한 시스템에 대한 반복 솔버 (예: 켤레 기울기법, CG) 의 성능은 헤시안 행렬의 고유값 분포에 크게 의존합니다. 제한된 메모리 전처리기 (LMP), 특히 근사 고유쌍으로부터 구성된 스펙트럼 LMP 는 수렴을 가속화하는 데 효과적이지만, 전통적인 구성 방법은 이전 외부 반복에서의 재귀에 의존합니다. 이로 인해 단일 외부 반복을 수행하는 EDA 환경에서는 적용이 불가능합니다. 또한, 무작위 방법은 사전 반복 없이 이러한 고유쌍을 계산할 수 있는 방법을 제공하지만, 결과적인 근사의 품질은 무작위 스케치 행렬의 선택에 매우 민감합니다. 표준 무작위 행렬 (예: 가우시안) 은 종종 운영 환경에서 금지되는 비용이 큰 순차적 행렬 - 벡터 곱 (전력법) 없이는 효과적인 전처리를 위해 충분히 정확한 근사를 산출하지 못할 수 있습니다.

방법론
저자들은 EDA 의 특정 구조에 맞춘 "스케치 및 전처리"접근법을 제안합니다. 핵심 방법론은 다음과 같습니다:

1. 무작위 고유분해 (REVD): 헤시안 행렬 $A$ (구체적으로 전처리된 헤시안의 저차원 부분) 의 저차원 근사를 계산하기 위해 무작위 알고리즘을 활용합니다. 여기에는 행렬 $A$ 를 무작위 행렬 $\Omega$ 를 사용하여 스케치하여 더 작은 행렬을 형성한 후, 결정론적 고유분해를 수행하는 과정이 포함됩니다.
2. 새로운 스케치 행렬 구성: 표준 무작위 가우시안 행렬을 사용하는 대신, 저자들은 EDA 구조를 활용하여 교란된 선형 시스템의 오른쪽 변 (RHS) 벡터들의 차이를 사용하여 스케치 행렬 $\Omega$ 를 구성합니다.
   • 앙상블 구성원 $j$에 대해, RHS 차이는 $\gamma_j = U_B^T G_j^T R_j^{-1} d_j - U_B^T G^T R^{-1} d$로 정의되며, 여기서 $d$는 혁신 벡터입니다.
   • 단순화 가정 (선형화 상태의 차이 무시, 가우시안 교란) 하의 이론적 분석은 이러한 차이 벡터들의 공분산이 $A + A^2$를 근사함을 시사합니다. 이는 스케치 행렬 $\Gamma = [\gamma_1, \dots, \gamma_\ell]$의 열들이 순차적 비용 없이 전력법 반복과 유사하게 헤시안의 주요 고유벡터에 대한 정보를 포함하는 분포에서 효과적으로 샘플링되었음을 의미합니다.
3. 스펙트럼 LMP 구성: 헤시안의 무작위 고유분해를 사용하여 스케일된 스펙트럼 LMP($P_\theta$) 를 구성합니다. 이 전처리기는 헤시안의 가장 큰 고유값을 대상으로 하여 이를 클러스터링함으로써 PCG 솔버의 수렴 속도를 개선합니다.
4. 적용: 제어 구성원의 헤시안 근사로부터만 유도된 구성된 LMP 는 제어 구성원과 모든 교란된 앙상블 구성원 모두를 전처리하는 데 적용됩니다.

주요 기여

• EDA 에서의 스펙트럼 LMP 조사: 단일 외부 반복만 수행되는 EDA 환경에서 무작위 스펙트럼 LMP 의 사용 가능성과 효과성을 조사합니다.
• 구조 활용 스케치 행렬: 주요 기여는 앙상블 선형 시스템의 RHS 차이를 스케치 행렬로 사용하는 것에 대한 제안과 분석입니다. 저자들은 이 접근법이 계산 비용이 적게 듭니다 (표준 앙상블 설정 이상의 추가 모델 적분 불필요) 고 표준 가우시안 스케칭보다 헤시안 정보를 이론적으로 더 잘 포착함을 입증합니다.
• 알고리즘 구현: 연구는 전처리기를 계산하기 위해 $q$-패스 니스트롬 근사 알고리즘 (알고리즘 3.1) 을 구현하고, 오버샘플링 및 스케일링 매개변수 ($\theta$) 의 영향을 분석합니다.

결과
내부 개발된 4D-Var 구현을 사용한 로렌츠 -96 모델을 통해 수치 실험이 수행되었습니다.

• 고유값 근사: 제안된 스케치 행렬 ($\Omega = \Gamma$) 은 전력법 한 단계 ($\Omega = A\Psi$) 를 사용하는 계산 비용이 큰 방법과 유사한 품질의 고유값 근사를 산출했으며, 표준 가우시안 스케칭 ($\Omega = \Psi$) 또는 배경 오차 공분산 기반 스케칭 ($\Omega = B\Psi$) 보다 훨씬 우수했습니다.
• 수렴 가속화: $\Omega = \Gamma$로 구성된 스펙트럼 LMP 는 제어 구성원의 이차 비용 함수 감소에 성공적으로 가속화 효과를 발휘했습니다.
• 앙상블 성능: 결정적으로, 제어 구성원 단독으로부터 구성된 LMP 는 모든 교란된 앙상블 구성원의 해법 과정을 가속화하는 데 효과적이었습니다.
• 민감도: 결과는 전처리기의 성능이 스케일링 매개변수 $\theta$와 사용된 고유쌍의 수 ($k$) 에 민감함을 강조했습니다. 저자들은 오버샘플링 (가장 작은 근사 고유쌍을 제거, 예: $k=20$ 대신 $k=15$ 사용) 을 사용하면 PCG 솔버의 초기 반복에서 특히 더 안전하고 견고한 성능을 제공함을 발견했습니다.

의의 및 주장
이 논문은 계산 자원이 제한적이고 단일 외부 반복이 일반화된 운영 환경에서 EDA 를 가속화할 수 있는 실현 가능한 전략을 제안한다고 주장합니다. 앙상블 교란 (특히 RHS 벡터) 의 고유한 무작위성을 활용함으로써, 이 방법은 순차적 전력 반복의 prohibitive 한 비용 없이 고품질 전처리기를 구성합니다.

저자들은 이론적 분석이 단순화 가정 (예: 가우시안 교란, 무시할 수 있는 선형화 차이) 에 의존하지만, 로렌츠 -96 모델을 통한 수치 결과가 이 접근법의 실용적 유용성을 검증한다고 강조합니다. 그들은 효과성이 특정 데이터 동화 시스템과 헤시안 고유값의 감쇠에 따라 달라질 수 있음을 지적합니다. 이 작업은 개념 증명 (proof of concept) 으로 기능하며, 저자들은 다음 단계가 메테오 - 프랑스의 글로벌 데이터 동화 시스템을 위한 현실적이고 고차원적인 EDA 환경에서 이러한 결과를 검증하는 것이라고 명시합니다. 이 논문은 기존 모든 방법보다 보편적으로 우월함을 주장하지는 않지만, 앙상블 문제 전처리를 위한 유망하고 저비용의 대안으로 이 접근법을 위치시킵니다.