Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

기술 요약: PDE 기반 베이지안 역문제의 하이퍼파라미터 주변화(Marginalization)를 위한 아모티제이션된 저계수 근사(Amortized Low-Rank Approximation)

문제 정의
본 논문은 매개변수-관측값 매핑이 선형 편미분 방정식(PDE)에 의해 지배되는 계층적 베이지안 역문제(hierarchical Bayesian inverse problems)에서 발생하는 계산상의 어려움을 다룬다. 이러한 설정에서 매개변수 필드 $m$(예: 초기 조건 또는 공간 계수)은 고차원 또는 무한 차원인 반면, 하이퍼파라미터 $\theta$(예: 사전 상관 길이 또는 노이즈 분산)는 중간 차원이다.

고정된 $\theta$에 대해 조건부 사후 분포 $P(m|\theta, y)$는 가우시안 분포를 따르지만, 주요 목적은 종종 하이퍼파라미터 자체를 추론하거나 매개변수 $m$의 사후 분포를 얻기 위해 이들을 주변화(marginalize)하는 것이다. 이를 위해서는 하이퍼파라미터 주변 밀도 $P(\theta|y)$를 반복적으로 평가해야 한다. PDE가 지배하는 문제의 경우, $P(\theta|y)$를 직접 평가하는 것은 다음과 같은 이유로 계산 비용이 매우 많이 든다:

1. 각 $\theta$에 대해 $m$의 최대 사후 확률(MAP) 추정치를 구하기 위해 문제를 풀어야 함.
2. 사전 및 사후 정밀도 행렬의 행렬식(determinant) 비율을 계산해야 함.

두 단계 모두 순방향 연산자 $A$와 그 수반 연산자(adjoint) $A^\sharp$의 반복적인 적용을 필요로 하는 비용이 큰 연산을 포함한다. 기존의 저계수 근사법(예: Prior-Preconditioned (PP) 정밀도 업데이트)은 고정된 사전 분포에 대해서는 효율적이지만, 사전 정밀도 $Q_{pr}$이 $\theta$에 따라 비선형적으로 의존하는(예: 상관 길이 척도를 통한) 계층적 설정에서는 비효율적이 된다. 이러한 경우, PP 방식은 매 $\theta$ 평가마다 저계수 근사를 다시 계산해야 하므로 아모티제이션(amortization)의 이점을 상실하게 된다.

방법론
저자들은 $\pi(\theta|y)$의 여러 평가에 걸쳐 저계수 근사의 계산 비용을 "아모티제이션(amortize)"하는 프레임워크를 제안한다. 핵심 아이디어는 $\theta$에 의존하는 사전 프리컨디셔너(preconditioner)를 고정된, $\theta$에 독립적인 참조 프리컨디셔너로 대체하는 것이다. 이를 통해 비용이 많이 드는 저계수 분해를 (오프라인 단계에서) 한 번만 계산할 수 있게 한다.

본 논문은 이 아모티제이션된 프레임워크의 두 가지 구체적인 변형을 도입하고 분석한다:

1. 최약 사전 프리컨디셔닝(Weakest Prior-Preconditioned, WP) 근사:

   • 이 방법은 하이퍼사전 분포(hyperprior)의 서포트 내 모든 $\theta$에 대해 실제 사전 정밀도 $Q_{pr}(\theta)$보다 "약한"(즉, 고유값이 더 작은) 참조 사전 정밀도 $\hat{Q}_{pr}$을 선택한다.
   • 수학적으로 이는 $\hat{R}^\top \hat{R} \preceq R^\top R$ (여기서 $Q_{pr} = \delta^2 R^\sharp R$)을 요구한다.
   • $\hat{Q}_{pr}$에 의해 프리컨디셔닝된 업데이트의 저계수 근사가 한 번 계산된다. 특정 $\theta$에 대해, 사후 정밀도는 실제 $Q_{pr}(\theta)$를 사용하여 이 고정된 기저(basis)를 재가중함으로써 근사된다.
   • 저자들은 절단 오차(truncation error)가 참조 프리컨디셔닝된 업데이트의 고유값과 스케일링 하이퍼파라미터의 최솟값에 의해 제어됨을 보여주는 이론적 오차 경계(Theorem 4.1)를 제공한다.

2. 무프리컨디셔닝(Unpreconditioned, UP) 근사:

   • 이 방법은 WP의 극한 사례로, 참조 사전 분포를 항등 행렬(또는 이산적 동등물)로 선택하여 사전 프리컨디셔닝을 사실상 제거한다.
   • 이 방법은 특정 "최약" 사전을 정의할 필요가 없고 사전 정밀도와의 연산을 피할 수 있지만, 수렴을 위해 더 높은 랭크(rank)가 필요하다.

두 방법 모두 저계수 기저를 계산하기 위해 일반화된 고유값 문제(generalized eigenvalue problems)에 의존한다. 본 프레임워크는 순방향 연산자와 노이즈 정밀도가 $\theta$에 의존하지 않거나(또는 곱셈적으로만 의존하거나), 사전 정밀도가 $\theta$에 따라 복잡하고 비선형적으로 의존할 수 있음을 가정한다.

주요 기여

• 아모티제이션 프레임워크: 본 논문은 비선형 사전 하이퍼파라미터를 가진 계층적 문제로 최첨단 저계수 근사 기술을 확장한다. $\theta$에 독립적인 프리컨디셔너를 사용함으로써 기저 계산을 $\theta$ 값으로부터 분리하여, $N$번의 평가에 대해 근사를 재계산하는 $O(N \cdot r)$의 비용을 피한다.
• 이론적 보장: 저자들은 WP 방법에 대한 엄격한 절단 오차 상한을 확립한다. 이 경계는 참조 프리컨디셔닝된 업데이트의 고유값 붕괴와 하이퍼파라미터 범위를 기준으로 절단 랭크 $r$을 선택하도록 안내한다.
• 복잡도 분석: 상세한 계산 복잡도 비교(Table 4.1)를 통해, WP와 UP가 주어진 정확도에 대해 직접적인 PP 방식보다 더 높은 랭크를 요구할 수 있음에도 불구하고, 온라인 단계에서의 반복적인 PDE 솔버 실행을 제거함으로써 많은 수의 주변 밀도 평가가 필요한 문제에서 상당한 속도 향상을 가져온다는 것을 입증한다.
• 결정론적 쿼드러처(Deterministic Quadrature): MCMC 기반 접근 방식과 달리, 이 완전한 결정론적 프레임워크는 하이퍼파라미터 공간에 대한 효율적인 쿼드러처 기반 적분을 가능하게 하며, 이는 단일 점 추정에 의존하는 경험적 베이즈(empirical Bayes) 추정보다 개선된 방식이다.

수치 결과
제시된 방법들은 2D 및 3D 공간 도메인에서의 대류-확산 초기 조건 역문제에 대해 평가되었다.

• 2D 문제: 약 4,500개의 요소와 32개의 공간 센서를 가진 메쉬를 사용하여, WP와 UP 방식은 100번의 주변 밀도 평가에 대해 직접 PP 방식 대비 약 11배에서 19배의 속도 향상을 달 achieved 했다.
• 3D 문제: 약 35,000개의 요소와 51개의 센서를 가진 메쉬에서의 계산적 이점은 더욱 두드러졌다. 직접 PP 방식은 100번의 평가를 위해 약 65시간의 추정 시간이 필요했던 반면, WP와 UP는 각각 약 2시간과 3시간이 소ر요되었다. 이는 30~45배의 속도 향상을 의미한다.
• 오차 분석: 수치 실험은 로그-행렬식 항($e_1$)의 오차가 사후 평균 근사($e_2$)의 오차를 일반적으로 지배한다는 것을 확인시켜 주었다. 결과적으로, 저계수 근사만으로도 (평균을 정교화하기 위한 공액 경사법(CG)과 같은) 반복 솔버 없이 충분히 작동하는 경우가 많았으며, 이는 속도 향상을 더욱 높였다.
• 주변화(Marginalization): 본 프레임워크는 $\pi(\theta|y)$의 아모티제이션된 평가를 가우시안 쿼드러처와 결래하여 관심량(QoI)의 주변 분포를 성공적으로 계산하였으며, 이를 통해 하이퍼파라미터의 불확실성을 포착하고 이를 매개변수 추정치로 전파할 수 있음을 입증하였다.

의의 및 주장
본 논문은 (기저의 최적성을 희생하더라도) $\theta$-독립적인 프리컨디셔너를 사용하는 것이 순방향 문제가 비용이 많이 들고 많은 수의 주변 밀도 평가가 필요한 경우 매우 유리한 트레이드오프임을 주장한다. 제안된 방법은 비선형 사전 하이퍼파라미터(예: 상관 길이)를 가진 계층적 베이지안 역문제를 MCMC 샘플링이나 선형적 하이퍼파라미터 의존성에 대한 제한적인 가정 없이 효율적으로 해결할 수 있게 한다.

저자들은 현재의 접근 방식이 선형 순방향 연산자와 하이퍼파라미터가 순방향 맵 $A$ 자체에 들어가지 않는 경우로 제한된다고 언급한다. 이들은 향-후 연구에서 $A$가 $\theta$에 의존하는 문제에 대해 대리 모델(surrogate modeling) 기술을 통합하거나, INLA(Integrated Nested Laplace Approximation)와 유사하게 선형화 및 라플라스 근사를 통해 비가우시안 설정으로 확장할 수 있음을 시사한다. 그러나 현재의 기여는 엄격하게 선형 가우시안 조건부 설정과 비선형 사전 하이퍼파라미터에 초점을 맞추고 있다.