Data-informed posterior approximation for Bayesian linear inverse problems

기술적 요약: 베이지안 선형 역문제에 대한 데이터 기반 사후 근사

문제 제기
본 논문은 $y = Gx + \eta$로 공식화된 대규모 베이지안 선형 역문제에 내재된 계산적 과제를 다룬다. 여기서 $x \in \mathbb{R}^n$은 미지 매개변수, $y \in \mathbb{R}^m$은 관측치, $\eta$는 가우시안 잡음이다. 주요 어려움은 매개변수 차원 $n$이 극도로 클 때 ($n \gg m$) 발생하며, 이때 사후 분포의 평균과 공분산을 직접 계산하는 것이 불가능해진다. 구체적으로, 행렬 $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (여기서 $\Sigma$는 사전 공분산, $\lambda$는 하이퍼파라미터) 의 역행렬 계산은 계산적으로 불가능한 수준이다. 카를로네 - 르베 (Karhunen–Loève) 전개나 가능도 정보 하위공간 (LIS) 과 같은 기존 차원 축소 기법들은 종종 사전 공분산의 명시적 분해에 의존하거나 고차원 매개변수 공간 내에서 완전히 작동하여, 전방 연산자와 관측 데이터 간의 상호작용을 완전히 활용하지 못한다. 또한, 하이퍼파라미터 $\lambda$의 선택은 일반적으로 매개변수 공간에서 반복적인 대규모 계산을 필요로 한다.

방법론
저자들은 계산의 초점을 매개변수 공간에서 데이터 공간으로 이동시키는 프레임워크를 제안한다. 방법론의 핵심은 다음과 같은 구성 요소들을 포함한다:

1. 데이터 공간 기하학적 프레임워크:
   논문은 $M = G\Sigma G^\top$이고 $\mathcal{N}(M)$이 그 영공간 (null space) 인 몫 힐베르트 공간 $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$을 정의한다. 이 공간은 내적 $\langle [u], [v] \rangle_M = u^\top M v$를 갖는다. 저자들은 이 데이터 공간에서 매개변수 공간 $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$으로의 등거리 매장 (isometric embedding) $\iota$를 확립한다. 그들은 사전에서 사후로의 업데이트가 이 매장의 이미지인 $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$에 완전히 국한됨을 증명하며, 이는 $\text{rank}(G)$와 같은 차원을 가진다. 이는 사후의 정보적 방향이 본질적으로 저차원이며 주변 매개변수 차원 $n$과 무관함을 보여준다.

2. 몫 공간 골럽 - 카한 쌍대삼각화 (Q-GKB):
   $M$을 명시적으로 형성하거나 그 범위에 대한 직교 투영을 계산하지 않고 데이터 기반 크릴로프 부분공간을 구성하기 위해, 저자들은 Q-GKB 라는 새로운 반복 알고리즘을 개발한다. 이 방법은 몫 공간에서 정의된 연산자에 직접 골럽 - 카한 쌍대삼각화 과정을 적용한다. 알고리즘은 데이터 공간의 쌍을 이룬 크릴로프 부분공간에 대한 정규직교 기저를 형성하는 두 개의 벡터 시퀀스 $\{u_i\}$와 $\{v_i\}$를 생성한다. 중요한 점은 Q-GKB 가 $M$과 $\Gamma^{-1}$과의 행렬 - 벡터 곱에만 의존하는 행렬 없는 (matrix-free) 방법으로, 대규모 밀집 행렬의 저장과 분해를 피한다는 것이다.

3. 통합 경험적 베이지안 추론:
   이 프레임워크는 하이퍼파라미터 $\lambda$를 동시에 추정하고 사후를 근사하기 위해 경험적 베이지안 추론을 통합한다. Q-GKB 에 의해 생성된 저차원 크릴로프 부분공간에 한계 가능도 최적화 문제를 투영함으로써, 이 방법은 반복 과정에서 유도된 소규모 행렬만을 사용하여 근사 음의 한계 로그 가능도 $L^{(k)}(\lambda)$를 계산한다. 이를 통해 고차원 매개변수 공간으로 되돌아가지 않고도 각 단계에서 $\lambda_k$를 효율적으로 결정할 수 있다.

4. 사후 근사:
   근사된 사후 평균과 공분산은 데이터 기반 크릴로프 부분공간 내에서 구성된다. 근사 평균은 반복적으로 정규화된 해와 일치하며, 근사 공분산은 소규모 행렬의 역행렬 계산을 통해 구해진다. 논문은 Förstner 거리와 Kullback–Leibler (KL) 발산을 사용하여 이러한 근사에 대한 이론적 오차 한계를 제공하며, 오차가 행렬 쌍 $(M, \Gamma)$의 일반화 고유값의 감쇠에 의해 지배됨을 보여준다.

주요 기여

• 기하학적 특성화: 논문은 데이터 공간의 몫 공간 기하학을 통해 사후 업데이트의 저차원 본질에 대한 엄밀한 수학적 특성화를 제공하며, 데이터 공간과 매개변수 공간 사이의 등거리 대응을 확립한다.
• Q-GKB 알고리즘: 골럽 - 카한 쌍대삼각화 과정에 대한 새로운 몫 공간 공식화가 개발되어, 완전히 행렬 없는 방식으로 데이터 기반 크릴로프 부분공간을 구성할 수 있게 되었다.
• 동시 추정: Q-GKB 반복에 경험적 베이지안 추론을 통합함으로써 하이퍼파라미터 추정과 사후 근사를 동시에 수행할 수 있게 되었고, 반복적인 고차원 계산의 필요성이 제거되었다.
• 이론적 보장: 저자들은 근사된 사후 평균과 공분산에 대한 명시적 오차 한계를 유도하여 수렴 속도를 데이터 공간의 스펙트럼 특성과 연결했다.

수치적 결과
이 방법은 세 가지 대표적인 문제에서 검증되었다:

1. 1 차원 프레드홀름 적분 방정식: 하이퍼파라미터와 해 재구성의 빠른 수렴을 보여주며, 유효 데이터 공간 차원이 매개변수 차원보다 현저히 작음을 입증했다.
2. 2 차원 이미지 디블러링: 이 방법이 적절히 잘못 제기된 (ill-posed) 문제를 처리할 수 있음을 보여준다. Q-GKB 접근법은 사후 평균에 대해 직접 LIS 방법보다 빠르게 수렴하며, 공분산에 대해서는 동등한 정확도를 달성한다. 또한 LIS 가 불가능한 표준 하드웨어에서도 계산적으로 실행 가능하다.
3. X 선 컴퓨터 단층촬영 (CT): 사전 공분산이 행렬 없는 FFT 기반 접근법으로 처리되는 대규모 응용 ($n=65,536$) 에서, 이 방법은 사후 평균과 불확실성 (분산) 을 효과적으로 포착함을 보여주었다. 사후 평균은 빠르게 수렴하고 공분산은 부분공간 차원이 증가함에 따라 안정화되었다.

의의 및 주장
본 논문은 데이터 공간 공식화가 베이지안 역문제에 대해 근본적으로 다른 계산 패러다임을 제공한다고 주장한다. 초점을 데이터 공간으로 이동시킴으로써, 이 방법은 고차원 매개변수 공간 및 명시적 사전 공분산 분해와 관련된 계산 병목 현상을 우회한다. 저자들은 그들의 프레임워크가 데이터 기반 부분공간에 대한 엄밀한 기하학적 이해를 제공하며, 하이퍼파라미터 추정과 사후 근사를 위한 확장 가능하고 행렬 없는 알고리즘을 제공한다고 주장한다. 수치 실험은 이론적 발견을 뒷받침하며, 이 방법이 효과적이고 안정적이며 사후 분포에 대한 직접적인 접근이 계산적으로 불가능한 대규모 문제를 처리할 수 있음을 입증한다. 논문은 이 관점이 사후 추론을 위한 새로운 길을 열고 무한 차원 및 비선형 역문제로의 프레임워크 확장과 같은 미래 방향을 제시한다고 결론짓는다.