Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models

기술 요약: 잠재 가우시안 모델의 베이지안 추론을 위한 수정된 통합 라플라스 근사

문제 제기

잠재 가우시안 모델 (LGMs) 은 가우시안 프로세스, 공간 모델, 혼합 효과 모델을 포함하는 보편적인 베이지안 계층적 모델 클래스입니다. 이들은 $\pi(\theta, z, y) = \pi(\theta)\pi(z|\theta)\pi(y|\theta, z)$로 정의된 결합 밀도를 가지며, 여기서 $\theta$는 하이퍼파라미터, $z$는 잠재 가우시안 변수, $y$는 관측치를 나타냅니다.

LGM 에 대한 베이지안 추론의 주요 과제는 $z$의 높은 차원과 결합 사후분포 $\pi(\theta, z|y)$의 복잡한 기하학으로, 종종 효율적인 샘플링을 방해합니다. 일반적인 전략은 $\pi(\theta|y)$라는 저차원 타겟을 추론하기 위해 $z$를 주변화 (marginalize) 하는 것입니다. 가능도 $\pi(y|\theta, z)$가 가우시안이 아닐 때, 정확한 주변화는 계산적으로 불가능합니다. 표준 접근법인 통합 중첩 라플라스 근사 (INLA) 는 모드 $\hat{z}$를 중심으로 한 가우시안으로 조건부 사후분포 $\pi(z|\theta, y)$를 근사하기 위해 라플라스 근사를 사용합니다.

효율적이지만, 이 근사는 체계적인 "사후 오차"를 도입합니다. 가능도가 가우시안이 아닐 때, 근사 주변 사후분포 $\hat{\pi}(\theta|y)$는 점근적으로조차 실제 사후분포 $\pi(\theta|y)$와 다릅니다. Adjoint-Differentiated Laplace Approximation (ADLA) 와 같은 기존 방법들은 이 근사 사후분포에서 그라디언트 기반 샘플링 (예: 해밀토니안 몬테카를로) 을 허용하지만, 라플라스 근사로 인해 발생하는 근본적인 편향을 수정하지는 못합니다. 전체 결합 사후분포 $\pi(\theta, z|y)$에서 MCMC 를 실행하는 것은 점근적으로 정확하지만, $z$의 높은 차수 때문에 종종 계산적으로 불가능합니다.

방법론

저자들은 주변화의 계산적 이점을 유지하면서 라플라스 근사로 인한 오차를 수정하기 위한 중요도 샘플링 (importance sampling) 프레임워크를 제안합니다. 핵심 통찰은 통합 라플라스 근사를 단일 샘플을 가진 중요도 샘플링 추정기로 재구성할 수 있다는 점입니다. 샘플 수를 늘리면 추정기는 진정한 주변분포로 수렴합니다.

이 논문은 자동 미분 프레임워크 (JAX) 에 통합되어 그라디언트 기반 추론을 지원하도록 구현된 이 아이디어의 세 가지 구체적인 구현을 상세히 설명합니다.

1. 의사-주변 ADLA (PM-ADLA):

   • 메커니즘: 이 접근법은 라플라스 근사에서 샘플 $z_i$를 생성하는 데 사용되는 매개변수 $\theta$와 보조 무작위 변수 $\epsilon$에 대한 확장된 분포를 대상으로 합니다. 구체적으로, $z_i = \hat{z} + \sqrt{\Sigma}\epsilon_i$이며, 여기서 $\epsilon_i \sim \mathcal{N}(0, I)$입니다.
   • 특성: 이는 주변 가능도의 편향 없는 추정치를 제공합니다. 샘플 수 $n \to \infty$로 갈 때, 사후분포는 올바른 사후분포로 수렴합니다.
   • 절충점: 추론 문제의 차원을 $(n-1)d_z$만큼 증가시키며 ($d_z$는 $z$의 차원), HMC 단계당 $n$개의 밀도 평가가 필요합니다.

2. 준-몬테카를로 ADLA (QMC-ADLA):

   • 메커니즘: 무작위 보조 변수 대신 이 방법은 Sobol 시퀀스와 같은 낮은 불일치 시퀀스 (LDS) 를 사용하여 무작위성을 고정합니다. 보조 변수 $u_i$는 단위 큐브 내의 고정 점이며, $z_i$는 역 CDF 변환을 통해 생성됩니다.
   • 특성: 적절한 조건 하에서 중요도 샘플링의 추정 분산을 $O(n^{-2})$로 줄여 표준 몬테카를로보다 빠른 수렴을 제공합니다. 더 낮은 차원의 매개변수 공간 (ADLA 와 동일) 을 유지합니다.
   • 절충점: 점근적으로 정확하지만, 논문은 유한한 $n$의 경우 편향이 여전히 유의미할 수 있으며, 점의 고정된 특성으로 인해 중간 크기의 $n$에서도 실제 적용 시 큰 오차가 발생할 수 있다고 지적합니다.

3. 무작위화 준-몬테카를로 ADLA (RQMC-ADLA):

   • 메커니즘: 이는 이전 두 접근법을 통합합니다. 고정된 LDS 에 적용되는 단일 무작위 이동 변수 $U$를 사용하여 보조 변수 $u_i = (v_i + U) \pmod 1$를 생성합니다.
   • 특성: 이는 주변 가능도의 편향 없는 추정치를 제공하며 모델 차원을 증가시키지 않습니다 (보조 변수 $U$는 $z$와 동일한 차원을 가지지만 샘플 간에 공유됩니다).
   • 절충점: 모듈로 연산은 $U$에 대한 타겟 밀도에서 불연속성을 도입하여 표준 HMC 를 적용할 수 없게 만듭니다. 저자들은 Metropolis-within-Gibbs (MwG) 샘플러를 제안합니다: HMC 는 $U$에 조건부로 $\theta$를 업데이트하고, Metropolis-Hastings 단계는 $\theta$에 조건부로 $U$를 업데이트합니다.

잠재 변수 복원:
논문은 또한 표준 라플라스 근사보다 실제 사후분포 $\pi(z|\theta, y)$에 더 가까운 잠재 변수 $z$의 샘플을 복원하는 방법을 설명합니다. $n$개의 샘플 $z_1, \dots, z_n$에 대한 중요도 가중치를 계산함으로써, 실제 조건부 사후분포의 이산 근사를 구성할 수 있으며, 이는 잠재 변수 추론 또한 효과적으로 수정합니다.

주요 기여

• 이론적 재구성: 저자들은 통합 라플라스 근사가 단일 샘플을 가진 중요도 샘플링 추정치의 특정 사례임을 입증합니다. 이 프레임워크에서 샘플 크기를 늘리면 점근적으로 올바른 사후분포가 생성됨을 증명합니다.
• 알고리즘 변형: 계산 효율성, 차원성, 점근적 정확성 사이의 균형을 맞추는 세 가지 고유한 알고리즘 (PM-ADLA, QMC-ADLA, RQMC-ADLA) 을 제안하고 구현했습니다.
• 그라디언트 계산: 이 작업은 ADLA 프레임워크를 확장하여 이러한 중요도 샘플링 추정치에 대한 그라디언트를 계산할 수 있게 하여, 해밀토니안 몬테카를로 (HMC) 및 기타 그라디언트 기반 샘플러의 사용을 가능하게 합니다.
• 잠재 변수 복원: 주변 추론 도중 유도된 중요도 가중치를 사용하여 잠재 변수 $z$에 대한 개선된 사후분포 샘플을 얻는 절차가 제공됩니다.

실험 결과

이 방법들은 포아송 가능도를 가진 합성 가우시안 프로세스, 실제 데이터에 대한 희소 커널 상호작용 모델 (SKIMs), 그리고 혼합 효과 모델 (Epil2 데이터셋) 에서 평가되었습니다.

• 오차 감소: 모든 실험에서 제안된 방법들 (PM, QMC, RQMC) 은 표준 ADLA 에 비해 매개변수 평균의 추정 오차를 크게 줄였습니다.
• 수렴:
  • PM-ADLA: 사후 오차를 효과적으로 수정했지만, 증가된 차수와 여러 밀도 평가로 인해 계산 속도가 느렸습니다.
  • QMC-ADLA: 분산을 줄였지만, SKIM 의 특정 매개변수 평균 추정과 같은 일부 경우에서 큰 $n$에서도 지속적인 편향을 보였습니다.
  • RQMC-ADLA: 균형을 이루어, ADLA 의 편향을 수정하면서도 오차 측면에서 표준 HMC 와 유사한 성능을 달성했습니다. 다만, Gibbs 샘플링 단계로 인해 반복당 계산 비용이 더 높았습니다.
• 발산: 전체 사후분포에서 표준 HMC 가 발산 전이 (기하학의 불완전성 표시) 를 겪은 모델에서, 모든 주변화 방법 (ADLA 및 제안된 수정 방법 포함) 은 발산을 제거하여 근사 주변 기하학이 잘 제어됨을 보여주었습니다.
• 효율성: ADLA 가 가장 빠르지만 편향이 있었습니다. 제안된 방법들은 조정 가능한 절충점을 제공했습니다: $n$을 늘리면 계산 시간의 대가로 편향이 감소합니다.

중요성과 주장

이 논문은 주변화의 확장성을 유지하면서 정확성에 대한 점근적 보장을 제공하는 통합 라플라스 근사의 "수정된" 버전을 제공한다고 주장합니다. 그 중요성은 근사 방법 (INLA/ADLA 등) 의 효율성과 정확한 MCMC 의 정확성 사이의 간극을 메우는 데 있습니다.

저자들은 이 방법들이 사용자가 라플라스 근사의 정확성 제한에 구애받지 않고 자동 미분을 통해 확률적 프로그래밍 언어의 유연성을 활용할 수 있게 해준다고 강조합니다. 그들은 모델 차원을 증가시키지 않으면서 사후 오차를 수정하는 RQMC-ADLA 를 특히 유망한 접근법으로 제시하며, 불연속성을 처리하기 위해 더 복잡한 샘플링 체계 (MwG) 가 필요함을 인정합니다. 이 작업은 많은 응용 분야에서 이러한 수정의 계산 비용이 사후 편향 감소로 인해 정당화되며, 더 신뢰할 수 있는 하류 응용을 가능하게 한다고 시사합니다.