Estimating Complex Densities using Two-Stage Normalizing Flows

이 논문은 부분적으로만 접근 가능한 이질적인 정보 소스 (샘플, 분석적 표현, 구조적 가정 등) 를 통합하여 복잡한 타겟 확률 분포를 추정하고 샘플링하는 새로운 프레임워크를 제안합니다. 특히, 타겟 분포의 전체적인 밀도 함수를 직접 평가하거나 전체 변수에 대한 결합 샘플을 얻을 수 없는 상황 (예: 블랙박스 시뮬레이터, 접근 불가능한 가능도 함수 등) 에서 효과적인 추론을 가능하게 합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 많은 과학적 응용 (예: 계층적 베이지안 모델, 결합 밀도 추론) 에서 타겟 확률 분포는 단일한 형태로 제공되지 않습니다. 일부 구성 요소는 시뮬레이터나 외부 데이터셋을 통해 생성된 샘플로만 접근 가능하고, 다른 구성 요소는 수학적으로 명시된 식이나 통계적 가정을 통해 주어집니다.
• 한계: 기존 추론 방법 (MCMC, 변분 추론, 비모수적 밀도 추정, ABC 등) 은 대부분 타겟 분포의 전체 밀도 평가나 전체 결합 샘플 생성을 전제로 합니다. 따라서 부분적인 정보만 있는 상황에서는 적용이 어렵거나, 과도한 근사를 통해 원래 타겟과 다른 분포를 추론하게 되는 문제가 발생합니다.
• 목표: 샘플 기반 정보와 분석적 정보를 통합하여, **밀도 평가 (Density Evaluation)**와 **효율적인 샘플 생성 (Sample Generation)**을 동시에 수행할 수 있는 유연한 추론 방법론 개발.

2. 방법론: 2 단계 정규화 흐름 (Two-Stage Normalizing Flows)

저자들은 **정규화 흐름 (Normalizing Flows)**을 기반으로 한 2 단계 프레임워크를 제안합니다.

• 1 단계: 샘플 기반 구성 요소 학습 (Forward-KL Normalizing Flows)

  • 접근 가능한 각 하위 벡터 (subvector) 의 샘플 데이터를 사용하여 Forward-KL 발산을 최소화하는 정규화 흐름 모델을 학습합니다.
  • 이 단계에서 알 수 없는 밀도 함수 ($g_i$) 를 근사화하여 $\hat{g}_i$를 얻습니다.
  • 중요: 이 단계에서는 Jacobian 행렬식이 수치적으로 안정적이고 잘 정의되도록 단순하고 안정적인 변환 계층을 사용하여, 추후 2 단계 학습 시 발생할 수 있는 불안정성을 방지합니다.

• 2 단계: 전체 타겟 분포 재구성 (Reverse-KL Normalizing Flows)

  • 1 단계에서 학습된 밀도 근사치 ($\hat{g}_i$) 와 분석적으로 알려진 항 ($h$) 을 결합하여 전체 타겟 분포의 근사식 ($\tilde{f}_X \propto h \cdot \prod \hat{g}_i$) 을 구성합니다.
  • 이 구성된 분포를 대상으로 Reverse-KL 발산을 최소화하는 정규화 흐름 모델을 학습합니다.
  • 결과: 학습된 모델은 임의의 지점에서 타겟 밀도를 평가할 수 있을 뿐만 아니라, 기본 분포 (예: 표준 정규분포) 에서 샘플을 생성하는 것처럼 효율적으로 타겟 분포로부터 샘플을 추출할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 이질적 정보 통합 프레임워크: 샘플, 분석적 식, 구조적 가정이 혼합된 환경에서 타겟 분포를 재구성하는 최초의 정규화 흐름 기반 방법론을 제시했습니다.
2. 이중 기능성 (Dual Capability): 기존 방법들은 샘플 생성 또는 밀도 평가 중 하나에 치중하는 경향이 있었으나, 제안된 방법은 두 가지 작업을 모두 지원합니다.
3. 접근 불가능한 가능도 (Inaccessible Likelihood) 해결: 블랙박스 시뮬레이터나 소프트웨어에서 생성된 샘플을 활용하되, 소프트웨어 고유의 사전분포 (Software Prior) 가 결과에 미치는 왜곡을 제거하여 정확한 사후분포를 추정합니다.
4. 강건성 (Robustness): 시뮬레이션 및 실제 데이터 분석을 통해 제안된 방법이 기존 방법 (Two-Stage Fully Bayesian, TSFB) 보다 소프트웨어 사전분포의 선택에 덜 민감하고, 복잡한 비선형 구조와 의존성을 더 정확하게 포착함을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 1 (결합 밀도 추론): 서로 다른 하위 벡터 샘플과 조건부 독립 가정을 이용해 복잡한 비선형 타겟 분포를 재구성했습니다. 제안된 방법은 제한된 부분 정보만으로도 정확한 결합 구조와 한계 분포를 복원했습니다.
• 시뮬레이션 2 (접근 불가능한 가능도를 가진 계층적 모델):
  • 비교 대상: Two-Stage Fully Bayesian (TSFB) 알고리즘.
  • 결과: TSFB 는 소프트웨어에서 생성된 샘플을 제안 분포로 사용할 때, 해당 샘플이 타겟 분포의 고밀도 영역과 멀어지면 (사전분포 오지정 등) 추정이 왜곡되거나 잘리는 현상이 발생했습니다. 반면, 제안된 TSNF(Two-Stage Normalizing Flows) 방법은 소프트웨어 사전분포의 영향을 2 단계 학습 과정에서 상쇄하여 정확한 사후분포 형태와 의존 구조를 복원했습니다.
  • 정량적 평가: 모수 추정 오차 (평균, 분산) 및 공분산 행렬 오차 (Frobenius norm) 에서 TSNF 가 TSFB 보다 일관되게 낮은 오차를 보였습니다.
• 실제 데이터 적용 (천문학 - 백색 왜성 분석):
  • BASE-9 소프트웨어를 통해 생성된 30 개의 백색 왜성 (White Dwarf) 별에 대한 샘플 데이터를 활용했습니다.
  • TSNF 는 TSFB 보다 더 명확한 별별 (star-specific) 분포의 차이를 포착하고, KDE(커널 밀도 추정) 그래프에서 더 매끄러운 분포를 보여주었습니다. TSFB 는 이산적인 샘플 점에 집중되어 불연속적이고 거친 분포를 생성하는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 과학적 추론의 확장: 밀도 함수가 명시적으로 주어지지 않거나 계산이 불가능한 현대 과학 문제 (블랙박스 시뮬레이션, 메타 분석, 복잡한 계층적 모델) 에 대해 유연하고 강력한 추론 도구를 제공합니다.
• 유연성과 효율성: 복잡한 비선형 의존성과 다중 모드 (multimodality) 구조를 포착하면서도, 학습된 모델을 통해 매우 효율적인 샘플링과 밀도 평가를 가능하게 합니다.
• 미래 방향: 모델 검증 (Goodness-of-fit) 방법론 개발, 특정 문제 구조에 맞춘 흐름 계층 설계, 그리고 다른 근사 베이지안 계산 (ABC) 방법들과의 비교 연구가 필요함을 지적했습니다.

요약하자면, 이 논문은 불완전한 정보 (샘플 + 분석식) 를 가진 복잡한 확률 분포 문제를 해결하기 위해 정규화 흐름을 2 단계로 나누어 적용한 혁신적인 방법론을 제시하며, 기존 방법들의 한계를 극복하고 더 정확하고 안정적인 추론을 가능하게 함을 입증했습니다.