Robust Simulation Based Inference Through Robust Optimal Transport

기술적 요약: 강건한 최적 수송을 통한 강건한 시뮬레이션 기반 추론

문제 제기
시뮬레이션 기반 추론 (SBI) 은 모수 모델 $\{P_\theta : \theta \in \Theta\}$의 가능도 함수가 해석적으로 계산 불가능하지만, 모델로부터의 시뮬레이션은 가능한 경우를 위한 통계적 추론 프레임워크입니다. 표준 SBI 방법들은 종종 데이터 생성 분포 $P$가 모델의 정확한 구성원 ($P = P_{\theta^*}$) 이라고 가정합니다. 그러나 실제로는 모델이 거의 완벽하지 않으며, 데이터는 오염에 노출될 수 있습니다. 기존 강건한 방법들은 일반적으로 "허버 (Huber) 오염"(데이터의 일부 $\epsilon$이 임의의 노이즈로 대체되는 질량 오염) 또는 기하학적 교란 (데이터 포인트가 작은 거리만큼 이동하는 경우) 중 하나를 처리합니다. 가능도가 사용 불가능한 SBI 설정에서 두 가지 유형의 오염을 동시에 처리할 수 있는 방법에는 상당한 격차가 존재합니다. 또한, 많은 강건한 SBI 접근법은 최대 평균 불일치 (MMD) 나 워asserstein 거리에 의존하는데, 이는 각각 하이퍼파라미터 선택 (예: 커널 대역폭) 에 대한 민감성이나 질량 오염에 대한 강건성 부족으로 고통받습니다.

방법론
저자들은 불확실성 정량화를 위한 정규 부트스트랩과 새로운 발산 측도를 통합한 부트스트랩 최소 강건 반제약 워asserstein-2(B-MRSW) 프레임워크를 제안합니다.

1. 발산 ($\ell_\lambda$): 이 방법의 핵심은 $\lambda$-강건 반제약 워asserstein-2($\lambda$-RSW) 발산입니다. 확률 측도 $P_1, P_2$에 대해 다음과 같이 정의됩니다:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   여기서 $KL$은 쿨백 - 라이블러 발산이고$W_2$는 워asserstein-2 거리입니다. 이 공식은 KL 로 페널티화된 비용으로 $Q$를 통해 첫 번째 주변 분포를 재가중할 수 있게 함으로써 표준 최적 수송의 경질 주변 분포 제약을 완화합니다. 이는 분포 제약 경험적 가능도 (Distributionally Constrained Empirical Likelihood) 에서 영감을 받았습니다.

   • 강건성: 저자들은 중간 값의 $\lambda$(예: $\lambda=1$) 에 대해 $\ell_\lambda(P, P_\theta)$를 최소화하면 $P = (1-\epsilon)Q + \epsilon F$이고 $W_2(Q, P_{\theta^*}) \le \rho$인 기하학적 + 허버 (G+H) 오염 모델에 강건한 모수 추정을 산출한다고 증명합니다.
   • 한계: $\lambda \to 0$일 때, $\ell_\lambda$는 $W_2^2$(허버 오염에 민감) 로 수렴합니다. $\lambda \to \infty$일 때, 평균 최근접 이웃 거리 (분산 추정에 무의미함) 로 수렴합니다.

2. 반이산 근사를 위한 알고리즘:
   $P_n$(경험적 데이터) 이 이산적이고 $P_\theta$는 종종 연속적이므로, 문제는 반이산적입니다. 저자들은 벡터 $g \in \mathbb{R}^n$에 대한 오목 최대화 문제로 min-min 문제를 변환하는 이중 형식 (정리 3.1) 을 유도합니다:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   그들은 이 값을 근사하기 위해 $O(n^2/\epsilon^2)$ 시간에 $O(\epsilon)$ 기대 절대 오차의 수렴 보장을 제공하는 확률적 서브-그래디언트 상승 (SGA) 알고리즘인 알고리즘 1을 제안합니다.

3. 추론 파이프라인:

   • $\lambda$ 선택: 다양한 $\lambda$ 값에 걸쳐 적합된 모델과 재가중된 경험적 측도 간의 워asserstein-2 거리를 플롯한 그래프에서 "팔꿈치"를 관찰하여 데이터를 기반으로 한 휴리스틱이 $\lambda$를 선택합니다.
   • 모수 추정: 비볼록 목적 함수 $\ell_\lambda(P_n, P_\theta)$를 알고리즘 1 을 통해 평가하면서, 공분산 행렬 적응 진화 전략 (CMA-ES) 을 사용하여 최소 발산 추정량 $\hat{\theta}_\lambda$를 찾습니다.
   • 불확실성 정량화: 최소 $\lambda$-RSW 추정량 위에 정규 부트스트랩이 적용됩니다. $M$개의 부트스트랩 데이터셋이 생성되고, 각각에 대해 CMA-ES/SGA 파이프라인이 실행되어 추정량의 분포를 생성하고 신뢰 구간을 형성합니다.

주요 기여

1. 이론적 강건성: 이 논문은 $\lambda$-RSW 발산이 SBI 에서 단일 통합 방법으로 이전에는 다루어지지 않았던 결합 기하학적 + 허버 오염 모델 하에서 이론적 강건성을 제공함을 확립합니다.
2. 알고리즘 개발: 저자들은 확률적 서브-그래디언트 상승 접근법을 활용하여 반이산 강건 반제약 최적 수송을 계산하기 위한 수렴 보장을 가진 최초의 알고리즘을 제공합니다.
3. 데이터 기반 튜닝: 임의의 사용자 지정을 제거하고 강건성 파라미터 $\lambda$를 선택하기 위한 원칙적이고 데이터 기반의 휴리스틱이 도입되었습니다.
4. 불확실성 정량화: 이 프레임워크는 적절한 점근적 커버리지를 가진 신뢰 구간을 제공하기 위해 정규 부트스트랩을 통합하여, 강건한 베이지안 및 빈도주의 추론에서 일반적인 실패 모드를 해결합니다.

결과
이 방법은 두 가지 벤치마크에서 평가되었습니다:

1. 단변량 정규 분포: G+H 오염 (Student's $t$ 또는 이산화된 정규 분포와 디랙 질량의 혼합) 하에서 B-MRSW 는 평균과 분산을 성공적으로 복원합니다. 반면, 표준 최소 워asserstein-2 추정은 허버 오염 하에서 실패합니다.
2. G-and-K 분포: 표준 SBI 벤치마크로 사용되는 복잡한 4 파라미터 분포입니다. 저자들은 B-MRSW 를 NPL-MMD 방법 (Dellaporta 등, 2022) 과 비교합니다.
   • 민감도: NPL-MMD 성능은 가우시안 커널 대역폭에 매우 민감합니다. 작은 변화가 왜도 추정의 막대한 오차와 낮은 커버리지로 이어집니다.
   • 강건성: B-MRSW 는 휴리스틱에 의해 선택된 광범위한 $\lambda$ 값에 걸쳐 낮은 평균 제곱 오차 (MSE) 와 높은 커버리지율을 유지합니다.
   • 효율성: B-MRSW 는 전역 최적화를 위한 CMA-ES 사용으로 인해 NPL-MMD(국소 그래디언트 하강 사용) 보다 더 많은 시뮬레이터 호출이 필요하지만, 저자들은 지역 최소값을 피하고 강건성을 보장하기 위해 이것이 필요하다고 주장합니다.

의의 및 주장
이 논문은 B-MRSW 가 모델이 오지정되고 데이터에 기하학적 및 질량 오염이 모두 포함된 시나리오에서 SBI 를 위한 강건한 대안을 제공한다고 주장합니다. 저자들은 MMD 의 커널 대역폭과 같이 세심하고 종종 튜닝하기 어려운 하이퍼파라미터에 의존하는 기존 방법과 달리, 그들의 접근법은 강건성 파라미터에 대한 데이터 기반 전략을 사용한다고 강조합니다. 부트스트랩과 전역 최적화 요구 사항으로 인해 계산 집약적이지만 병렬화가 가능하다고 지적합니다. 이 작업은 모든 SBI 문제를 해결한다고 주장하지는 않지만, 특히 가능도 없는 설정에서 기하학적 강건성과 허버 강건성 사이의 격차를 목표로 하며, (식별 가능성까지) 진정한 모수를 목표로 하면서 유효한 신뢰 구간을 제공하는 도구를 제공합니다. 향후 작업은 계산 비용을 줄이기 위해 시뮬레이터에 대한 비모수적 대리 모델을 훈련하는 것을 포함할 것으로 제안됩니다.