기술 요약: 순차적 샘플링 모델에서의 가능도 없는 추론을 위한 다목적 베이지안 최적화 (MOBOLFI)

1. 문제 정의

심리학 및 소비자 행동 모델링을 포함한 많은 과학 분야에서, 통계 모델은 합성 데이터를 생성하는 생성 프로세스(시뮬레이터)에 의해 정의됩니다. 이러한 방식은 도메인 지식을 통합하는 데는 자연스럽지만, 모델이 난해한 가능도 함수(intractable likelihood functions)를 가질 수 있어 전통적인 베이지안 추론을 불가능하게 만듭니다. 가능도 없는 추론(Likelihood-Free Inference, LFI) 또는 시뮬레이션 기반 추론(Simulation-Based Inference, SBI)은 오직 모델 시뮬레이션에만 의존함으로써 이 문제를 해결합니다.

특정한 과제는 다중 소스 데이터(예: 선택 결과와 반응 시간과 같은 순차적 샘플링 모델)를 다룰 때 발생합니다. 기존의 효율적인 LFI 방법인 BOLFI(Bayesian Optimization for Likelihood-Free Inference)는 일반적으로 여러 데이터 소스의 불일치(discrepancies)를 하나의 스칼라 메트릭으로 결합해야 합니다. 이러한 결합은 매우 주의 깊게 처리되지 않으면 다음과 같은 문제를 초래할 수 있습니다:

• 정보 손실: 서로 다른 데이터 소스의 상대적 중요성이 가려질 수 있습니다.
• 보수적인 불확실성 정량화: 결과적인 사후 분포가 지나치게 확산될 수 있습니다.
• 충돌 감지 불능: 데이터 소스들이 상충하는 정보(예: 모델 오지정(misspecification)으로 인한 경우)를 제공할 때, 단일 결합 불일치는 모든 소스의 고(高) 가능도 영역을 동시에 탐색하는 데 실패할 수 있습니다.

기존의 구조화된 밀도 추정 방법(예: 합성 가능도)은 과도한 시뮬레이션을 요구하는 경우가 많아, 계산 비용이 많이 드는 시뮬레이터에는 적합하지 않습니다.

2. 방법론: MOBOLFI

저자들은 **다목적 베이지안 최적화를 통한 가능도 없는 추론(Multi-objective Bayesian Optimization for Likert-Free Inference, MOBOLFI)**을 제안합니다. 이 방법은 단일 소스 BOLFI 접근 방식을 확장하여, 다중 목적 최적화 프레임워크 내에서 각 데이터 소스의 불일치를 별도의 목적으로 취급함으로써 다중 소스 데이터를 처리합니다.

핵심 메커니즘

1. 다차원 불일치: 단일 불일치 $\Delta$ 대신, MOBOLFI는 벡터 형태의 불일치 함수 $\mathbf{D}(\theta) = (D_1(\theta), \dots, D_K(\theta))^\top$를 정의합니다. 여기서 각 $D_k$는 $k$번째 데이터 소스에 대한 시뮬레이션 데이터와 관측 데이터 사이의 기대 불일치를 나타냅니다.
2. 대리 모델(Surrogate Modeling): 벡터 값 불식 함수 $\mathbf{D}(\theta)$를 위한 **다변량 가우시안 프로세스(GP)**가 대리 모델로 사용됩니다. 이 모델은 각 불일치의 불확실성뿐만 아니라, 서로 다른 데이터 소스 간의 불일치 사이의 **의존 구조(공분산)**를 포착합니다.
3. 다목적 베이지안 최적화 (MOBO): 알고리즘은 시뮬레이션 파라미터 $\theta$를 순차적으로 선택하기 위해 MOBO를 사용합니다. 구체적으로, 노이즈가 포함된 기대 하이퍼볼륨 개선(Noisy Expected Hypervolume Improvement, NEHVI) 획득 함수를 사용합니다. 이는 탐색을 "파레토 프런티어(Pareto frontier)"—모든 데이터 소스에 대해 불일치가 동시에 최소화되는 지점(또는 한 소스를 개선하면 다른 소스가 악화되는 지점)—로 유도합니다.
4. 가능도 근사: GP 대리 모델이 훈련되면, 이를 통해 불일치의 분포를 근사합니다. 결합 가능도와 개별 데이터 소스에 대한 가능도는 GP 예측에서 유도된 다변량 정규 분포의 누적 분포 함수(CDF)를 사용하여 근사됩니다.
   • 결합 가능도는 $p(\mathbf{S}_{obs}|\theta) \propto \Phi(\mathbf{t}; \boldsymbol{\mu}_n(\theta), \boldsymbol{\Sigma}_n(\theta) + \boldsymbol{\Sigma})$로 근사됩니다.
   • 개별 소스에 대한 주변(marginal) 및 조건부 가능도(예: $p(T_{obs}|\theta)$)는 다변량 확률을 분해함으로써 유도되며, 이를 통해 데이터의 부분 집합에 대한 별도의 추론이 가능해집니다.

구현 세부 사항

• 허용 오차(Tolerance) 선택: 허용 오차 벡터 $\mathbf{t}$는 훈련된 불일치의 $q$-분위수(예: $q=0.05$)를 기준으로 설정됩니다.
• 스케일링: 수치적 안정성과 효과적인 탐색을 보장하기 위해, MOBO 알고리즘에 입력되기 전 불일치 값을 (예: 평균 절대 편차를 사용하여) 스케일링합니다.
• 사후 샘플링: 근사된 가능도는 추가적인 시뮬레이션 없이 근사된 사후 분포로부터 샘플링하기 위해 MCMC 알고리즘(구체적으로 차분 진화 MCMC) 내에서 사용됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 분리된 고(高) 가능도 영역의 효율적 탐색: MOBOLFI는 단일 목적 접근 방식이 결합된 메트릭의 지역 최적점(local optima)에 갇히기 쉬운 상황에서도, 단일 실행 내에서 여러 데이터 소스의 고 가능도 영역을 탐색할 수 있습니다.
2. 정보 손실 방지: 불일치를 단일 스칼라로 결합할 필요가 없으므로, MOBOL side는 각 데이터 소스의 고유한 정보 함량을 보존합니다. 이는 임의의 가중치를 사용하여 불일치를 결합할 때 흔히 발생하는 "매우 보수적인" 불확실성 정량화 현상을 방지합니다.
3. 진단 능력: 이 방법은 개별 데이터 소스에 대한 가능도 근사를 가능하게 합니다. 이를 통해 연구자들은 다음을 수행할 수 있습니다:
   • 데이터 소스 간의 상충하는 정보(모델 체크) 확인.
   • 개별 파라미터 추정에 대한 특정 데이터 소스의 상대적 중요도 결정.

4. 실험 결과

저자들은 세 가지 예제를 통해 MOBOLFI를 검증합니다:

A. 토이 예제 (브라운 운동)

• 설정: 10차원 파라미터를 추정하기 위해 두 가지 데이터 소스(정규 관측값 및 이산화된 브라운 운동)를 사용하는 합성 모델.
• 결과:
  • MOBOLFI는 가중 합산된 불일치를 사용한 BOLFI에 비해 더 낮은 분산과 실제 사후 분포에 더 가까운 정렬을 가진 사후 분포를 생성했습니다.
  • MOBOLFI는 추가적인 계산 비용 없이 단일 실행 후에도 개별 데이터 소스에 대한 실제 사후 분포를 성공적으로 회복했습니다.
  • 오지정된 시나리오(두 데이터 소스가 서로 다른 참값에 의해 생성된 경우)에서, MOBOLFI는 상충하는 정보를 식별해낸 반면, BOLFI는 상충하는 참값들 사이의 위치에 사후 모드를 형성하여 고 가능도 영역을 제대로 포착하지 못했습니다.

B. 합성 MLBA (Multi-attribute Linear Ballistic Accumulator)

• 설정: 선택 및 반응 시간(RT) 데이터에 피팅된 의사결정 모델(SSM). MLBA의 폐쇄형(closed-form) 가능도가 "골드 스탠다드" 역할을 합니다.
• 결과:
  • MOBOLFI 사후 분포는 BOLFI 사후 분포보다 폐쇄형 골드 스탠다드에 훨씬 더 가까웠습니다.
  • MOBOLFI는 반응 시간(RT) 데이터가 백엔드 파라미터(결정 임계값/난이도)를 추정하는 데 중요하고, 선택(CH) 데이터가 프론트엔드 파라터(선호도)를 추정하는 데 더 유익하다는 것을 보여주었습니다.
  • 오지정된 시나리오에서, MOBOLFI는 파라미터 공간을 효과적으로 탐색하여 상충하는 참값 근처의 지역 최적점을 식별했으나, BOLFI는 두 소스 모두에 대해 높은 가능도를 가진 전체 영역을 탐색하는 데 실패했습니다.

C. 실제 데이터 (승차 공유 운전사)

• 설정: 전기차(EV)에 대한 싱가포르 승차 공유 운전사들의 선호도에 대한 선택 및 RT 데이터를 사용한 경험적 연구.
• 결과:
  • MOBOLFI 근사치는 BOLFI보다 폐쇄형 가능도 추정에 훨씬 더 가까웠습니다.
  • 분석 결과, 선택 데이터가 선호도 파라미터 추정을 주도하는 반면, RT 데이터는 결정 임계값을 추정하는 데 필수적임을 밝혀냈습니다.
  • 결합 데이터는 개별 데이터 소스만 사용했을 때보다 더 효율적인 추정을 제공했습니다.

D. 데이 케어 센터 예제 (부록)

• 설정: 여러 센터의 요약 통계량을 사용한 박테리아 전파율에 대한 추론.
• 결과: MOBOLFI는 단일 소스 맥락(데이터 요약이 분할된 경우)에서도 BOLFI와 경쟁력 있는 성능을 보이며 견고함을 입증했습니다.

5. 의의 및 주장

본 논문은 복잡하고 계산 비용이 많이 드는 모델에서 다중 데이터 소스를 가진 베이지안 추론을 위한 강력한 프레임워크로서 MOBOLFI를 제 propose합니다. 그 의의는 다음과 같습니다:

• 오지정 처리: 복잡한 모델(SSM 등)에서 신뢰할 수 있는 분석을 위해 필수적인 데이터 소스 간의 충돌을 탐지하고 분석하는 메커니즘을 제공합니다.
• 시뮬레이션 효율성: 밀도 추정을 위해 대규모 데이터 배치가 필요한 방법들보다 더 적은 시뮬레이션으로 정확한 근사를 달성하여, 비용이 많이 드는 시뮬레이터에 적합합니다.
• 해석 가능성: 가능도 기여도를 분리함으로써, 단일 불일치 접근 방식에서는 사라지는 "어떤 데이터 소스가 특정 파라미터 추정을 주도하는가"에 대한 더 깊은 통찰력을 제공합니다.

저자들은 MOBOLFI가 SSM을 위해 고안되었지만, 다중 소스 데이터를 가진 모든 LFI 문제에 적용 가능하다고 언급했습니다. 또한 요약 통계량의 선택과 BO 알고리즘의 초기화에 대한 민감도 문제를 과제로 남기며, 이를 향후 연구 분야로 제시했습니다.