Bayesian inference for ordinary differential equations models with heteroscedastic measurement error

1. 문제 제기 (Problem Statement)

• 배경: 상미분방정식 (ODE) 모델은 생물학, 생태학, 역학 등 다양한 과학 분야에서 동적 시스템을 기술하는 데 널리 사용됩니다. 이러한 모델의 매개변수를 데이터로부터 추론할 때, 관측 오차 (measurement error) 의 통계적 분포를 올바르게 지정하는 것이 필수적입니다.
• 현황: 기존 연구에서는 관측 오차가 평균이 0 인 가우시안 분포를 따르며 분산이 일정하다는 동질성 (homoscedasticity) 가정을 주로 사용했습니다. 이는 계산의 편의성 때문입니다.
• 문제점: 실제 세계의 데이터는 측정 조건, 환경 변동, 시스템의 고유한 변동성 등으로 인해 오차의 분산이 시간에 따라 변하거나 시스템 상태에 의존하는 이질성 (heteroscedasticity) 을 보이는 경우가 많습니다.
• 위험: 이질적 오차를 무시하고 동질적 가정을 적용하면, 매개변수 추정의 편향 (bias) 이 발생하고 예측 불확실성 (predictive uncertainty) 이 과소 또는 과대 평가되어 신뢰할 수 없는 결론을 초래할 수 있습니다. 특히 데이터가 풍부한 경우, 고정된 분산 가정은 과도하게 자신감 있는 (overconfident) 추정을 유발합니다.
• 기존 방법의 한계: 이질적 오차를 처리하기 위해 더 복잡한 매개변수 오차 모델을 도입할 수 있지만, 이는 MCMC 절차 내에서 추가 매개변수를 추정해야 하므로 계산 비용이 증가하고, 여전히 모델이 잘못 지정될 (mis-specified) 위험이 있습니다.

2. 방법론 (Methodology)

저자들은 이질적 측정 오차를 가진 ODE 모델의 베이지안 매개변수 추정을 위한 2 단계 준-모수적 (semi-parametric) 프레임워크를 제안합니다. 이 접근법은 기계적 동역학 (mechanistic dynamics) 과 확률적 변동성 (stochastic variability) 을 분리하여 처리합니다.

1 단계: 측정 오차 과정 추정 (HetGP 기반)

• 목표: ODE 모델의 매개변수 추론을 수행하기 전에, 데이터로부터 측정 오차의 시간 의존적 구조를 직접 학습합니다.
• 기법: 이질적 가우시안 프로세스 (Heteroscedastic Gaussian Process, HetGP) 를 사용합니다.
  • 관측치 $\tilde{y}_i = f(t_i) + \epsilon_i$에서 잠재 평균 함수 $f(t)$와 입력 의존적 오차 분산 $\sigma^2(t)$를 동시에 모델링합니다.
  • $f(t)$와 $\log \sigma^2(t)$를 각각 가우시안 프로세스로 가정합니다. 로그 변환을 통해 분산이 항상 양수가 되도록 보장합니다.
• 추론 과정:
  • 평균 GP 와 분산 GP 의 결합 로그 주변 가능도 (log marginal likelihood) 를 교대 최적화 (alternating optimization) 를 통해 추정합니다.
  • 초기 동질 분산 가정에서 시작하여, 평균 GP 를 업데이트하고, 잔차의 제곱을 분산 과정의 관측치로 사용하여 분산 GP 를 업데이트하는 과정을 수렴할 때까지 반복합니다.
  • 이 단계에서 시간별 추정된 분산 $\hat{\sigma}^2(t_i)$를 얻습니다.

2 단계: ODE 매개변수에 대한 베이지안 추론

• 목표: 1 단계에서 추정된 시간 의존적 분산 $\hat{\sigma}^2(t_i)$를 고정된 값으로 간주하고, 이를 ODE 모델의 가능도 함수에 통합하여 매개변수 $\theta$를 추론합니다.
• 가능도 함수:
  • 표준 동질 가우시안 가능도 대신, 추정된 분산을 반영한 이질적 가우시안 가능도를 사용합니다.
  • $p(\tilde{y} | \theta, \hat{\sigma}^2(t)) \propto \exp\left( -\frac{1}{2} \sum \frac{(\tilde{y}_i - g(y(t_i; \theta)))^2}{\hat{\sigma}^2(t_i)} \right)$
• 추론 알고리즘:
  • 메트로폴리스 - 헤이스팅스 (Metropolis-Hastings, MH) 알고리즘을 사용한 MCMC 를 통해 사후 분포 (posterior distribution) 에서 표본을 추출합니다.
  • 이 2 단계 접근법은 ODE 동역학과 오차 과정을 동시에 최적화하는 복잡한 결합 최적화를 피하면서도 이질적 불확실성을 고려하여 계산 효율성과 견고성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: ODE 모델 추론에서 이질적 오차를 처리하기 위해 HetGP 와 베이지안 추론을 결합한 2 단계 준-모수적 프레임워크를 최초로 제안했습니다.
2. 모델 분리 전략: 기계적 모델 (ODE) 과 통계적 오차 모델을 분리함으로써, 복잡한 오차 구조에 대한 가정을 완화하면서도 ODE 매개변수의 해석 가능성을 유지합니다.
3. 자동화 및 유연성: HetGP 를 통해 데이터로부터 오차 구조를 자동으로 학습하므로, 사전에 특정 오차 모델을 지정할 필요가 없습니다. 또한, 이 프레임워크는 가우시안 오차뿐만 아니라 더 복잡한 오차 과정으로 확장 가능합니다.
4. 불확실성 정량화 개선: 고정된 분산 가정으로 인한 과신 (overconfidence) 문제를 해결하고, 데이터의 실제 변동성에 부합하는 더 정확한 예측 구간을 제공합니다.

4. 결과 (Results)

저자들은 시뮬레이션 연구와 2 가지 실제 사례 (산호초 회복, 홍역 유행) 를 통해 제안된 방법의 우수성을 입증했습니다.

• 사례 1: 로지스틱 성장 시뮬레이션 (Logistic Growth Simulation)
  • 시간에 따라 분산이 증가하는 인공 데이터를 생성하여 평가했습니다.
  • 결과: 데이터 수가 증가할수록 동질적 모델은 참인 사후 분포 (true posterior) 와 멀어지는 편향을 보인 반면, 제안된 HetGP 기반 접근법은 참 분포에 더 가깝게 수렴했습니다. 최대 평균 불일치 (MMD) 지표를 통해 제안된 방법이 동질적 모델보다 훨씬 정확한 사후 추론을 제공함을 확인했습니다.
• 사례 2: 산호초 회복 (Coral Reef Recovery)
  • AIMS 의 실제 장기 모니터링 데이터를 활용했습니다.
  • 결과: HetGP 는 시간에 따라 변하는 관측 불확실성을 성공적으로 포착했습니다. 이질적 모델을 적용한 결과, 매개변수 간의 결합 사후 분포 (joint posterior) 와 예측 구간이 동질적 모델과 다르게 나타났으며, 데이터의 변동성에 더 잘 적응하는 예측 구간을 제공했습니다.
• 사례 3: 1984 년 홍역 유행 (1984 Measles Epidemic)
  • SIR 모델을 사용하여 실제 역학 데이터를 분석했습니다.
  • 결과: 유행의 정점 (peak) 에서는 오차 분산이 크고, 고조 (trough) 에서는 작다는 패턴을 HetGP 가 잘 포착했습니다. 이질적 모델을 적용한 결과, 초기 감염자 수와 전염률에 대한 사후 분포가 더 집중되었으며, 기본 재생산 수 ($R_0$) 의 추정치가 더 신뢰할 수 있는 분포를 보였습니다. 동질적 모델은 불확실성을 과소평가하는 경향이 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 핵심 통찰: ODE 모델에서 측정 오차의 구조를 신중하게 모델링하는 것은 동적 모델 자체를 지정하는 것만큼이나 중요합니다. 이질성을 무시하는 것은 편향된 추정과 잘못된 불확실성 정량화로 이어집니다.
• 실용적 가치: 제안된 2 단계 프레임워크는 복잡한 오차 과정을 명시적으로 모델링할 필요 없이 데이터로부터 학습함으로써, 실제 과학적 응용 분야에서 ODE 매개변수 추정의 신뢰성을 크게 향상시킵니다.
• 향후 과제: 현재는 가우시안 오차 가정에 기반하고 있으나, 향후 비가우시안 오차 (예: skewed, heavy-tailed) 를 처리할 수 있도록 프레임워크를 확장하여 더욱 포괄적인 베이지안 추론 체계를 구축할 필요가 있습니다.

이 논문은 동적 시스템 모델링에서 불확실성 정량화의 중요성을 재조명하며, 데이터 기반의 유연한 오차 모델링이 과학적 추론의 정확도를 높이는 핵심 요소임을 강조합니다.