Simulation and inference methods for non-Markovian stochastic biochemical reaction networks

기술 요약: 비마르코프적 확률 반응 네트워크를 위한 시뮬레이션 및 추론 방법론

문제 정의
확률적 반응 네트워크의 확률 모델은 유전자 전사와 번역과 같은 복잡한 생물학적 시스템에서 발생하는 내재적 노이즈를 포착하는 데 필수적이다. 표준 정식화는 마르코프 과정(미래의 역학이 현재의 상태에만 의존함)에 의존하지만, 많은 생물학적 과정은 이력이 남는 역학을 보이며 이는 비마르코프적 모델링을 필요로 한다. 이러한 과정들은 반응의 시작과 완료 사이의 지속 시간이 시스템 상태와 시간에 모두 의속되는 확률적 지연(stochastic delays)을 포함하는 경우가 많다.

주요 과제는 이러한 비마르코프 시스템을 시뮬레이션하고 파라미터를 추론하는 데 있어 발생하는 계산적 불가능성이다.

1. 시뮬레이션: 비마르코프 시스템을 위한 정확한 시뮬레이션 방법(예: 비마르코프 Gillespie 알고리즘)은 특히 지연이 시스템 상태에 의존할 때 계산 비용이 많이 든다. 더욱이, 기존 문헌에는 정확한 방법과 결합될 수 있는 효율적인 근사적 시뮬레이션 방식( $\tau$-leaping과 유사한)이 부족하다.
2. 추론: 이러한 시스템에 대한 베이지안 추론은 화학 마스터 방정식(CME)에 의존하는 난해한 우도 함수(likelihood function)로 인해 어려움을 겪는다. 결과적으로 연구자들은 우도가 없는 시뮬레이션 기반 추론 방법(예: 근사 베이지안 계산, ABC)에 의존하게 된다. 그러나 이러한 방법은 방대한 수의 시뮬레이션을 요구하므로 계산 집약적이다.
3. 다중 충실도 격차(Multifidelity Gap): 저비용의 저충실도 근사치와 고비용의 고충실도 시뮬레이션을 결합하는 가속화 전략인 다층 몬테카를로(MLMC) 및 다중 충실도 기법은 마르코프 시스템에는 성공적으로 적용되어 왔다. 그러나 비마르코프 시스템에 대한 적용은 정확한 근사 시뮬레이터의 부재와, 결정적으로, 정확한 모델과 근사 모델 사이에서 양의 상관관계를 가진 샘플 경로를 생성하는 데 필요한 정확한 결합(coupling) 체계의 부재로 인해 제한적이었다.

방법론
저자들은 상태 및 시간 의존적 지연이 있는 잘 섞인(well-mixed) 비마르코프 확률 반응 네트워크를 위한 종합적인 프레임워크를 개발한다.

1. 수학적 정식화:
   저자들은 지연 반응을 수용할 수 있도록 커츠(Kurtz)의 무작위 시간 변경 표현(random time-change representation)을 확장한다. 저자들은 화학 종의 개수뿐만 아니라 진행 중인 지연 반응의 개수($X^*_j(t)$)를 포함하는 시스템 상태 벡터를 정의한다. 이를 통해 시스템은 각 시작된 지연의 내부 시간을 추적할 수 있으며, 이를 통해 비지수적 대기 시간 분포를 모델링할 수 있게 한다.

2. 정확한 확률 시뮬레이션 (nM-NRM):
   저자들은 차기 반응 방법(Next Reaction Method, NRM)을 비마르코프 설정으로 일반화한다(알고리즘 3).

• 전체 대기 시간을 샘플링하는 대신, 이 방법은 각 반응 채널(즉각적 반응 및 지연 시작 모두)과 각 활성 지연을 위해 독립적인 단위율 푸아송 과정(unit-rate Poisson processes)을 유지한다.
• 이 방법은 현재 상태와 진행 중인 지연의 내부 시간에 의존하는 누적 해저드 함수(cumulative hazard functions)를 활용한다.
• 알고리즘은 모든 반응 이벤트가 발생할 때마다 모든 활성 채널의 "남은 간격(remaining intervals)"을 동적으로 업데이트하여, 상태 및 시간에 의존하는 임의의 이벤트 간 시간 분포를 정확하게 시뮬레이션할 수 있게 한다.

3. 근사적 확률 시뮬레이션 (nM-TLM):
   가속화를 위해 저자들은 비마르코프 $\tau$-leaping 방법을 도출한다(알고리즘 4).

• 이 방법은 시스템 상태가 시간 단계 $\tau$ 동안 일정하다고 가정한다.
• 이 방법은 고정된 구간 $\tau$ 동안의 프로펜시(propensities)를 적분하여 누적 해저드 함수를 근사한다.
• 결정적으로, 이 방법은 $\tau$ 내에서의 지연 시작을 "그룹"(벌크 도착)으로 처리하며, $\tau$ 내의 여러 시작을 동일한 시작 시간을 갖는 것으로 취급한다. 이러한 이산화는 정확한 방법보다 계산 비용이 적게 드는 근사 샘ple 경로를 생성할 수 있게 한다.

4. 결합 체계 (Coupling Scheme):
   저자들은 정확한(nM-NRM) 경로와 근사적인(nM-TLM) 경로 사이의 양의 상관관계를 가진 쌍을 생성하기 위한 새로운 결합 메커니즘을 도입한다(부록 B에 상세 기술).

• 두 시뮬레이션은 동일한 기저의 비균질 푸아송 과정(공통 무작위 수)에 의해 구동된다.
• 이러한 결합은 정확한 경로와 근사적인 경로 사이의 차이를 최소화하며, 이는 MLMC 및 다중 충실도 추론에 필요한 분산 감소를 위한 전제 조건이다.

5. 추론 프레임워크:
   저자들은 이러한 시뮬레이션 도구를 **다중 충실도 근사 베이지안 계산(MF-ABC)**에 적용한다.

• 저자들은 nM-TLM을 저충실도 시뮬레이터로 사용하고, nM-NRM을 고충실도 시뮬레이터로 사용하여 보정을 수행한다.
• 결합 체계를 사용하여, 저자들은 저충실도 근사로 인해 발생하는 편향을 수정하는 가중치 전략(식 11)을 구현하며, 이를 통해 사후 분포의 불편 추정량(unbiased estimator)을 얻는다.

주요 기여

• 일반화된 정확 시뮬레이션: 지연이 시간과 시스템 상태 모두에 의존하는 경우를 처리할 수 있는 비마르코프적 차기 반응 방법(nM-NRM)의 확장형을 제공하며, 이는 고정되거나 시간에만 의존하는 지연에 국한되었던 이전 연구들을 일반화한다.
• 비마르코프 $\tau$-Leaping: 임의의 이벤트 간 시간 분포를 지원하는 최초의 비마르코프 네트워크용 근사적 확률 시뮬레이션 알고리즘(nM-TLM)을 제공하며, 이는 계산 효율적인 저충실도 대안을 제공한다.
• 정확한 결합 체계: 비마르코프 시스템을 위해 양의 상관관계를 가진 정확 및 근사 샘플 경로를 생성하는 새로운 방법을 제시한다. 이는 비마르코프 설정에 MLMC 및 다중 충실도 방법을 적용할 수 있게 하는 핵심적인 공백을 메운다.
• 다중 충실도 추론: 이러한 시뮬레이션 도구가 파라미터 추론을 크게 가속화할 수 있음을 MF-ABC를 통해 입증하였다.

결과
저자들은 두 가지 사례 연구를 통해 방법론을 검증한다:

1. 지연 자동 억제 유전자 조절 (Delayed Auto-Inhibition Gene Regulation): 상태 의존적 지연이 있는 mRNA 전사 및 단백질 번역 모델.
   • 수렴성: 지연 분포가 지수 분포가 될 때($\alpha \to 1$), nM-NRM은 표준 마르코프 NRM으로 올바르게 축소된다.
   • 근사 오차: nM-TLM은 기대되는 약한($O(\tau)$) 및 강한($O(\tau^{1/2})$) 수렴율을 보인다. 근사가 경로상의 오차(예: 큰 $\tau$에서 단백질 피크치를 과대평가함)를 유발하지만, 결합 체계는 정확한 경로와 근사 경로를 비교할 때 분산을 효과적으로 감소시킨다.
2. 비마르코프 SIS 역학 모델 (Non-Markovian SIS Epidemic Model): 감염 및 회복 과정이 Weibull 대기 시간 분포를 따르는 모델.
   • MLML 효율성: 불편 MLMC 추정량을 사용하여, 저자들은 직접적인 몬테카를로 샘플링에 비해 MSE 대비 비용 측면에서 수 자릿수(order-of-magnitude)의 계산 효율성 향상을 달성했다. 더 작은 시간 단계 $\tau$가 더 강력한 결합 효과 덕분에 이 설정에서 더 효율적임을 발견했다.
3. 추론 성능:
   • 유전자 조절 모델에서, MF-ABC 방식(nM-TLM을 저충실도로 사용하고 nM-NRM으로 보정)은 동일한 사후 평균 정확도에 대해 표준 ABC 거부 샘플링에 비해 5배의 속도 향상을 달고 달성했다.
   • MF-ABC 방법은 미지의 파라미터($\beta_{m*}, \beta_p, \alpha$)에 대한 사후 주변 확률 밀도를 골드 스탠다드 ABC 추정치와 비교했을 때 10배의 계산 속도 향상을 보이며 성공적으로 회복했다.

의의 및 주장
본 논문은 비마르코프 모델의 실질적인 구현을 가로막는 결정적인 장벽을 제거하는 기초적인 프레임워크를 제공한다고 주장한다. 차기 반응 방법과 $\tau$-leaping을 비마르코프 설정으로 확장하고, 무엇보다 유효한 결합 체계를 확립함으로써, 저자들은 이러한 복잡한 시스템에 대한 강력한 분산 감소 기법(MLMC 및 다중 충실도 방법)의 사용을 가능하게 한다.

저자들은 자신의 기여가 시연된 특정 ABC 구현에 국한되지 않는다고 강조한다. 시뮬레이션 알고리즘과 결합 체계는 일반적이며, 정확한 시뮬레이션과 근사 시뮬레이션을 결합하는 데 의존하는 모든 시뮬레이션 기반 추론 방법(순차 몬테카를로, 신경 사후 추정 또는 기타 MLMC 변형 포함)에 적용 가능하다. 이 연구는 이러한 방법들이 이전에 비마르코프 확률 시뮬레이션의 비용 때문에 다루기 힘들었던 전세포(whole-cell) 모델 및 기타 고비용의 정량적 생물학 문제들을 시뮬레이션할 수 있게 할 것임을 시사한다.