Parametric inference for the discretely observed multivariate Hawkes process using particle Markov Chain Monte Carlo

기술 요약: 이산 관측된 다변량 호크스 프로세스(Multivariate Hawkes Processes)를 위한 파라미터 추론

문제 정의
다변량 호크스 프로세스(Multivariate Hawkes Process, MHP)는 자기 흥분(self-excitation) 및 교차 흥분(cross-excitation)의 특성을 가진 다차원 이벤트 시퀀스를 분석하기 위한 표준 모델이다. 최대 우도 추정(MLE) 및 기대 최대화(EM) 알고리 lack은 정밀한 이벤트 시간을 가진 MHP에는 잘 작동하지만, 데이터가 이산적인 구간(집계된 카운트)으로만 관측되는 경우에는 실패한다. 이러한 시나리오에서는 관측 구간 내의 정확한 이벤트 시간과 유형이 관측되지 않은 잠재 변수이기 때문에 우도 함수(likelihood function)가 해석적으로 다루기 어려워진다(intractable). 이러한 문제에 대한 기존 접근 방식들, 예를 들어 정수 값 자기 회귀(INAR) 근사, 수정된 몬테카를로 EM(MCEM), 거친 입도(coarse-grained) 호크스 프로세스, 그리고 베이지안 MCMC 등은 종종 편향(bias), 계산 비효율성, 또는 비정상적 배경율(non-stationary background rates) 및 불균등한 검열 구간을 처리하지 못하는 문제를 겪는다.

방법론
저자들은 **순차적 몬테카를로(Sequential Monte Carlo, SMC)**와 결합된 **의사 마진 깁스-사뮤엘슨-메트로폴리스-헤이스팅스(Pseudo-Marginal Metropolis-Hastings, PMMH)**를 사용하는 파라미터 추론 프레임워크를 제안한다.

1. 상태 공간 표현: 각 관측 구간 내의 관측되지 않은 이벤트 시간과 유형은 상태 공간 모델에서 잠재 변수로 취급된다. 집계된 데이터의 우도는 시간 구간에 따른 조건부 확률의 곱으로 분해된다.
2. SMC를 통한 불편 우도 추정: 다루기 어려운 우도 문제를 해결하기 위해, 저자들은 SMC 알고리즘을 사용하여 우도 함수의 불편 추정치(unbiased estimate)를 생성한다.
   • 제안 분포: 핵심적인 혁신은 관측된 카운트를 조건으로 하여 구간 내 잠재 이벤트 시간에 대해 **순서화된 균등 제안 분포(ordered uniform proposal distribution)**를 사용하는 것이다. 이는 모든 제안된 입자(particle)가 관측된 데이터와 일치하도록 보장한다(이는 제로 가중치를 생성할 수 있는 포아송 제안과 대조적이다). 이벤트 유형은 다변량 초기하 분포를 통해 할당된다.
   • 적응형 리샘플링: SMC 알고리즘은 유효 샘플 크기(Effective Sample Size, ESS)를 기반으로 적응형 리샘플링을 활용하여 입자 퇴화(particle degeneracy)를 완화하는 동시에 몬테카를로 노이즈의 도입을 최소화한다.
3. PMMH 알고리즘: 불변 우도 추정치는 메트로폴리스-헤스팅스 알고리즘 내의 참 우도 대신 사용된다. (Andrieu와 Roberts, 2009)의 이론적 결과는 우도 추정치가 불편(unbiased)하다면, 결과적으로 생성된 마르코프 체인의 정상 분포가 참 파라미터 사후 분포임을 보장한다.
4. 파라미터 추정: 사후 평균 또는 중앙값이 점 추정치로 사용되며, 신뢰 구간은 MCMC 샘플 분위수를 통해 도출된다. 이 방법은 B-스플라인(B-splines)을 통해 모델링된 시변 배경율을 지원하며, 불균등한 크기의 관측 창을 처리할 수 있다.

주요 기여

• 불편 추론(Unbiased Inference): 본 논문은 불변 우도 추정치를 구축함으로써 이산 관측된 MHP에 대한 정밀한 베이지안 추론(무한한 입자의 한계 내에서)을 수행하는 방법을 제공한다.
• 효율적인 제안 메커니즘: 순서화된 균등 제안의 도입은 이전의 포아송 기반 제안에 비해 우도 추정치의 분산을 크게 감소시킨다. 이를 통해 PMMH 알고리즘이 훨씬 적은 수의 입자를 사용하여 수렴할 수 있게 하여 계산 효율성을 획기적으로 개선하였다.
• 유연성: 이 프레임워크는 비정상적 배경율과 불규칙한 관측 창을 데이터 증강(data augmentation)이나 모델 이산화 없이도 수용할 수 있다.

결과

• 시뮬레이션 연구:
  • 타당성: SMC 추정치는 입자 수가 증가함에 따라 낮은 편향과 분산을 가지며 참 몬테카를로 추정치로 수렴한다.
  • 제안 효율성: 순서화된 균등 제안은 포아송 제안에 비해 로그 우도 추정치의 분산을 현저히 낮추어, 정확도를 유지하면서도 훨씬 적은 수의 입자(예: $J=10$)를 사용할 수 있게 한다.
  • 성능 비교: 다양한 집계 수준($\Delta \in \{0.1, 0.5, 1.0\}$)에 걸친 시뮬레이션에서, PMMH 추정기는 최소한의 편향과 잘 보정된 신뢰 구간을 보여주었다. 이는 해당 방법들이 상당한 편향을 보이는 높은 집계 수준에서도 평균 제곱 오차(MSE) 측면에서 MCEM 및 거친 입도 호크스 프로세스(CGHP) 방법보다 우수한 성능을 보였음을 입증한다.
  • 계산 속도: PMMH 방법은 입자의 병렬 계산을 통해 효율적으로 확장 가능하며, 참조된 구현에서 병렬화가 불가능했던 베이지안 MCMC 및 MCEM/CGHP 방법보다 빨랐다.
• 실증적 적용:
  • 본 방법은 2018년부터 2021년까지의 카불-낭가르하르(아프가니스탄) 및 **카이베르 파크툰콰(파키스탄)**의 일일 테러 공격 횟수에 적용되었다.
  • 모델은 역동성을 성공적으로 포착하였으며, 두 지역 모두에서 유의미한 자기 흥분과 파키스탄에서 아프가니스탄으로의 강한 교차 흥분($\hat{\eta}_{1,2} = 0.438$)을 밝혀냈다.
  • 추정된 배경율은 미국 철수 이후 아프가니스탄에서의 공격 가속화를 반영하였으며, 이는 외부 보고와 일치한다. 모델은 관측된 데이터를 잘 적합하였으며, 경험적 카운트는 시뮬레이션된 95% 분위수 범위 내에 존재했다.

의의 및 주장
저자들은 자신들의 방법이 이산 관측된 MHP를 분석하기 위한 통계적으로 엄격하고 계산 효율적인 대안을 제공한다고 주장한다. SMC의 불변 특성을 PMMH 프레임워크 내에서 활용함으로써, 이 방법은 MCEM의 고유한 편향과 CGHP 모델의 근사 오차를 피한다. 순서화된 균등 제안의 구체적인 기여는 이 방법의 속도와 안정성을 가능하게 하는 결정적 요인으로 강조되며, 이는 고품질의 대안들과 경쟁할 수 있는 동시에 즉각적인 불확실성 정량화(신뢰 구간)와 비정상적 프로세스에 대한 유연성을 제공한다. 논문은 실험적으로는 추정치가 잘 작동하지만, 특정 MHP 맥락에서의 일치성(consistency) 및 점근적 정규성(asymptotic normality)에 대한 이론적 증명은 현재 일반적인 SMC/PMMH 이론에 의존하고 있으며 향후 과제로 남아 있다고 겸허히 언급하였다.