📊 statistics

Neural Networks for Parameter Estimation of the Discretely Observed Hawkes Process

본 논문은 시뮬레이션된 데이터를 사용하여 훈련된 완전 연결 신경망을 이용해 이산적으로 관측된 호크스 과정(Hawkes processes)의 매개변수를 추정하는 계산 효율적인 가능도 없는(likelihood-free) 방법을 제안하며, 이는 기존의 근사 가능도 추정치와 대등한 정확도를 달면서도 계산 시간을 크게 단축하고 빠른 불확실성 정량화를 가능하게 한다.

원저자: Jason J. Lambe, Feng Chen, Tom Stindl, Tsz-Kit Jeffrey Kwan

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jason J. Lambe, Feng Chen, Tom Stindl, Tsz-Kit Jeffrey Kwan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "눈먼 계수(Blind Count)"

당신이 아주 바쁜 커피숍을 이해하려고 노력하고 있다고 상상해 보세요. 당신은 모든 고객이 정확히 언제 문을 통해 들어왔는지, 그리고 이전 고객들의 북적임 때문에 얼마나 많은 새로운 고객이 유입되었는지(자기 흥분/self-excitation)를 알고 싶습니다. 이것이 바로 "호크스 프로세스(Hawkes Process)"가 모델링하는 것입니다. 지진이 여진을 일으키거나, 바이럴 트윗이 더 많은 공유를 불러일으키는 것과 같은 현상 말이죠.

보통 이 커피숍의 규칙을 이해하려면 모든 도착 시간을 기록한 완벽한 영상 녹화본이 필요합니다. 하지만 현실 세계에서는 종종 일일 장부만을 갖게 되는 경우가 많습니다. 예를 들어, 9시와 10시 사이에 15명이 왔고, 10시와 11시 사이에 20명이 왔다는 사실은 알지만, 그들이 정확히 몇 시 몇 분에 도착했는지는 모르는 식입니다.

통계학에서는 이를 이산 관측(discrete observation) 또는 "구간 검열(interval censoring)"이라고 부릅니다. 문제는 이러한 '수치(counts)'만 가지고 있을 때, 근저에 깔린 규칙(파라미터)을 찾아내기 위해 필요한 수학적 계산이 불가능할 정도로 복잡해진다는 점입니다. 이는 마치 1,000피스짜리 퍼즐을 맞추려는데, 조각들은 가방 안에 뒤섞여 있고 오직 상자에 그려진 완성된 그림만 주어진 상황과 같습니다.

기존의 해결책들: 느리거나 편향되거나

과학자들은 이를 해결하기 위해 이전에 여러 시도를 했지만, 한계에 부딪혔습니다.

"추측하고 확인하기(Guess-and-Check)" 방식: 누락된 시간을 추측한 뒤 이를 정교하게 다듬는 방식입니다. 속도는 빠르지만 종종 틀린 답을 내놓는 경-편향(biased) 문제가 있습니다.
"슈퍼컴퓨터" 방식: 매우 정확하지만, 달걀 하나를 삶기 위해 원자력 발전소를 돌리는 것만큼이나 엄청난 컴퓨팅 파워를 소모하는 방식입니다. 작동은 하지만 실시간으로 사용하기에는 너무 느립니다.

새로운 해결책: "AI 코치"

이 논문의 저자들은 영리한 우회 방법을 제안합니다. 새로운 데이터가 들어올 때마다 불가능한 수학 방정식을 매번 풀려고 노력하는 대신, 숙련된 코치처럼 행동하도록 신경망(Neural Network, NN)—인공지능의 한 종류—을 훈련시키는 것입니다.

코치를 훈련시킨 과정은 다음과 같습니다:

세상 시뮬레이션하기: 컴퓨터 시뮬레이션을 통해 커피숍(호크스 프로세스)의 상황을 수천 번 만들어냈습니다. 각 시뮬레이션마다 그들이 알고 있는 "진짜 규칙"을 설정했습니다.
장부 만들기: 각 시뮬레이션에 대해, 정확한 도착 시간은 숨긴 채 마치 일일 장부(수치)만 가지고 있는 것처럼 꾸몄습니다.
"빠른 추정" 기술: AI가 학습하는 것을 돕기 위해, 누락된 시간을 대략적으로 추측하는 간단하고 빠른 기술을 사용했습니다. 이것은 코치가 장부를 보고 "한 시간 동안 15명이 왔다면, 15명이 일정한 간격으로 도착했다고 가정하자"라고 말하는 것과 같습니다. 완벽하지는 않지만, 좋은 시작점이 됩니다.
훈련: AI에게 "대략적인 추측값"과 "장부의 수치"를 입력값으로 주고, 처음에 설정했던 "진짜 규칙"을 예측하도록 했습니다. AI는 다음과 같은 패턴을 학습했습니다: "장부가 X처럼 보이고 나의 대략적인 추측이 Y라면, 진짜 규칙은 Z이다."

요약 통계량의 마법

이 논문의 핵심 혁신은 AI에게 무엇을 입력했느냐에 있습니다. AI에게 전체 장부(매우 방대할 수 있음)를 통째로 주는 대신, **요약 통계량(Summary Statistic)**을 주었습니다.

당신이 날씨를 맞추려고 한다고 상상해 보세요. 하루의 모든 초 단위 온도를 다 알 필요는 없습니다. 그저 평균 기온, 최고 기온, 그리고 최저 기온만 있으면 됩니다.

저자들은 프로세스의 규칙에 대한 가장 중요한 단서들을 포착하는 데이터의 "요약본"을 만들었습니다.
이 요약본은 작고 단순하기 때문에 AI가 매우 빠르게 학습할 수 있습니다.
일단 훈련이 끝나면, AI는 새로운 장부를 보고 이 간단한 요약을 계산한 뒤, 즉각적으로 답을 내놓을 수 있습니다.

왜 이것이 게임 체인저인가

이 논문은 세 가지 주요 승리를 주장합니다.

속도: AI는 "아모티제이션(amortized, 분할 상환)"됩니다. 즉, 힘든 작업(훈련)은 단 한 번만 수행됩니다. 그 후 예측을 수행하는 데는 찰나의 시간밖에 걸리지 않습니다. 이는 매번 집을 나설 때마다 새 지도를 그리는 것이 아니라, 지도를 한 번 사두고 어떤 도시에서도 즉시 길을 찾는 것과 같습니다.
정확도: 비록 AI가 "대략적인 추측"을 바탕으로 훈련되었음에도 불구하고, 앞서 언급한 "슈레이컴퓨터" 방식(PMMH)만큼의 성능을 보여줍니다.
불확실성: AI는 단 하나의 답만 주는 것이 아니라 범위를 제공합니다. AI는 "규칙이 X와 Y 사이에 있다고 95% 확신합니다"라고 말할 수 있습니다. 이는 결과에 대해 얼마나 신뢰할 수 있는지 아는 데 매우 중요합니다.

실제 사례 테스트

저자들은 이 방법을 두 가지 실제 시나리오에 적용하여 테스트했습니다.

도쿄의 홍역: 매주 발생하는 홍역 사례 수를 분석했습니다.
호주의 살모넬라: 계절적 변화(예: 겨울철 독감 급증)를 고려하여 매주 발생하는 살모넬라 사례 수를 분석했습니다.

두 경우 모두, AI 방식은 기존의 가장 정확한 방법들과 매우 유사한 결과를 만들어내면서도 훨씬 더 빠르게 수행되었습니다.

결론

이 논문은 엄청난 컴퓨팅 파워를 요구하는 어려운 수학 문제를 해결하기 위해 인공지능을 사용하는 방법을 소개합니다. 시뮬레이션된 데이터를 통해 AI를 훈련시키고 정보의 영리한 "요약"을 사용함으로써, 저자들은 정확한 타이밍이 아닌 오직 전체 수치만을 알 수 있는 실제 데이터를 처리할 수 있는 빠르고, 정확하며, 즉시 활용 가능한 도구를 만들어냈습니다.

기술 요약: 이산적으로 관측된 호크스 과정(Hawkes Process)의 파라미터 추정을 위한 신경망

문제 정의
호크스 과정은 지진학, 금융, 역학 등의 분야에서 널리 사용되는 자기 흥분형 점 과정(self-exciting point process)이다. 연속적으로 관측된 데이터의 경우 최대 가능도(Maximum Likelihood, ML) 또는 기대 최대화(Expectation Maximisation, EM)를 통해 파라미터 추정이 잘 확립되어 있으나, 데이터가 이산적으로 관측되는 경우(구간 검열된 경우)에는 이러한 방법들을 적용하기 어렵다. 이 설정에서는 분리된 시간 구간 내의 총 이벤트 횟수만을 알 수 있으므로, 가능도 함수를 분석적으로 도출하는 것이 불가능하다.

기존의 접근 방식들은 정확도와 계산 효율성 사이에서 트레이드오프 문제에 직면해 있다. Shlomovich 등(2022b) 및 Schneider와 Weber(2023)의 연구와 같은 근사법은 잠재적 이벤트 시점을 재구성하려고 시도하지만 상당한 편향(bias)을 보인다. 반대로, Pseudo-Marginal Metropolis–Hastings(PMMH) 알고리즘(Chen et al., 2025)과 같이 매우 정확한 방법들은 비-마르코프(non-Markovian) 과정이나 대규모 데이터셋에 적용할 때 계산 비용이 지나치게 높다. 따라서 PMMH에 필적하는 정확도를 제공하면서도 계산 비용을 크게 줄일 수 있는 추정기가 필요하다.

방법론
저자들은 요약 통계량으로부터 호크스 과정의 파라미터를 추정하기 위해 완전 연결(fully connected) 피드포워드 신경망(NN)을 활용하는 우회적인(likelihood-free) 접근 방식을 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있다:

요약 통계량 구축:
원시 카운트 시퀀스를 네트워크에 직접 입력하는 대신, 저자들은 "단순(naive)" 임퓨테이션(imputation) 추정치를 기반으로 한 저차원 요약 통계량을 구축한다.
- 단일 임퓨테이션 추정(Single Imputation Estimate): 마르코프(지수 커널) 사례의 경우, 관측된 구간 내에 이벤트를 균등하게 분포시켜 잠재적 샘플 경로를 구성한다. 그 후, 이 임퓨테이션된 경로로부터 호크스 파라미터의 최대 가능도 추정치(MLE)를 계산한다. 이는 매우 정보량이 많은 최소 차원의 요약 통계량 역할을 한다.
- 음이항 자기회귀(Negative Binomial Autoregression, NBAR): 비-마르코프(비-지수) 커널의 경우, 임퓨테이션 추정치는 NBAR 파라미터에 의해 보완된다. 관측된 카운트에 NBAR 모델을 적합시켜 의존 구조와 과분산(overdispersion)을 포착함으로써, 자손 밀도(offspring density)에 관한 추가 정보를 제공한다.
- 적응성: 요약 통계량은 불균등한 크기의 검열 구간과 시변 배경율(time-varying background rates)을 처리할 수 있도록 설계되었으며, 이를 위해 비율을 정규화하고 배경 부피에 대한 조각별 근사(piecewise approximation)를 사용한다.
신경망 구조 및 학습:
- 입력/출력: 신경망은 요약 통계량을 입력으로 받아 각 파라미터의 사후 중앙값(점 추정치)과 상한 및 하한 $\tau$ -분위수를 포함하는 벡터를 출력한다. 이를 통해 점 추정과 베이지안 불확실성 정량화를 동시에 수행할 수 있다.
- 손실 함수: 네트워크는 특정 분위수의 사후 분포 $p(\theta | s)$ 를 타겟팅하기 위해 분위수 손실 함수(pinball loss)를 사용하여 학습된다.
- 아모티즈드 추론(Amortised Inference): NN은 사전 분포로부터 생성된 (파라미터-관측치 쌍) 대규모 시뮬레이션 데이터셋을 사용하여 한 번 학습된다. 일단 학습되면, 네트워크는 단 한 번의 순전파(forward pass)를 통해 새로운 데이터에 대한 추론을 수행하므로, 샘플 경로의 길이에 관계없이 추론 비용이 무시할 수 있는 수준이 된다.
사전 분포:
저자들은 양수 파라미터를 위해 "역 소프트플러스 노멀(inverse softplus normal, ISN)" 사전 분포를, 분기 비율(branching ratio) $\eta$ 를 위해 로짓-노멀(logit-normal) 사전 분포를 사용한다. 이러한 선택은 일반화 성능을 크게 해치지 않으면서도, 작은 파라미터 값 근처에 충분한 질량을 배치하여 NN의 성능을 개선하기 위한 실용적인 조치이다.

주요 결과
시뮬레이션 실험 결과, 제안된 NN 추정기는 정확도(평균 제곱 오차, MSE)와 피복 확률(coverage probabilities) 측면에서 최첨단인 PMMH 추정기와 대등한 성능을 보였다.

정확도: 지수 커널의 경우, NN 추정치는 다양한 집계 수준( $\Delta$ )에 걸쳐 PMMH 결과와 밀접하게 일치하며 최소한의 경험적 편향을 나타냈다.
효율성: NN 방식은 PMMH에 비해 계산 시간을 극적으로 단축한다. PMMH는 반복적인 샘플링이 필요하여 계산 비용이 높지만, NN은 초기 학습 단계 이후 즉각적인 추론을 제공한다.
대안과의 비교: NN 추정기는 스펙트럼 방법(Whittle 추정량) 및 편향된 재구성 방법(MCEM)보다 정확도와 안정성 모두에서 우수한 성능을 보였다.
실제 적용: 본 방법론은 도쿄의 주간 홍역 데이터와 뉴사우스웨일스주의 살모넬라 데이터에 적용되었다. 결과는 이전 연구들(Cheysson and Lang, 2022; Chen et al., 2025)의 결과를 재현하였으며, 계절적 변동을 위한 시변 배경율을 성공적으로 모델링하였다.

의의 및 주장
본 논문은 제안된 방법이 높은 정확도를 가진 가능도 기반 방법(PMMH 등)과 실용적 응용에 필요한 계산 효율성 사이의 간극을 성공적으로 메운다고 주장한다.

아모티즈드 추론(Amortised Inference): 주요 기여 중 하나는 계산 비용을 전적으로 학습 단계로 전환했다는 점이다. 이를 통해 재학습이나 추가적인 모델 피팅 없이 긴 샘플 경로 또는 실시간 데이터를 분석할 수 있다.
데이터 제약에 대한 강건성: 이 방법은 불균등한 구간 크기와 시변 배경율을 처리할 수 있어, 기존의 스펙트럼 및 근사 가능도 방법의 한계를 극복한다.
불확실성 정량화: 많은 근사법들이 표준 오차 추정치가 결여된 것과 달리, NN은 분위수 추정을 통해 직접적인 주변 신뢰 구간(marginal credible intervals)을 제공한다.
단순성: 요약 통계량은 단순한 임퓨테이션과 자기회귀에 의존하므로, 복잡한 잠재 경로 재구성 체계에 비해 전문가 지식이 훨씬 적게 요구된다.

저자들은 PMMH 알고리즘이 정확도 측면에서 여전히 골드 스탠다드(gold standard)로 남아 있지만, 제안된 NN 추정기가 특히 속도와 확장성이 중요한 환경에서 이산적으로 관측된 호크스 과정을 위한 매우 확장 가능하고 빠르며 정확한 대안이 될 수 있다고 결론짓는다.