기술 요약: 시점 과정(Temporal Point Processes)의 발전: 베이지안, 신경망, 그리고 LLM 접근법

문제 정의

시점 과정(Temporal Point Processes, TPP)은 연속 시간에서 발생하는 이벤트 시퀀스를 특징짓기 위해 설계된 확률적 모델이다. 동기적 시계열(synchronous time series)과 달리, 이벤트 시퀀스(예: 신경 스파이크, 금융 주문, 소셜 미디어 포스트)는 비동기적이며, 종종 복잡한 자기 흥분(self-exciting) 또는 억제(inhibiting) 역학을 보이고, 과거 이벤트의 전체 이력에 의존할 수 있다. TPP 연구의 핵심 과제는 과거 이력 $H_{t^-}$가 주어졌을 때 시간 $t$에 이벤트가 발생할 확률을 정의하는 조건부 강도 함수(conditional intensity function) $\lambda^*(t)$를 모델링하는 것이다.

전통적인 통계적 TPP(예: Poisson, Hawkes process)는 해석 가능성을 제공하지만, 복잡한 데이터셋에 대한 표현력을 제한하는 경 است적인 파라미터 가정에 의존하는 경우가 많다. 반대로, 최근 딥러닝 및 대규모 언어 모델(LLM)의 발전은 더 큰 유연성을 제공하지만, 불확정성 정량화, 연속 시간에서의 계산 효율성, 그리고 의미론적 문맥(semantic context)의 통합과 관련된 과제를 야기한다. 본 서베이는 2020년부터 2025년까지의 기간에 초점을 맞추어, 진화하는 이러한 패러다임들을 종합적으로 검토하고자 한다.

방법론 및 분류

본 논문은 최근의 TPP 발전을 베이지안(Bayesian), 신경망(Neural), LLM 기반(LLM-based) 접근법이라는 세 가지 주요 방법론적 프레임워크로 구성한다.

1. 베이지안 비모수적 TPP (Bayesian Nonparametric TPPs)

이 프레임워크는 가우시안 프로세스(Gaussian Processes, GP)를 사용하여 모델링되는 무한 차원의 랜덤 변수로 강도 함수 자체를 취급함으로써 고정된 파라미터 형태를 넘어선다.

• 포아송 과정 (Poisson Processes): 강도 $\lambda(t)$는 $l \circ g(t)$로 모델링되며, 여기서 $g(t)$는 GP 사전 분포를 따르고 $l(\cdot)$은 연결 함수(예: 지수 함수, 시그모이드 함수)이다. 추론은 사후 확률의 "이중 난해함(doubly intractable)"(시간 및 함수 공간에 대한 적분)으로 인해 어렵다. 해결책으로는 잠재적 씬닝 포인트(latent thinned points)를 사용하는 마르코프 연쇄 몬테카를로(MCMC), 크로네커(Kronecker) 또는 스펙트럴 방법을 사용하는 라플라스 근사(Laplace approximation), 그리고 변분 추론(Variational Inference, VI)이 있다.
• 호크스 과정 (Hawkes Processes): 조건부 강도는 기저 함수(baseline) $\mu(t)$와 트리거링 함수(triggering function) $\phi(\tau)$로 구성된다. 베이지안 비모수적 접근법은 두 구성 요소 모두에 GP를 배치한다. 핵심 기술은 분기 잠재 변수(branching latent variables)(이벤트가 배경 이벤트인지 아니면 이전 이벤트에 의해 유발된 것인지를 나타냄)를 사용하여 우도를 독립적인 포아송 과정으로 분리함으로써 표준 GP 추론 방법(예: Gibbs sampling, EM 알고리즘, VI)을 사용할 수 있게 하는 것이다. 최근 연구들은 또한 조건부 공액성(conditional conjugacy)을 달성하기 위해 폴리아-감마(Pólya-Gamma) 데이터 증강을 활용한다.

2. 신경망 TPP (Neural TPPs)

신경망 TPP는 딥러닝 아키텍처를 활용하여 이력 임베딩과 다음 이벤트의 조건부 분포를 모델링한다. 본 서베이는 이를 세 가지 아키텍처 계열로 분류한다.

• 순환 신경망 TPP (Recurrent Neural TPPs): 각 이벤트가 발생할 때마다 순차적으로 은닉 상태 $h_n$을 업데이트하기 위해 RNN, LSTM 또는 GRU를 사용한다. 예측에는 계산 효율적($O(1)$)이지만, 순차적 학습 병목 현상($O(N)$)과 장기 의존성 포착의 어려움을 겪는다. 최근에는 상태 공간 모델(예: S4, Mamba)과의 통합을 통해 이러한 한계를 해결하고자 한다.
• 자기회귀 신경망 TPP (Autoregressive Neural TPPs): 장기 의존성을 포착하고 병렬 학습을 가능하게 하기 위해 셀프 어텐션 메커니즘을 갖춘 트랜스포머(Transformer) 아키텍처를 채택한다. 이 모델들은 이벤트 시간과 마크(marks)를 임베딩으로 인코딩하고 어텐션 점수를 사용하여 이력 표현을 생성한다. 그러나 KV 캐싱으로 최적화하지 않으면 일반적으로 이차적인 학습 복잡도($O(N^2)$)와 선형 예측 복잡도($O(N)$)를 가진다.
• 미분 방정식 기반 신경망 TPP (Differential Equation-based Neural TPPs): 이 모델들(예: Neural ODEs/SDEs)은 이벤트 사이의 연속적인 은닉 상태 진화를 정의한다. 상태는 이벤트 사이에서 신경 ODE를 통해 매끄럽게 진화하며, 이벤트 시점에는 신경 SDE를 통해 점프한다. 이를 통해 RNN 및 트랜스포머의 이산 시간 제한을 극복하고 연속 구간에 대한 유연한 강도 함수 모델링을 가능하게 하지만, 학습 중 비용이 많이 드는 수치 적분(numerical integration)을 감수해야 한다.
• 확산 기반 TPP (Diffusion-based TPPs): 이벤트 시퀀스 생성을 디노이징(denoising) 과정으로 취급하는 새로운 패러다임이다. 자기회귀 모델과 달리, 확산 모델은 전체 시퀀스(또는 여러 미래 이벤트)를 동시에 생성하여 장기 예측에서 오차 누적을 완화할 잠재력이 있지만, 시간적 일관성 유지와 계산 비용 측면에서 과제에 직면해 있다.

파라미터화 전략: 본 논문은 신경망 TPP가 다음 이벤트 분포를 파라미터화하는 세 가지 방식을 강조한다:

1. 조건부 강도 함수 ($\lambda^*$): 최대 가능도 추정(MLE)을 위해 수치 적분이 필요하다.
2. 조건부 밀도 함수 ($f$): "강도 프리(intensity-free)" 모델링; 적분을 피하여 효율적인 샘플링을 가능하게 한다.
3. 누적 강도 ($\Lambda^*$) 또는 분포 ($F$): 로그 우도를 적분 대신 미분을 사용하도록 재구성하여 자동 미분을 통해 학습 효율을 높인다.

3. LLM 기반 TPP (LLM-based TPPs)

이 신생 분야는 의미론적 및 멀티모달 측면을 처리하기 위해 대규모 언어 모델을 통합한다.

• LLM 영감 TPP (LLM-inspired TPPs): 기존의 신경망 TPP를 강화하기 위해 LLM 메커니즘(예: 프롬프트 러닝, 추론적 추론)을 사용한다. PromptTPP(지속 학습용)와 LAMP(인과 추론용)가 그 예이다.
• 직접적인 LLM-TPP 통합 (Direct LLM-TPP Integration): LLM을 핵심 시퀀스 모델로 취급한다. 이벤트는 토큰화(시간, 유형, 텍스트)되어 LLM에 직접 입력된다. TPP-LLM은 이벤트에 대한 텍스트 설명을 사용하며, Language-TPP는 연속적인 시간 간격을 바이트 수준 토큰으로 인코딩하여 LLM이 시간과 의미를 공동으로 모델링할 수 있게 한다.
• 확장 (Extensions): 최근 연구는 텍스트, 비디오, 타임스탬프를 포함하는 멀티모달 벤치마크(DanmakuTPPBench)와 검색 증강 생성(retrieal-augmented generation) 작업으로 TPP를 확장하고 있다.

주요 기여

1. 포괄적 분류 체계: 본 논문은 2020년 이후의 TPP를 베이지안, 신경망, LLM 패러다임에 걸쳐 구조적으로 검토한다. 특히 그동안 덜 검토되었던 베이지안 비모수적 TPP와 태동기 단계인 LLM 기반 TPP 분야를 강조한다.
2. 방법론적 합성: 다양한 모델링 접근 방식(예: 표현력 vs 계산 비용, 이산 시간 vs 연속 시간)과 파라미터화 전략(강도 기반 vs 밀도 기반) 사이의 트레이드오프를 상세히 설명한다.
3. 학습 및 평가 분석: 학습 목적 함수(MLE, Wasserstein distance, Noise Contrastive Estimation, Fisher Divergence)를 비교하고, 표준화된 벤치마크의 부재를 지적하며 EasyTPP 및 DanmakuTPPBench와 같은 최근의 노력을 조명한다.
4. 응용 분야 검토: 금융, 역학, 신경과학 등 다양한 도메인에서의 고전적인 응용(이벤트 예측, 인과 발견)을 재검토하며, 현대적 방법론이 전통적 베이스라인을 어떻게 개선하는지 기술한다.

결과 및 경험적 통찰

본 논문은 새로운 실험 결과를 제시하기보다는 기존 문헌의 경험적 발견을 합성한다:

• 성능: 신경망 TPP, 특히 트랜스포머 기반 모델은 대규모 복잡 데이터셋의 다음 이벤트 예측에서 고전적인 파라미터 모델(예: Hawkes)보다 일반적으로 우수한 성능을 보인다.
• 효율성: 조건부 밀도 또는 누적 강도 함수를 파라미터화하는 모델은 수치 적분을 피함으로써 강도 기반 모델과 대등한 정확도를 유지하면서도 더 나은 학습 효율을 달성하는 경우가 많다.
• 한계: 장기 예측(long-horizon prediction)은 모든 클래스에서 여전히 과제로 남아 있다. 자기회귀 방식은 오차 누적 문제를 겪고, 비자기회귀(확산) 방식은 시간적 일관성 유지에 어려움을 겪는다.
• LLM의 영향: LLM 기반 접근법은 의미론적 이해나 멀티모달 추론이 필요한 작업에서 유망함을 보여주지만, 순수하게 시간적 예측만을 다루는 벤치마크에서 반드시 압도적인 성능을 보이는 것은 아니다.

의의 및 향후 방향

본 논문은 통계적 엄밀성(베이지안 방법), 딥러닝의 유연성(신경망 방법), 그리고 언어적 이해(LLM) 사이의 간극을 메우는 시의적절한 자원임을 주장한다. 연구의 흐름이 단순히 이벤트 발생 확률을 모델링하는 것에서 풍부한 문맥을 가진 시간적 인덱스 데이터(temporally indexed event data)를 이해하는 것으로 이동하고 있음을 강조한다.

식별된 과제:

• 데이터 및 벤치마크: 표준화되고 큐레이션된 데이터셋 및 평가 프로토콜의 부재가 공정한 비교를 저해한다.
• 해석 가능성: 신경망 TPP는 종종 블랙박스로 작용하여 인과 발견 및 의사결정 지원을 어렵게 만든다.
• 확장성: 연속 시간 모델링과 긴 시퀀스의 결식은 계산적 병목 현상(예: 어텐션의 $O(N^2)$, 수치 적분 비용)을 생성한다.
• 샘플링 효율성: 유효한 이벤트 시퀀스를 생성하는 것은 우도 평가에 비해 여전히 계산 비용이 많이 든다.
• 멀티모달 통합: 연속적인 시간 표현을 이산적이고 고차원적인 양식(텍스트, 이미지)과 효과적으로 정렬하는 것은 여전히 미해결 과제이다.

저자들은 향후의 발전이 통계적 엄밀성과 신경망의 유연성, 그리고 언어 능력을 통합하는 데 달려 있으며, 이를 통해 광범위한 실세계 멀티모달 환경에서의 적용을 가능하게 할 것이라고 결론짓는다.