🤖 machine learning

From Jumps to Signatures: a Generative Method for Temporal Point Processes

이 논문은 시그니처 기법을 확장하기 위해 사건 간격 임베딩을 사용하여 이산적 사건 시퀀스와 연속적 경로 분석 사이의 간극을 메움으로써, 전역적 궤적 수준의 학습과 수학적으로 정당화된 분포 평가를 가능하게 하는 시간적 점 프로세스(Temporal Point Processes)를 위한 새로운 생성 모델인 sigTPP를 소개한다.

원저자: Niels Cariou-Kotlarek, Vasileios Lampos

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Niels Cariou-Kotlarek, Vasileios Lampos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 예측 불가능한 것을 예측하기

컴퓨터에게 무작위한 시간에 발생하는 일련의 사건들을 이해하도록 가르치고 있다고 상상해 보세요. 이것들은 단순한 '사건'이 아닙니다. 지진, 트윗, 주식 거래, 또는 사람들이 호텔에 체크인하는 것과 같은 것들입니다. 수학에서는 이를 **시공간 점 과정(Temporal Point Processes, TPP)**이라고 부릅니다.

문제는 이러한 이벤트들이 매우 불규칙하다는 점입니다. 이들은 "점프"(갑자기 트윗이 나타나는 것처럼) 형태로 발생하며, 매끄럽게 흐르는 선이 아닙니다. 대부분의 기존 AI 모델은 마치 영화를 이해하기 위해 개별 프레임만을 보는 것처럼, 한 번에 하나의 이벤트만을 보고 이 시퀀스를 학습하려고 합니다. 이 방식은 전체적인 이야기가 어떻게 흘러가는지, 즉 더 큰 그림을 놓치기 쉽습니다.

이 논문은 **시그니처(Signatures)**라는 수학적 도구를 사용하여, 이벤트 시퀀스의 전체 이야기를 한꺼번에 바라봄으로써 AI가 이러한 사건들을 이해하도록 가르치는 새로운 방법을 소개합니다.

문제점: "계단" vs "미끄럼틀"

이 논문의 해결책을 이해하려면, 기존 방식의 문제점을 먼저 알아야 합니다.

불규칙한 계단 (데이터): 실제 세상의 이벤트 데이터는 계단처럼 보입니다. 평평하게 유지되다가 갑자기 툭 올라가고, 다시 평평하다가 또 툭 올라갑니다. 수학적으로 이는 càdlàg 경로(급격한 변화가 있는 경로를 뜻하는 멋진 용어)라고 불립니다.
매끄러운 미끄럼틀 (도구): 저자들이 사용하고자 하는 수학적 도구인 **시그니처(Signatures)**는 매끄러운 미끄럼틀(연속적인 경로)에서 가장 잘 작동하는 하이테크 스캐너와 같습니다. 이 스캐너는 계단을 직접 스캔할 수 없습니다. 계단의 날카로운 모서리 때문에 혼란을 겪기 때문입니다.
기존의 AI 접근 방식: 이전의 AI 모델들은 각 단계를 개별적으로 관찰함으로써 계단을 학습하려 했습니다. 그들은 "마지막 단계가 이러했을 때, 다음 단계는 무엇인가?"라고 물었습니다. 이는 마치 노래를 한 번에 한 음씩만 들으면서 배우려는 것과 같습니다. 음 하나하나는 맞출 수 있을지 몰라도, 노래의 멜로디와 리듬은 놓치게 됩니다.

해결책: "사건 간 간격 임베딩 (Interarrival Embedding)"

저자들은 이 계단을 매끄러운 스캐너에 적합하게 만들기 위한 영리한 트릭을 발명했습니다. 이를 **사건 간 간격 임베딩(Interarrival Embedding)**이라고 부릅니다.

비유: 계단을 경사로로 바꾸기
울퉁불퉁한 계단(이벤트 데이터)이 있다고 상상해 보세요. 당신은 오직 매끄러운 경사로에서만 작동하는 장치로 이를 스캔하고 싶습니다.

트릭: 계단을 그대로 스캔하는 대신, 계단의 모서리들을 잇는 매끄럽고 직선적인 선을 그립니다.
결과: 이제 원래의 계단을 완벽하게 표현하면서도 매끄러운 경사로(연속적인 경로)가 생겼습니다.
왜 작동하는가: 이 새로운 경사로는 원래의 계단이 가진 모든 정보(얼마나 많은 단계가 있는지, 폭이 얼마인지)를 담고 있으면서도, "시그니처" 스캐너가 읽을 수 있을 만큼 충분히 매끄럽습니다.

이를 통해 저자들은 처음으로 불규칙하고 튀는 이벤트 데이터에 시그니처 도구를 적용할 수 있게 되었습니다.

새로운 모델: SIGTPP

이 "경사로" 트릭을 사용하여, 저자들은 SIGTPP라는 새로운 AI 모델을 구축했습니다.

기존 방식 (국소적 학습): 기존 모델은 플래시카드를 암기하는 학생과 같았습니다. "사건 A가 일어나면, 보통 사건 B가 뒤따른다"라고 학습하며, 한 번에 하나의 이벤트를 최적화합니다.
SIGTPP (전역적 학습): SIGTPP는 오케스트라 전체의 소리를 듣는 지휘자와 같습니다. 이 모델은 이벤트의 전체 시퀀스를 하나의 커다란 그림으로 봅니다. AI가 생성한 이야기가 실제 이야기와 얼마나 유사한지를 측정하기 위해 매끄러운 경사로의 "시그니처"를 사용합니다.
목표: 단순히 다음 음표를 맞추는 것을 넘어, SIGTPP는 원래의 노래와 똑같이 들리도록, 즉 장기적인 리듬과 구조를 포착하여 전체 노래를 생성하는 것을 목표로 합니다.

평가: 어떻게 효과를 입증했는가?

저자들은 기존의 모델 테스트 방식에 결함이 있다는 것을 깨달았습니다.

"지점별(Pointwise)"의 함정:
보통 사람들은 "다음 이벤트의 시간에 대한 예측이 실제와 얼마나 가까웠는가?"를 묻는 방식으로 모델을 테스트합니다.

결함: 만약 어떤 결정론적인 로봇이 항상 이벤트의 평균 시간을 예측한다면 어떨까요? 이 로봇은 평균적으로는 매우 정확할 수 있지만(낮은 오차), 실제 삶의 다양성이나 무작위성을 전혀 포착하지 못하기 때문에 매우 지루하고 틀린 모델이 됩니다. 이는 마치 기상 캐스터가 항상 "기온 20도"라고만 예측하는 것과 같습니다. 평균적으로는 맞을지 몰라도, 날씨를 제대로 설명하는 모델은 아닙니다.

새로운 방식 (분포적 지표):
저자들은 AI가 무작위성의 전체 형태를 포착하는지 확인하는 새로운 테스트를 만들었습니다.

에너지 거리(Energy Distance) 및 와서스테인 거리(Wasserstein Distance): 이것은 두 데이터 구름을 비교하는 것과 같습니다. AI가 생성한 이벤트들이 실제 이벤트의 "구름"과 같은 모양인가요? 동일한 퍼짐, 클러스터링, 그리고 장기적인 패턴을 가지고 있나요?
시그니처 거리(Signature Distance): 이것은 AI가 만든 이야기의 '지문'이 실제 이야기의 지문과 일치하는지를 측정합니다.

결과: 새로운 챔피언

저자들은 9개의 데이터셋(4개의 합성 데이터와 지진, 택시 승차, Stack Overflow 질문 같은 5개의 실제 데이터)을 통해 SIGTPP를 테스트했습니다.

승자: SIGTPP는 다른 최고 수준의 모델들(Diffusion 모델, VAE, GAN 등)을 지속적으로 앞질렀습니다.
성적: 평균적으로 SIGTPP는 테스트의 **64%**에서 최고이거나 그에 근접한 성능을 보였습니다.
개선 정도: 성능을 살펴보았을 때, SIGTPP는 기존의 최고 모델들보다 평균적으로 최소 19% 이상 향상된 모습을 보였습니다.
핵심 통찰: 다른 모델들이 다음 이벤트를 맞히는 데 능숙했다면, SIGTPP는 시퀀스의 전체 구조를 포착하는 데 훨씬 뛰어났습니다. 단순히 음표를 맞히는 것이 아니라, 멜로디를 맞힌 것입니다.

요약

이 논문은 "튀는" 데이터가 "매끄러운" 도구와 맞지 않았던 수학적 문제를 해결합니다.

그들은 점프를 매끄러운 경사로로 바꾸는 방법(사건 간 간격 임베딩)을 발명했습니다.
이를 통해 단순히 다음 장을 예측하는 것이 아니라, 전체 이야기를 한꺼번에 학습하는 AI(SIGTPP)를 구축했습니다.
그들은 이 새로운 AI가 개별적인 순간보다 거대한 그림을 볼 때, 이전의 어떤 방식보다 더 현실적이고 구조적인 이벤트 시퀀스를 만들어낸다는 것을 증명했습니다.

논문은 이벤트 시퀀스를 진정으로 이해하려면, 단일 이벤트를 보는 것을 멈추고 전체 여정의 형상을 바라봐야 한다고 결론짓습니다.

기술 요약: 점프에서 시그니처로: 시간적 점 프로세스를 위한 생성적 방법론

문제 정의

시간적 점 프로세스(Temporal Point Processes, TPPs)는 연속적인 시간에서 발생하는 이산적 사건들을 모델링하며, 금융, 지진학, 보건 분야의 응용을 뒷받침한다. 신경망 TPP(Neural TPPs)는 표현력이 풍부한 신경망을 사용하여 이 분야를 발전시켜 왔으나, 다음과 같은 두 가지 주요 한계에 직면해 있다:

훈련 목적 함수: 기존 방법들은 국소적인 사건별 손실(예: 로그 가능도 최대화)을 최적화한다. 이는 조건부 손실의 합으로 분해되므로, 자기상관(autocorrelation), 장기 의존성(long-range dependencies), 결합 타이밍 분포와 같은 구조적 특성에 대한 전역적 신호를 제공하지 못한다.
평가 지표: 표준 평가는 음의 로그 가능도(NLL) 또는 점별 지표(예: 평균 절대 오차, MAE)에 의존한다. 이러한 지표들은 전역적인 시퀀스 구조에 둔감하며, 모드 붕괴(mode collapse)를 은폐하거나 과분산된 예측(underdispersed predictions)을 선호할 수 있다. 또한, 기존의 분포 불일치 측정치(MMD 또는 Wasserstein 거리 등)는 카디락(càdlàg) 계단 함수인 카운팅 경로(counting paths) 공간에 대한 이론적 정당성이 부족하다.

중요한 이론적 간극이 존재한다. 러프 경로 시그니처(Rough path signatures)는 유한 변동을 가진 연속 경로에 대해 보편적 특징 맵과 결정성 보장을 제공하지만, TPP의 샘플 경로는 불연속적(càdlàg)이기 때문에 시그니처 기반 생성 모델링에 필요한 연속성 가정을 위반하여 TPP에 직접 적용할 수 없다.

방법론: SIGTPP

본 논문은 이산적 이벤트 시퀀스와 연속 경로 이론 사이의 간극을 메우는 시그니처 기반 생성 프레임워크인 SIGTPP를 제안한다. 이 방법론은 네 가지 핵심 구성 요소로 이루어진다:

1. 간격 임베딩 ( $\Phi$ )

이산적 점(jumps)에 시그니처 방법을 적용하기 위해, 저자들은 카운팅 경로( $\mathcal{N}$ ) 공간에서 유한 변동을 가진 연속 경로( $\mathcal{C}$ ) 공간으로의 안정적이고 단사(injective)적인 리프트(lift)를 도입한다.

메커니즘: 카운팅 경로 $\eta$ 가 이벤트 시간 $t_k$ 를 가질 때, 임베딩은 $\eta$ 를 피스 와이즈 선형(piecewise-linear) 연속 함수 $x = \Phi(\eta)$ 로 구축한다. 각 이벤트 시간 $t_k$ 에서의 함수 값은 간격 시간 $\tau_k = t_k - t_{k-1}$ 로 설정된다.
시간 증강(Time Augmentation): 시그니처는 시간 증강 곡선 $t \mapsto (t, \Phi(\eta)_t) \in \mathbb{R}^2$ 에 대해 계산된다. 이는 절대적 이벤트 시간과 간격 지속 시간을 모두 인코딩하며, 시그니처가 단사성을 갖도록 트리 형태의 성분(tree-like components)을 제거한다.
이론적 보장: 본 논문은 $\Phi$ 가 립시츠 연속(Lipschitz continuous)이며 단사임을 증명한다. 완만한 분리 가정(최소 간격 시간 $\delta > 0$ ) 하에서 역함수는 횔더 연속(Hölder continuous)이며, 이는 임베딩된 공간에서의 불일치가 원래의 카운팅 경로 공간에서의 실제 불일치를 반영함을 보장한다.

2. 전역 시그니처 손실

SIGTPP는 개별 이벤트의 조건부 밀도를 최적화하는 대신, 완전한 궤적(trajectories)에 대한 전역 손실을 최적화한다.

손실 함수: 모델은 생성된 경로의 기대 절단 시그니처(expected truncated signatures)와 관측된 데이터 경로 사이의 Signature-Wasserstein-1 (Sig-W1) 거리를 최소화한다.
최적화: 손실은 기대 절단 시그니처 간의 $\ell_2$ 거리를 다음과 같이 정의한다:
$\text{Sig-W}^{(M)}_1(\mu_\theta, \nu) := \left\| \mathbb{E}_{N_\theta \sim \mu_\theta} [S_M(\Phi(N_\theta))] - \mathbb{E}_{N \sim \nu} [S_M(\Phi(N))] \right\|_2^2$
이는 GAN의 적대적 판별자(adversarial discriminator)를 텐서 대수 상의 직접적인 메트릭으로 대체하여 훈련 불안정성을 방지한다.

3. 평가 지표

저자들은 경로 메트릭 $d_N(\eta, \xi) = \int_0^{T_{max}} |\eta_t - \xi_t| dt$ 를 기반으로 하는 세 가지 이론적으로 근거 있는 분포 불일치를 도출하였다:

에너지 거리 (Energy Distance, E): $L_1$ 공간의 음의 유형(negative type) 성질에 의해 유도된 메트릭이다.
Wasserstein-1 거리 (W1): 경로 메트릭을 분포 메트릭으로 격상시킨 것이다.
Signature-Wasserstein-1 (Sig-W1): $\Phi$ 의 단사성 덕분에 유효한, 기대 시그니처를 불일치 척도로 사용한다.

4. 모델 아키텍처

SIGTPP는 단일 레이어 LSTM을 사용하는 1-스텝 자기회귀(autoregressive) 생성기로 구현된다. 이 모델은 히스토리 상태, 현재 누적 시간 및 외생적 노이즈에 조건화된 로그 간격 시간을 예측한다.

주요 기여

간격 임베딩: 이산적 이벤트 시퀀스(càdlàg 경로)에 시그니처 기반 방법을 적용할 수 있게 하는 새롭고 안정적이며 단사적인 매핑을 제공한다.
SIGTPP 모델: 국소적 조건부 손실이 아닌 전역 경로 수준의 손실을 통해 훈련되는 최초의 시그니처 기반 TPP 생성 모델이다.
이론적 프레임워크: 임베딩의 립시츠 연속성과 단사성을 확립하고, 카운팅 경로 공간에 대한 수학적으로 유효한 분포 불일치(E, W1, Sig-W1)를 도출하였다.
평가 분석: 점별 메트릭(MAE/MSE)이 생성 품질을 평가하는 데 실패하며, 종종 분포적 변동을 무시하는 결정론적 회귀 모델을 선호한다는 것을 입증하였다.

실험 결과

모델은 4개의 합성 데이터셋(Poisson, Inhomogeneous Poisson, Univariate Hawkes, Multivariate Hawkes)과 5개의 실제 데이터셋(Earthquake, Stack Overflow, Taobao, Taxi, Yelp)에서 평가되었다.

성능: SIGTPP는 8개의 상보적 지표에 대해 가장 높은 평균 순위를 달성했다. SIGTPP는 강력한 베이스라인들(VAE, DDPM, WGAN)을 64%의 데이터셋-지표 쌍에서 능가하거나 대등한 성능을 보였다.
상대적 개선: 상대적 점수 메트릭에 따르면, SIGTPP는 모든 베이스라인에 대해 평균적으로 최소 19% 이상 개선된 성능을 보였다.
분포적 충실도: SIGTPP는 경로 수준의 분포 메트릭(E, W1, Sig-W1)에서 베이스라인들을 크게 앞질렀으며, 이는 결합 시간 법칙(joint temporal law)과의 우수한 정렬을 보여준다.
트레이드오프: SIGTPP는 전역 구조에는 탁월했으나, 확산 기반 모델(DDPM) 및 VAE와 비교했을 때 연속 랭크 확률 점수(CRPS)에서는 약간 낮은 성능을 보였다. 저자들은 이를 경로 수준의 목적 함수가 국소적 조건부 교정보다 전역적 분포 정렬을 우선시하기 때문이라고 설명한다.
점별 메트릭: 결정론적 베이스라인(DETER)이 가장 좋은 MAE/MSE 점수를 기록하였으며, 이는 점별 오차가 생성 품질이나 분포적 충실도를 측정하지 못함을 확인시켜 준다.

의의 및 주장

본 논문은 TPP의 생성과 평가를 통합하는 "공통 경로 프레임워크"를 제공한다고 주장한다. 주요 의의는 다음과 같다:

이산적 이벤트로의 시그니처 확장: 간격 임베딩을 통해 러프 경로 이론을 càdlàg 프로세스에 성공적으로 적용하였다.
전역 vs 국소: 전역 시그니처 손실을 최적화하는 것이 전통적인 개별 이벤트 가능도 최대화보다 구조적 충실도(자기상관, 장기 의존성)를 높이는 데 유리함을 입증하였다.
평가의 엄밀성: 표준적인 점별 메트릭이 생성적 TPP에 불충분함을 밝히고, 수학적으로 정당화된 일련의 분포 불일치(E, W1, Sig-W1)를 평가 표준으로 제공하였다.

저자들은 고차 시그니처의 계산 비용, 선형 보간 리프트의 인위적 성격, 이론적 경계의 예비적 성격 등을 포함한 한계를 인정한다. 그러나 이 프레ch워크가 전역 구조가 중요한 복잡한 시간적 의존성을 모델링하는 데 있어 강력한 대안을 제공한다고 주장한다.