기술 요약: ChronoSSM

문제 정의

Transformer와 상태 공간 모델(SSM)을 포함한 현대의 자기회귀 시퀀스 모델들은 주로 시퀀스에서 다음에 "무엇이" 일어날지를 예측하도록 훈련되며, 이 과정에서 "언제" 일어나는지는 부차적인 문제나 보조적인 신호로 취급되는 경우가 많습니다. 비즈니스 프로세스 트레이스, 임상 기록, 네트워크 트래픽, 시계열 지식 그래프와 같이 이벤트가 명시적인 시간 메타데이터를 수반하는 도메인에서, 이러한 분리는 모델의 시간적 추론, 이상 탐지 및 이벤트 연대기의 충실한 재구성 능력을 제한합니다.

이를 해결하기 위한 일반적인 전략은 **2단계 접근법(Two-Stage approach)**입니다. 즉, 먼저 다음 이벤트 예측을 위한 모델을 훈련하여 표현(representation)을 동결시킨 후, 별도의 타이밍 모듈을 적합시키는 방식입니다. 이 방법은 토큰 예측만을 위해 최적화된 표현이 이미 충분한 시간적 구조를 포함하고 있다는 가정을 암묵적으로 전제합니다. 저자들은 이러한 가정이 의구심이 든다고 주장합니다. 왜냐하면 토큰 생성 목적 함수는 다음 이벤트의 가능성을 높이는 특징들을 보상할 뿐, 사건 간 도착 간격(inter-arrival times)을 인코딩하도록 명시적으로 독려하지는 않기 때문입니다.

방법론: ChronoSSM

저자들은 공유된 백본 내에서 이벤트와 타임스탬프를 공동으로 모델링하도록 설계된 자기회귀 상태 공간 모델인 ChronoSSM을 소개합니다.

모델 아키텍처

• 백본(Backbone): 모델은 토큰의 이력 $X_k$를 처리하여 토큰별 은닉 표현 $h_k$를 생성하는 인과적 자기회귀 백본(주로 선택적 SSM인 Mamba2로 구현됨)을 사용합니다.
• 이중 헤드(Dual Heads):
  1. 토큰 예측 헤드: 다음 토큰 $x_{k+1}$을 예측하는 선형 맵입니다.
  2. 시간al 예측 헤드: 사건 간 도착 시간 $\Delta t_{k+1}$을 예측하는 함수입니다.
• 시간적 표현(Temporal Representation): 이벤트 사이의 시간을 예측하기 위해, 모델은 전이 표현 $r_{k+1}$을 연속된 은닉 상태 간의 차이로 정의합니다: $r_{k+1} = \Delta h_{k+1} = h_{k+1} - h_k$. 이는 시간 간격의 표현을 잠재 상태(latent state)의 변화와 일치시킵니다.
• 손실 함수(Loss Function): 훈련 목적 함수는 토큰 예측과 시간 예측을 가중 부정 로그 가능도(weighted negative log-likelihood)를 통해 결합합니다:
  $$\mathcal{L} = \mathcal{L}_{tok} + \lambda_\tau \mathcal{L}_{time}$$
  여기서 $\mathcal{L}_{tok}$는 토큰에 대한 범주형 교차 엔트로피이며, $\mathcal{L}_{time}$은 (0 값을 처리하고 이질성을 다루기 위해 로그 변환된 타겟에 대해 로그-정규 밀도로 모델링된) 도착 간 시간의 부정 로그 가능도입니다.

훈련 레짐(Training Regimes)

논문은 시간적 감독(temporal supervision)이 백본에 미치는 영향을 격리하기 위해 두 가지 최적화 스케줄을 대조 실험합니다:

1. 공동 훈련(Joint Training): 백본, 토큰 헤드, 시간 헤드가 동시에 최적화됩니다. 토큰 및 시간 손실 모두로부터 오는 그래디언트가 공유된 백본 파라미터($\theta$)를 업데이트합니다. 이를 통해 시간적 감독이 학습된 표현을 직접적으로 형성할 수 있게 합니다.
2. 2단계 훈련(Two-Stage Training): 백본과 토큰 헤드를 먼저 $\mathcal{L}_{tok}$만을 사용하여 훈련합니다. 그 후 백본을 동결하고, 결과적으로 동결된 표현 위에서 시간 헤드를 훈련합니다. 이는 시간적 그래디언트가 백본을 수정할 수 없는 베이스라인 역할을 합니다.

실험 설정

평가는 다양한 시퀀스 구조와 타임스탬프 밀도를 가진 네 가지 도메인을 포괄합니다:

1. 비즈니스 프로세스 트레이스 (BPI2018): 활동 로그를 위한 조밀한 타임스탬프.
2. 임상 이벤트 시퀀스 (MIMIC-IV): 환자의 활력 징후 및 관찰 기록을 위한 조밀하고 폭발적인(bursty) 타임스탬프.
3. 네트워크 트래픽: 부분적인 타임스탬프 (패킷 경계에서만 타임스탬프 존재).
4. 시계열 지식 그래프 (GDELT): 부분적인 타임스탬프 (사실 마커에서만 타임스탬프 존재).

부록에는 심볼릭 음악 생성에 관한 내용도 포함되어 있습니다.

주요 결과

RQ1: 시간적 회복 가능성 (Temporal Recoverability)

저자들은 공동 훈련이 2단계 훈련보다 시간적 정보가 더 잘 회복되는 표현을 생성하는지 조사합니다. 이를 위해 동결된 표현에 대해 두 가지 진단 지표를 사용합니다:

• 선형 프로브(Linear Probe): 표현으로부터 시간적 타겟을 예측하는 리지 회귀(ridge-regression) 프로브입니다.
• 시간적 응집도 점수(Temporal Cohesion Score, TCS): 유사한 시간 간격을 가진 전이들이 표현 공간 내에서 함께 클러스터링되는지를 측정하는 기하학적 척도입니다.

결과: 네 가지 도메인 모두에서 공동 훈련은 일관되게 더 높은 시간적 회복 가능성을 가진 표현을 생성했습니다.

• 네트워크 트래픽에서 가장 극적인 개선이 나타났습니다 (TCS가 0.147에서 0.622로 증가).
• BPI2018 및 MIMIC-IV는 선형 프로브 성능($R^2$ 및 MAE)에서 유의미한 개선을 보였으나, 기하학적 응집도(TCS)의 개선은 보다 완만했습니다.
• 시계열 지식 그래프는 모든 지표에서 일관되지만 더 작은 폭의 이득을 보였습니다.

RQ2: 품질 저하 (Quality Degradation)

저자들은 시간적 감독을 주입하는 것이 모델의 주요 이벤트 생성 능력을 체계적으로 저하시키는지 평가합니다.

결과: 공동 훈련 하에서 이벤트 생성 품질의 체계적인 저하에 대한 증거는 발견되지 않았습니다.

• BPI2018: 생성 품질(Damerau-Levenshtein 유사도로 측정)은 공동 훈련과 2단계 훈련 간에 동일했습니다.
• MIMIC-IV: 공동 훈련은 주변부 이벤트-토큰 분포 지표(JSD 및 TV distance)에서 약간의 저하를 보였으나, 빈번한 임상 이벤트에 대한 재현율(recall)은 동일하게 유지했습니다.
• 네트워크 트래픽 및 시계열 KG: 공동 훈련이 오히려 콘텐츠 생성 품질을 향상시켰습니다. 이 도메인들에서 공동 훈련은 패킷 헤더에 대해 더 낮은 Jensen-Shannon 발산(divergence)을 보였으며, 2단계 훈련에 비해 훨씬 더 나은 링크 예측 지표(MRR, Hits@k)를 나타냈습니다.

의의 및 주장

본 논문은 명시적인 시간적 감독이 학습된 표현의 시간적 회복 가능성을 향상시키면서도, 자기회귀적 이벤트 모델링을 실질적으로 저하시키지 않을 수 있다고 주장합니다.

핵심 요점은 다음과 같습니다:

• 통합된 표현: 공동 훈련은 이벤트 의미론과 시간적 역학을 하나의 통합된 표현 내에서 성공적으로 학습하며, 이는 토큰 전용 훈련만으로 시간적 작업이 충분하다는 가정에 도전합니다.
• 도메인 의존성: 시간적 회복 가능성과 생성 품질 사이의 상호작용은 도메인에 따라 다릅니다. 네트워크 트래픽이나 시계열 KG와 같은 경우, 시간적 감독이 토큰 생성기의 구조적 규칙성을 강화하여 전반적인 성능을 높이는 것으로 보입니다.
• 실질적 시사점: 이 접근 방식은 분리된 2단계 파이프라인을 필요로 하지 않는 시간 인지적 생성 모델 훈련의 길을 열어주며, 이는 충실한 연대기에 의존하는 이상 탐지나 예측과 같은 다운스트림 작업에 잠재적인 이점을 제공합니다.

저자들은 표현 수준에서의 이득은 명확하지만, 자유로운 자기회귀 생성 중 타임스탬프의 분포적 충실도(distributional fidelity)에 대한 엄격한 평가는 향후 연구 과제로 남아 있다고 겸허히 밝히고 있습니다. 또한 공동 훈련의 이점은 특정 도메인 구조와 시간적 감독의 밀도에 따라 달라진다는 점을 강조합니다.