기술 요약: 시계열 분류 합성 데이터셋을 위한 인과적 DAG 사전 확률(Prior)

문제 정의

현재의 시계열 분류(TSC)를 위한 파운데이션 모델 파이프라인은 일반적으로 두 단계 패러다임을 따릅니다. 먼저 대규모 트랜스포머를 라벨이 없는 시계열 코퍼스에 대해 사전 학습시켜 인코더로 사용한 뒤, 고정된 임베딩 위에 데이터셋별 분류기(예: 선형 헤드, k-NN 또는 TabPFN)를 적합시키는 방식입니다. 이러한 접근 방식은 인코더가 표현 추출 과정에서 학습 라벨이나 다른 샘플을 컨텍스트로 활용할 수 없으며, 두 단계의 최적화 목표가 서로 다르다는 점에서 단점이 있습니다.

인컨텍스트 학습(ICL)은 표 형식 데이터(TabPFN이 예시)를 위해 단일 단계의 대안을 제공하지만, 이를 TSC에 적용하려면 내재적인 시간적 구조를 가진 완전한 라벨링된 데이터셋을 생성할 수 있는 합성 생성기가 필요합니다. KernelSynth 및 CauKer와 같은 기존의 시계열 합성 사전 확률들은 시계열을 생성하지만 클래스 라벨을 생성하지 못하여 불완전한 데이터셋을 만듭니다. 또한, TiCT와 같은 병행 연구들은 네이티브하게 다변량(multivariate), 다중 클래스(multi-class) 또는 교차 모달(cross-modal)이 아닌 합성 사전 확률을 사용합니다. 두 가지 모달리티(표 형식 속성과 시계열) 사이의 인과 관계를 명시적으로 모델링하여 완전한 라벨링된 데이터셋 $(X, y)$를 샘플링하는 사전 확률은 결정적으로 부재합니다.

방법론

인과적 DAG 사전 확률 (The Causal DAG Prior)

저자들은 구조적 인과 모델(SCM)에 기반한 단일 유향 비순환 그래프(DAG)를 사용하여 완전하고 라벨링된 다변량 TSC 데이터셋을 생성하는 합성 인과 사전 확률을 소개합니다. 재귀적으로 동적 SCM을 전개하는 방식(불안정성을 초래할 수 있음)과 달리, 이 설계는 비재귀적으로 비순환 그래프 내에 시간적 구조를 주입합니다.

그래프 구조 및 노드 유형:

• 타입 지정 노드: DAG는 두 가지 유형의 노드를 포함합니다: 표 형식(tabular) (스칼라, $\in \mathbb{R}$) 및 시계열 값(series-valued) (궤적, $\in \mathbb{R}^T$).
• 루트 초기화:
  • 표 형식 루트: 랜덤 정규 분포 또는 균등 분포에서 샘플링됩니다.
  • 시계열 루트: 데이터셋당 한 번씩 랜덤 커널(Linear, RBF, Periodic 기본 커널의 조합)이 샘플링됩니다. 이후 각 샘플의 궤적은 이 커널에 의해 정의된 제로 평균 가우시안 프로세스로부터 추출됩니다.
• 인과적 엣지 및 메커니즘: 엣지는 자식 노드의 유형에 따라 선택된 계산 매핑을 나타냅니다.
  • 표 형식 자식: 점별 비선형성(pointwise nonlinearities) 또는 이산화 함수(수치 출력을 범주형으로 변환)를 가진 작은 신경망을 통해 매핑됩니다.
  • 시계열 자식: 인과적 패딩(causal padding), 랜덤 팽창(dilation), 비선형 활성화 함수를 가진 단일 랜덤 1-D 컨볼루션(Conv1D)을 통해 매핑됩니다. 이 연산은 채널 간 혼합(부모 노드들의 연결)과 시간적 의존성을 처리합니다.
• 교차 모달 상호작용: 그래프는 표 형식 $\to$ 시계열, 시계열 $\to$ 표 형식, 그리고 시계열 $\to$ 시계열의 인과 효과를 자연스럽게 지원합니다.
• 데이터셋 생성: 새로 초기화된 데이터가 DAG를 통해 전파됩니다. 선택된 시계열 값 노드들이 입력 특징 $X \in \mathbb{R}^{n \times m \times T}$를 형성하며, 이산화된 표 형식 노드가 클래스 라벨 $y \in \{1, \dots, K\}^n$을 정의합니다.
• 증강(Augmentation): 실제 세계의 난제를 시뮬레이션하기 위해, 생성기는 예측 절단(가변 길이 관측), 값 수준의 결측치, 랜덤 시간적 입도(strided pooling/step-repeat), 그리고 채널별 값 왜곡(warp)을 적용합니다.

프로브: TabPFN v2.5 적응

이 사전 확률을 검증하기 위해 저자들은 표 형식 인과 사전 확률로 사전 학습된 트랜스포머 기반 모델인 TabPFN v2.5를 파인튜닝합니다. 목표는 아키텍처를 재설계하는 것이 아니라 사전 확률의 기여도를 격리하여 측정하는 것입니다. 시간적 구조를 보존하기 위해 최소한의 적응만 수행합니다:

1. 토큰화(Tokenisation): 입력 데이터를 $n \times (m \cdot T)$로 평탄화합니다. 채널 경계를 존중하기 위해, 각 채널의 시간 축을 토큰 그룹 크기 $G$의 배수로 패딩합니다. 토큰은 $G$개의 연속된 타임스텝을 하나의 채널에서 묶어 형성함으로써, 단일 토큰 내에서 채널이 섞이는 것을 방지합니다.
2. 정규화(Normalization): (시간적 패턴을 파괴할 수 있는) 기본 컬럼별 z-스코어링을 비활성화합니다. 대신, 토큰화 전 채널별로 z-스코어링을 적용합니다.
3. 추론(Inference): 모델은 단일 순방향 패스(forward pass) 동안 전체 라벨링된 훈련 세트에 조건화되어 인컨텍스트 학습을 수행합니다.

주요 기여

1. 교차 모달 인과 사전 확률: 표 형식 속성과 시계열을 포함하는 DAG로부터 전체 라벨링된 데이터셋을 샘플링하는 합성 사전 확률을 도입했습니다. 이를 통해 기존의 사전 확률이 생성할 수 없는 복잡한 인과 체계(예: 토양 유형 $\to$ 습도 궤적 $\to$ 성장 궤적 $\to$ 수확량)를 모델링할 수 있습니다.
2. 시간적 구조의 격리: 최소한의 아키텍처 변경만으로 표 형식 파운데이션 모델(TabPFN)을 파인튜닝함으로써, 성능 향상이 아키텍처 개선이나 일반적인 파인튜닝 레시피가 아닌, 구체적으로 교차 모달 시간적 구조에 의해 주도된다는 것을 입증했습니다.
3. 확장 가능한 비재귀적 설계: 비재귀적 시간 주입을 갖는 에이클릭 그래프(acyclic graph)를 사용하여, 훈련되지 않은 사전 확률에서 발생할 수 있는 훈련 불안정성과 스케일링 문제를 피했습니다.

실험 결과

저자들은 TabPFN의 작동 범위($K \le 10$ 클래스, $m \cdot T \le 500$)에 부합하는 75개의 UCR/UEA 데이터셋에 대해 접근 방식을 평가했습니다.

비교 구성:

• (A) 표준 TabPFN: 사전 학습된 가중치, 기본 표 형식 전처리.
• (B) 사전 학습 + 커스텀 추론: (A)와 동일한 가중치를 사용하되, 시간적 구조를 보존하는 전처리(패치 정렬 토큰화, 채널별 z-스코어링)를 적용.
• (C) 파인튜닝 (본 연구): (B) 구성을 전체 인과 DAG 사전 확률로 파인튜닝.
• (D) 파인튜닝, 표 형식 전용 절제 실험(Ablation): (B) 구성을 모든 시계열 특유의 구성 요소(GP 루트, Conv1D, 시계열 증강)가 비활성화된($T=1$) 사전 확률로 파인튜닝.

결과:

• 성능: 구성 **(C)**는 앙상블 크기($e=1$ 및 $e=8$) 모두에서 가장 높은 평균 정확도와 ROC–AUC를 달이트했습니다.
  • $e=8$일 때, (C)는 0.8575 정확도와 0.9444 ROC–AUC를 달성하여, 상위 모델 (A) (0.8525 / 0.9405)와 표 형식 전용 절제 모델 (D) (0.8493 / 0.9393)를 능가했습니다.
• 통계적 유의성:
  • 전체 생성기(C)로 파인튜닝한 결과는 ROC–AUC에 대해 Wilcoxon 부호 순위 검정 결과 $3.0 \times 10^{-8}$의 p-값으로 표 형식 전용 절제 모델(D)보다 유의미하게 우수한 성능을 보였습니다.
  • 표 형식 전용 절제 모델(D)은 수정되지 않은 상위 모델(A)에 비해 통계적으로 유의미한 개선을 보이지 않았으며($p=0.10$ for AUC), 오히려 커스텀 추론 베이스라인(B)에 의해 뒤처졌습니다 ($p=1.7 \times 10^{-4}$).
• 메커니즘에 대한 결론: 결과는 시계열 특유의 메커니즘(GP 루트 및 Conv1D)이 성능 향상에 필수적임을 확인시켜 줍니다. 즉, 올바른 입력 형태를 갖더라도 시간적 구조가 없는 DAG 사전 확률로 단순히 파인튜닝하는 것은 충분하지 않으며 오히려 해로울 수 있습니다.

의의 및 주장

본 논문은 TSC를 위한 합성 사전 확률에 관한 문헌의 공백을 해결한다고 주장합니다. 표 형식 속성과 시계열 사이의 인과 관계를 네이티브하게 모델링하는 사전 확률을 도입함으로써, 저자들은 교차 모달 구조의 전체 공간을 활용할 수 있는 인컨텍스트 분류기를 훈련할 수 있게 했습니다.

주된 의의는 학습 신호의 격리에 있습니다. 저자들은 TSC 성능의 향상이 아키텍처 자체가 아니라, 합성 사전 확률에 인코딩된 교차 모달 시간적 구조에 직접적으로 기인한다는 것을 입증했습니다. 이는 "사전 확률이 적합된 네트워크(prior-fitted networks)"가 도메인의 인과 메커니즘을 올바르게 포착한다면 시계열을 위한 유용한 귀납적 편향(inductive bias)을 학습할 수 있다는 가설을 검증합니다.

저자들은 다음과 같은 점을 언급하며 범위를 겸손하게 제한합니다:

• 결과 모델은 백본이 재설계된 것이 아니므로, 상태 최고(SOTA) TSC 파운데이션 모델이라기보다 하나의 "프로브(probe)"입니다.
• 평가는 TabPFN의 작동 범위($m \cdot T \le 500$)로 제한되며, 길거나 고차원인 시계열은 제외됩니다.
• 본 연구는 표 형식 사전 확률 대비 시계열 메커니즘의 점진적 가치를 입증하는 것이지, 기존의 모든 TSC 방법론에 대해 절대적인 우월성을 주장하는 것이 아닙니다.
• 이 프레임워크는 노드 유형과 메커니즘을 변경함으로써 다른 구조화된 데이터(예: 이미지, 비디오)로 확장 가능하며, 이는 더 넓은 멀티모달 인과 사전 확률의 잠재력을 시사합니다.