기술 요약: TS-ICL

문제 정의

시계열 파운데이션 모델(TSFMs)은 태스크 특화형 모델에서 범용적인 제로샷 추론 시스템으로 패러다임을 전환했습니다. 그러나 기존의 접근 방식들은 실제 응용 분야에서 세 가지 결정적인 한계에 직면해 있습니다:

1. 태스크 파편화: 대부분의 TSFM은 예측에만 집중되어 있어, 불규칙하게 샘플링된 데이터에서 흔히 발생하는 결측치 임퓨테이션(imputation, 결측치 보간)을 네이티브하게 지원하지 못합니다.
2. 공변량 처리: 많은 모델이 외부 정보의 필요성에도 불구하고, 공변량을 고려한 추론을 위한 견고한 메커니즘이 부족합니다.
3. 샘플링 경직성: 표준 패치 기반 아키텍처(예: Chronos, TimesFM)는 정기적으로 샘플링된 입력을 가정하므로, 전처리 없이 비동기적 또는 부분적으로 관측된 시계열을 처리하는 데 어려움이 있습니다.

시계열에 적응된 정형 데이터 파운데이션 모델(TFMs, 예: TabPFN-TS)은 공변량과 임퓨테이션을 지원하지만, 수작업으로 설계된 시간적 특징(temporal features)에 의존하며 예측 벤치마크에서 순수 TSFM보다 뒤처지는 높은 추론 비용 문제를 겪습니다. 따라서 예측과 임퓨테이션을 공동으로 처리하고, 공변량을 지원하며, 불규칙하게 샘플링된 데이터에서도 효율적으로 작동하는 통합 프레임워크가 필요합니다.

방법론

저자들은 시계열 모델링을 시간 인덱스 기반의 인컨텍스트 회귀(time-indexed in-context regression) 문제로 재정의한 확률적 트랜스포머 파운데이션 모델인 TS-ICL(Time-Series In-Context Learning)을 소개합니다. 이 아키텍처는 네 개의 순차적인 모듈로 구성됩니다:

1. 시계열 인코더 ($E$): Perceiver 인코더 설계를 기반으로 하는 이 모듈은 컨텍스트 타임스탬프와 값(및 선택적 공변량)을 채널 독립적으로 처리합니다. 고정된 학습 가능한 토큰 세트를 사용하여 타임스첨프-값 쌍에 크로스 어텐션(cross-attend)을 수행하며, 임의 길이의 입력을 압축된 잠재 시퀀스($Z_{val}$)로 변환합니다.
2. 채널 믹서 ($M$): 이 모듈은 채널 간의 정보를 집계합니다. 타겟 시계열이 공변량 토큰을 쿼리할 수 있도록 크로스 어텐션을 사용하여 채널 차원을 통합된 공변량 인식 표현($Z_{final}$)으로 붕괴시킵니다. 이후의 셀프 어텐션 레이어는 전역적 의존성을 모델링합니다.
3. 시간적 컨텍스트 쿼리 모듈 ($C$): 이 모듈은 이산적인 잠재 토큰과 연속적인 시간 도메인을 연결하기 위해, 주파수 기반 위치 인코딩을 사용하여 임의의 쿼리 타임스탬프 $t$를 임베딩합니다. 이는 $Z_{final}$에 크로스 어텐션을 수행하여 임의의 타임스탬프에 대한 컨텍스트 인식 표현 $H(t)$를 생성함으로써 유연한 불규칙 샘플링 처리를 가능하게 합니다.
4. 인컨텍스트 러닝 회귀기 ($R$): 마지막으로 이 모듈은 예측을 인컨텍스트 회귀 태스크로 취급합니다. 관측된 컨텍스트 쌍 $(H(t), x_t)$으로부터 훈련 세트 $D_{train}$을 구축하고, 인과적 셀프 어텐션(causal self-attention)을 사용하여 보지 못한 타임스탬프에서의 타겟 값을 추론합니다. 이는 부드러운 핀볼 손실(smoothed pinball loss)을 통해 학습된 조밀한 분위수(quantile) 추정치 세트를 출력합니다.

데이터 사전 지식(Prior) 및 학습:
TS-ICL은 실제 데이터셋과 합성 데이터를 결합한 구조화된 데이터 사전 지식 위에서 학습됩니다.

• 단변량(Univariate): 31개의 실제 데이터셋과 다양한 도메인 및 주파수를 커버하는 TempoPFN의 합성 신호가 혼합되어 사용됩니다.
• 다변량(Multivariate, 공변량): 타겟-공변량 구조를 생성하기 위해 **유향 비순환 그래프(DAG)**와 구조적 인과 모델(SCM) 레지스트리가 사용됩니다. 이를 통해 모델이 정보적, 중복적, 혹은 독립적인 공변량을 포함하여 보지 못한 의존 구조에 대해 견고한 제로샷 일반화를 학습할 수 있도록 보장합니다.
• 태스크: 학습 시 임퓨테이션(포인트 또는 블록 마스킹)과 예측(미래 호라이즌 마스킹) 사이를 동적으로 전환합니다.

주요 기여

1. 통합 아키텍처: TS-ICL은 예측과 임퓨테이션을 단일 연속 시간 프레임워크 내에서 통합하여, 아키텍처 변경 없이 두 태스크를 모두 네이티브하게 지원하는 새로운 확률적 TSFM입니다.
2. 구조화된 합성 사전 지식: 저자들은 타겟-공변량 관계를 위한 DAG 기반의 인과적 사전 지식을 설계하여, 모델이 복잡한 의존 구조에 대해 견고한 제로샷 일반화를 학습할 수 있도록 했습니다.
3. 최첨단 임퓨테이션 성능: TS-ICL은 제로샷 임퓨테이션 벤치마크에서 새로운 SOTA(State-of-the-Art) 성능을 달립하며, 기존의 태스크 특화 모델 및 적응된 TFM들을 능가합니다.
4. 효율적인 공변량 인식 추론: 모델은 공변량을 활용한 효율적인 추론을 지원하며, 임의의 가용 패턴(예: 룩백 윈도우에서만 관측된 공변량 또는 룩백과 호라이즌 모두에서 관측된 공변량)을 처리합니다.
5. 결측 데이터에 대한 강건성: 패치 기반 모델과 달리, TS-ICL의 시간 인덱스 기반 정식화는 과거 관측치가 부분적으로 누락된 경우에도 강건함을 유지할 수 있게 합니다.

실험 결과

모델은 fm-impute-bench(임퓨테이션)와 fev-bench(예측)에서 평가되었으며, TIME 벤치마크를 통한 추가 검증을 거쳤습니다.

• 임퓨테이션: TS-ICL은 제로샷 임퓨테이션 벤치마크에서 새로운 SOTA를 기록했습니다. 선도적인 TFM들(TabPFNv2.5-TS, TabICLv2-TS)에 비해 포인트 단위(NMAE) 및 확률적(CRPS) 점수에서 상당한 격차로 개선된 성능을 보였습니다(예: TabICLv2-TS 대비 각각 17%, 15% 개선). 결정적으로, 이러한 TFM들보다 추론 속도가 최대 50배 빠릅니다.
• 예측: 예측 벤치마크에서 TS-ICL은 Chronos-2 및 TiRex와 같은 선도적인 TSFM들과 경쟁 가능한 수준을 유지하며 최상위권 성능을 기록했습니다. 또한 공변량이 가용할 때 이를 효과적으로 활용하여 TSFM들 사이에서 상대적 순위를 높였습니다.
• 누락된 이력에 대한 강건성: 룩백 윈도우의 결측 수준이 증가하는(30%~90%) 실험에서, TS-ICL은 Chronos-2를 일관되게 능가했습니다. Chronos-2의 성능은 컨텍스트가 희소해짐에 따라 크게 저하되는 반면, TS-ICL은 안정성을 유지하여 패치 기반 접근 방식 대비 시간 인덱스 기반 정식화의 이점을 입증했습니다.
• 효율성: TS-ICL은 고도로 최적화된 Chronos-2보다는 약 4배 느리지만, TFM들보다는 약 40배 빠르며, 강력한 정확도-효율성 트레이드오프를 제공합니다.

의의 및 주장

본 논문은 TS-ICL이 통합된 예측 및 임퓨테이션과 네이티브 공변량 지원이 가능한 단일 아키텍처를 제공함으로써 현재 시계열 모델링의 파편화 문제를 해결한다고 주장합니다.

이 모델의 주요 의의는 불완전한 과거 관측치에 대한 강건성에 있습니다. 저자들은 패치 기반 모델들이 누락된 컨텍스트에 민데한 반면, TS-ICL의 시간 인덱스 기반 정식화는 데이터가 불규칙하거나 부분적으로 관측되는 현실적인 예측 환경을 다룰 수 있음을 보여줍니다. 인컨텍스트 러닝의 유연성과 구조화된 인과적 사전 지식을 결합함으로써, TS-ICL은 경쟁력 있는 예측 능력을 유지하면서도 최첨단 임퓨테이션 성능을 달성하는 확장 가능한 대안을 제시합니다.

저자들은 한계점으로, 포인트 단위 회귀 정식화가 매우 최적화된 패치 기반 모델(예: Chronos-2)보다 높은 계산 비용을 발생시킨다는 점을 언급했으나, 이는 TFM과의 비교 시 우수한 속도로 완화됩니다. 향후 연구로는 제로샷 일반화를 강화하기 위한 아키텍처 최적화(예: 캐싱) 및 학습 데이터 사전 지식의 추가적인 다양화가 가능할 것이라고 제언했습니다.