Trio: Learning Time-Series Forecasting with Temporal-Spatial-Sample Attention and Structural Causal Priors

기술 요약: Trio - 시공간-샘플 어텐션 및 구조적 인과 사전 확률을 통한 시계열 예측 학습

문제 정의
다변량 시계열 예측은 모델이 세 가지 복잡한 차원, 즉 시간적 역동성(temporal dynamics), 변수 간 의존성(cross-variable dependencies), 그리고 과거 입력-출력 대응 관계(historical input-output correspondences)를 추론할 것을 요구한다. 최근의 PFN(Prior-Data Fitted Networks)은 합성 태스크를 통해 전이 가능한 추론 전략을 학습함으로써 정형 데이터 학습에서 성공을 거두었으나, 이를 시계열에 직접 적용하는 것은 까다롭다. 표준적인 정형 데이터용 사전 확률(tabular priors)은 시간적 순서, 동적 지연(dynamic lags), 반복되는 과거 패턴과 같은 필수적인 시계열 특성을 포착하지 못한다. 또한, 기존의 대부분의 예측 모델은 특정 데이터셋에 종속된 지도 학습 방식으로 훈련되어, 다양한 태스크를 가로질러 일반화 가능한 예측 메커니즘을 학습하는 능력이 제한적이다. 본 논문이 다루는 핵심 질문은, 예측 모델이 과거의 이력을 단순히 평면적인 시퀀스로 취급하는 대신, 어떻게 긴 시계열 문맥 내에서 과거의 입력-출력 예시들을 명시적으로 재사용할 수 있는가 하는 점이다.

방법론
본 논문은 샘플 인식형 시계열 예측 아키텍처인 Trio와 구조화된 합성 사전 확률을 생성하기 위한 TS-SCM(Time-Series Structural Causal Model) 생성기를 제안한다.

1. Trio 아키텍처 (Temporal-Spatial-Sample Attention):

   • 데이터 재구성: Trio는 입력을 연속적인 과거 시퀀스로 처리하는 대신, 입력을 (과거 룩백-미래 세그먼트)의 집합과 현재 쿼리 윈도우로 재구성한다. 이는 과거의 입력과 그에 따른 미래 결과 사이의 대응 관계를 명시적으로 모델링한다.
   • 3차원 어텐션: 모델은 세 가지 상호 보완적인 어텐션 메커니즘을 갖춘 교대 인코더(alternating encoder)를 사용한다:
     • 시간적 어텐션 (Temporal Attention): 패치 토큰(patch tokens)에 대한 인과적 셀프 어텐션을 사용하여 윈도우 내의 동적 패턴을 포착한다.
     • 공간적 어텐션 (Spatial Attention): 각 윈도우와 패치 위치에서의 변수 간 의존성을 모델링한다.
     • 샘플 어텐션 (Sample Attention): 현재의 예측을 가이드하기 위해 관련 있는 과거의 룩백-미래 쌍을 검색한다. 단일 CLS 토큰을 사용하는 표준적인 샘플 어텐션과 달리, Trio는 패치 단위의 검색을 수행하며, 현재의 미래-쿼리 토큰이 집계된 과거의 미래-프롬프트 토큰을 참조하도록 한다. 이를 통해 모델은 이전 윈도우들로부터 유용한 입력-출력 매핑을 선택적으로 흡수할 수 있다.
   • 토큰 구성: 과거의 룩백 및 미래 세그먼트는 별도로 임베딩된다. 현재 윈도우는 학습 가능한 쿼리 토큰을 미래 플레이스홀더(placeholder)로 사용하며, 이 토큰들은 샘플 어텐션 과정에서 과거의 메모리 뱅크를 쿼리한다.

2. TS-SCM 생성기:

   • PFN 스타일의 학습을 지원하기 위해, 저자들은 실제 세계의 복잡성을 반영하는 구조화된 합성 태스크를 생성하는 생성기를 도입한다.
   • 메커니즘: 이 생성기는 이질적인 노드 메커니즘, 에지 레벨의 동적 지연(상태 의존적 또는 이력 의존적 지연 포함), 노이즈 프로세스, 피드백 루프, 그리고 분포 드리프트(distributional drift)를 가진 다변량 인과 동적 시스템을 시뮬레이션한다.
   • 이벤트 캘린더: 연속적인 지연 스케줄링과 매끄러운 지연 전파를 처리하기 위해 푸시 기반(push-based) 이벤트 캘린더를 사용하여, 지연 시간을 단순히 반올림하는 방식의 한계를 피한다.
   • 안정성: 생성기에는 불안정한 궤적을 방지하면서도 다양성을 확보하기 위한 안정성 인지 그래프 샘플링(stability-aware graph sampling)이 포함된다.

주요 기여

1. Trio 아키텍처: 다변량 예측을 시간적, 공간적, 샘플 레벨의 어텐션으로 분해하는 새로운 샘플 인식형 아키텍처를 제안한다. 이는 긴 과거 문맥을 구별되지 않은 시퀀스가 아닌, 구조화된 입력-출력 예시로 취급한다.
2. TS-SCM 생성기: 동적 지연, 변수 간 상호작작용, 비정상성 전이를 시뮬레이션할 수 있는 구조화된 합성 태스크 생성기로서, 전이 가능한 행동을 학습하기 위한 풍부한 사전 확률을 제공한다.
3. 실증적 검증: 합성 지연 의존성 태스크, 산업 데이터셋, 그리고 공공 벤치마크(ETT, Weather, Electricity)에 대한 포괄적인 실험을 통해 아키텍처의 효과를 입증한다. 또한, TS-SCM 생성된 사전 확률의 전이 가능성을 평가하기 위한 탐색적 제로샷(zero-shot) 실험을 포함한다.

실험 결과

• 합성 태스크: 변수 선택 및 지연 의존성을 테스트하도록 설계된 데이터셋에서, 샘플 어텐션을 추가했을 때 기본 모델(예: 샘플 어텐션이 없는 모델)에 비해 MSE가 크게 감소했다 (예: 합성 데이터셋 #1에서 MSE가 0.706에서 0.298로 감소).
• 공공 벤치마크: Trio는 4개의 공공 데이터셋 중 3개(ETTm1, ETTm2, Electricity)에서 최상의 평균 MSE를 달 기록했다. Weather 데이터셋의 경우, 가장 짧은 호라이즌(96 steps)에서 최상의 결과를 얻으며 경쟁력을 보였으나, 평균적으로는 TimeMixer++가 더 우수한 성능을 보였다.
• 긴 문맥 (Long Contexts): 모델은 더 긴 문맥 길의 혜택을 받지만, 문맥이 지나치게 길어지면 성능 향상이 정체되거나 하락하는데, 이는 무분별하게 이력을 늘리기보다 적절한 수준의 롱 컨텍스트 모델링이 필요함을 시사한다.
• 제로샷 전이 (Zero-Shot Transfer): 합성 TS-SCM 데이터로만 학습하고 실제 ETT 벤치마크로 테스트하는 탐색적 제로샷 실험에서, 제안된 생성기는 MSE 측면에서 4개 중 3개 데이터셋에서, MAE 측에서는 4개 데이터셋 모두에서 다른 합성 전략(Causal Dynamics, LMC Synth)보다 우수한 성능을 보였다. 다만, 저자들은 서로 다른 사전 확률이 역동성의 서로 다른 측면을 포착하며, 결과가 모든 지표에서 일관되지는 않는다는 점을 언급했다.

의의 및 주장
본 논문은 완전한 PFN 스타일의 시계열 예측 문제를 해결했다고 주장하기보다는, 과거의 입력-출력 예시들이 예측 모델 내에서 어떻게 명시적으로 조직되고 재사용될 수 있는지를 연구하는 데 초점을 맞추고 있다. 본 연구의 의의는 다음과 같다:

• 샘플 어텐션을 통해 과거의 입력-출력 매핑을 명시적으로 모델링하는 것이 지연 의존성이 있는 태스크에서 성능을 향상시킨다는 것을 입증했다.
• 구조화된 합성 태스크(TS-SCM)가 전이 학습을 위한 유용한 구조적 사전 확률을 제공할 수 있음을 보여주었다.
• TS-SCM 생성된 태스크가 유망한 전이 단서를 제공하긴 하지만, "완전한 PFN 스타일의 시계_열 예측은 여전히 미해결 과제로 남아 있음"을 인정하였다.

이 연구는 구조화된 과거 증거와 인과적 합성 사전 확률을 활용함으로써, 제로샷 시계의 예측의 성숙도를 과장하지 않으면서도 더 일반화 가능한 예측 메커니즘을 향한 단계로서 자리매김하고 있다.