Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

기술 요약: Chronos-2 및 TabPFN-TS 를 위한 단순 타겟 - 공변량 관계 조사

문제 제기
시계열 기반 모델 (TSFMs) 은 최근 제로샷 단변량 예측에서 최첨단 성능을 보여주며, 종종 지도 학습 기반선 (baseline) 을 능가하고 있습니다. 그러나 실제 응용 분야에서는 (에너지 또는 소매 분야와 같이) 동적 공변량을 활용하는 경우가 빈번합니다. Chronos-2 와 TabPFN-TS 와 같은 최근 아키텍처는 공변량을 통합하려는 시도를 하고 있지만, 기존 대규모 벤치마크 (예: fev-bench) 는 이러한 모델들이 특정 타겟 - 공변량 의존성을 얼마나 효과적으로 포착하는지에 대한 통찰력을 제한적으로 제공합니다. 본 논문은 이러한 모델들의 강력한 벤치마크 성능이 타겟과 공변량 간의 단순하고 통제된 관계를 정확하게 모델링하는 것으로 이어지는지에 대한 이해의 공백을 해소하는 것을 목표로 합니다.

방법론
저자들은 타겟 - 공변량 의존성을 분리하기 위해 특별히 설계된 최소한의 작업을 사용하여 일련의 통제된 실험을 설계했습니다. 이 연구는 두 가지 선도적인 TSFM 을 비교합니다:

1. Chronos-2: 합성 다변량 데이터로 사전 훈련된 시간 및 그룹 어텐션 레이어를 활용하는 모델.
2. TabPFN-TS: 수백만 개의 합성 회귀 작업으로 사전 훈련된 TabPFN 표 기반 기반 모델의 적응형으로, 신중하게 설계된 특징을 통해 시계열에 맞게 조정됨.

실험 설정은 실제 데이터셋 (Electricity, Solar, Traffic) 과 합성 데이터셋 (Random Walk, KernelSynth) 을 아우르는 네 가지 서로 다른 시나리오를 포함합니다:

• 항등 (Identity): 공변량이 타겟과 동일함.
• 합 (Sum): 타겟이 두 개의 합성 시계열의 합임 ($Z = X + Y$).
• 집계 (Aggregate): 타겟이 실제 세계 시계열의 복잡한 집계임 ($Z = \sqrt{X} + Y - Z^2$).
• 이차 (Quadratic): 타겟이 합성 입력과 이차 관계를 따름 ($Z = a + bX + cY^2$).
• 자기회귀 확장: 시간 의존성이 공변량 의존성에 비해 증가함에 따라 모델 성능의 변화를 관찰하기 위해 이차 작업에 시간 의존성 항 ($\phi Z_{t-1}$) 을 추가한 추가 실험.

성능은 다양한 백로그 ($L$) 및 예측 구간 ($H$) 윈도우에 걸쳐 정규화된 평균 제곱 오차 (NMSE) 를 사용하여 평가됩니다.

주요 결과
실험은 모델이 공변량 정보를 활용하는 능력에 관한 몇 가지 중요한 발견을 도출했습니다:

• 단순 관계에서 TabPFN-TS 의 우위: 항등, 합, 이차 실험에서 TabPFN-TS 는 Chronos-2 를 일관되게 능가했으며, 특히 짧은 예측 구간에서 두드러졌습니다. 타겟이 공변량으로 제공되는 항등 실험에서 TabPFN-TS 는 Chronos-2 보다 훨씬 낮은 오차를 달성했는데, 이는 Chronos-2 가 단독으로는 더 강력한 단변량 예측기임에도 불구하고 이루어진 결과입니다.
• 짧은 예측 구간 우위: TabPFN-TS 는 짧은 예측 구간 설정에서 뚜렷한 우위를 보입니다. 저자들은 이것이 TabPFN 의 사전 훈련 동안 접했던 독립 동일 분포 (i.i.d.) 회귀 문제와 유사하게, 짧은 구간에서 입력 및 출력 특징이 더 유사하게 분포되어 있기 때문이라고 추측합니다.
• 공변량 특징의 강건성: 집계 실험에서 TabPFN-TS 에서 시간 임베딩을 제거하고 공변량 특징 (TabPFN(cov)) 만에 의존하는 경우 성능이 저하되지 않았습니다. 오히려 이는 짧은 범위 설정에서 가장 효율적인 모델이 되었습니다.
• 시간 의존성에 따른 성능 변화: 자기회귀 확장 실험에서 시간 의존성을 나타내는 계수 $\phi$ 가 증가함에 따라 성능 격차는 줄어들다가 결국 역전됩니다. 작업이 순수한 비선형 회귀 문제에서 시간 구조가 지배적인 문제로 전환됨에 따라 Chronos-2 가 TabPFN-TS 를 능가하기 시작합니다. 이는 모델의 유효성이 시간 - 타겟 관계와 공변량 - 타겟 관계의 상대적 중요도에 달려 있음을 시사합니다.

의의 및 주장
본 논문은 Chronos-2 가 대규모 공변량 기반 예측 벤치마크를 지배하지만, 이러한 지배력이 자동으로 단순한 공변량 - 타겟 의존성의 최적 모델링을 의미하지는 않는다고 주장합니다. 결과는 TabPFN-TS 가 표현력 있는 사전 지식과 광범위한 합성 회귀 작업에 대한 사전 훈련을 활용함으로써 이러한 특정 관계를 더 신뢰할 수 있게 포착함을 나타냅니다.

저자들은 Chronos-2 에서 발견되는 명시적 시간 의존성 모델링과 TabPFN-TS 에서 영감을 받은 컨텍스트 내 회귀 능력을 결합한 미래의 TSFM 설계에 상당한 잠재력이 있다고 결론지었습니다. 이러한 하이브리드 접근 방식은 더 효과적인 공변량 인식 시계열 기반 모델을 개발하기 위한 유망한 방향으로 제시됩니다.