기술 요약: 시계열 모델에 긴 컨텍스트 윈도우가 필요한 이유

문제 정의

다양한 시계열 그룹을 예측하는 현대적 딥러닝 접근 방식, 특히 파운데이션 모델은 점점 더 긴 관측 창(observation windows)에 의존하고 있다. 이러한 필요성에 대한 지배적인 설명은 장기적 시간 의존성(long-range temporal dependencies)을 포착하기 위함이라는 것이지만, 저자들은 이러한 관점이 불완전하다고 주장한다. 본 논문은 다양한 프로세스에 의해 생성된 시계열 집합에 대해 글로벌 모델을 학습시키는 것은 두 가지 구별되면서도 결합된 목적을 포함한다고 상정한다:

1. 생성 프로세스 식별 (Generative Process Identification, GPI): 관측된 입력 시퀀스를 생성한 특정 잠재 확률 프로세스($\phi_n$)를 추론하는 것.
2. 조건부 예측 (Conditional Forecasting, CF): 프로세스가 알려져 있다고 가정할 때, 과거 데이터에 기반하여 미래 값을 예측하는 것.

핵심 문제는 왜 글로벌 모델, 특히 이질적인 데이터에 대해 귀납적으로 학습된 모델(파운데이션 모델)이 최적의 성능을 달ert하기 위해 이론적인 메모리 길이($P$)보다 훨씬 큰 입력 윈도우를 필요로 하는가 하는 점이다. 본 논문은 긴 윈도우가 단순히 시간적 의존성을 포착하기 위한 것이 아니라, 데이터 생성 프로세스에 대한 불확실성을 줄이기 위해 필요하다는 점을 시사하며 기존의 가설에 도전한다.

방법론 및 이론적 프레임워크

이론적 분해

저자들은 시계열 예측 작업을 다양한 확률 프로세스 군(family)에 대한 기대 손실(expected loss)을 최소화하는 작업으로 정식화한다. 조건부 기대값의 법칙(law of total conditional expectation)을 적용하여, 최적의 예측기를 다음과 같은 베이지안 사후 평균으로 분해한다:
$$\hat{x}_t = \int \mathbb{E}[x_t | x_{t-W:t}, \phi] \cdot p(\phi | x_{t-W:t}) \, d\phi$$
여기서 $\mathbb{E}[x_t | x_{t-W:t}, \phi]$ 항은 조건부 예측 (CF) 구성 요소를 나타내며, $p(\phi | x_{t-W:t})$ 항은 생성 프로세스 식별 (GPI) 구성 요소를 나타낸다. 입력 윈도우 $W$는 두 가지 역할을 수행한다:

• CF를 위해: 최근 $P$개의 관측치(여기서 $P$는 프로세스의 메모리)만 엄격하게 필요하다.
• GPI를 위해: 전체 윈도우는 프로세스 파라미터 $\phi$에 대한 사후 분포를 수축시키기 위한 증거를 제공한다.

이론적 증명

본 논문은 **정리 3.2(Theorem 3.2)**를 통해, 프로세스의 메모리 길이가 $P$인 경우, 글로벌 환경에서 도달 가능한 최소 오차(irreducible noise variance)를 달성하기 위해서는 입력 윈도우 크기 $W > P$가 필요 조건임을 증명한다.

• 가정: 서로 다른 프로세스들이 마지막 $P$개의 관측치만으로는 고유하게 식별될 수 없다(즉, $P$개의 관측치가 주어졌을 때 가능한 프로세스들 간의 조건부 기대값의 분산이 0이 아니다)고 가정한다.
• 함의: 설령 실제 시간적 의존성이 짧더라도, 어떤 프로세스가 데이터를 생성하고 있는지에 대한 불확실성 때문에 추가적인 관측치가 필요하다. 이는 모델이 입력 시퀀스로부터 잠재적인 태스크 변수(프로세스 파라미터)를 추론하는 **인컨텍스트 러닝(In-Context Learning, ICL)**의 한 형태로 프레임화된다.

실험 설계

저자들은 다음을 통해 이론을 검증한다:

1. 합성 실험: 알려진 차수($P$)를 가진 비선형 자기회귀(NAR) 및 선형 AR 프로세스로부터 시계열을 생성한다. 단일 시계열에 대해 학습된 로컬 모델과 글로벌 모델, 그리고 "컨텍스트"(예측 윈도우와 시간적 간격이 떨어진 과거 시퀀스)를 활용하는 모델을 비교한다.
2. 파운데이션 모델 프로빙: 사전 학습된 파운데이션 모델(Moirai2, TimerXL)에 짧은 연속 윈도우와 멀리 떨어진 과거 컨텍스트를 함께 입력하여 테스트한다. 만약 성능이 장기 의존성에 의존한다면 시간적 간격(gap)이 정확도를 떨어뜨릴 것이나, 만약 GPI에 의존한다면 먼 과거의 컨텍스트가 정확도를 유지하거나 향상시킬 것이다.
3. 도메인 특화 vs 파운데이션 모델: 단일 도메인 모델과 여러 도메인에서 학습된 모델을 비교하여, GPI를 위해 요구되는 윈도우 길이에 따른 "비용"을 정량화한다.
4. 분리된 아키텍처 (Decoupled Architecture): GPI와 CF를 분리하는 설계를 제안한다. 모듈 $G(\cdot)$가 긴 과거 컨텍스트를 처리하여 잠재 임베딩 $e_n$을 생성하면, 이를 짧은 최근 윈도우를 사용하는 경량 예측기 $F(\cdot)$가 사용하도록 한다.

주요 기여

1. 문제 정식화: 시계열 예측을 GPI와 CF라는 이중 과제로 재정의하여, 시계열 파운데이션 모델을 특징짓는 프레임워크를 제공한다.
2. $W > P$의 이론적 필요성: 글로벌 모델의 경우, 프로세스를 식별하기 위한 필요성에 의해 입력 윈도우가 반드시 프로세스 메모리 길이를 초과해야 함을 증명한다.
3. GPI에 대한 경험적 증거: 실험 결과, 파운데이션 모델은 시간적 간격이 있는 상황에서도 과거 컨텍스트로부터 이득을 얻으며, 이는 모델이 단순한 시간적 의존성 모델링이 아닌 프로세스 식별을 위해 입력 데이터를 활용함을 확인시켜 준다.
4. 비용 분석: 파운데이션 모델이 단일 도메인 글로벌 모델과 성능을 맞추기 위해 훨씬 더 긴 윈도우를 필요로 함을 입증하며, 이를 사전 학습 분포의 높은 불확실성(분산) 때문이라고 분석한다.
5. 방법론적 제안: GPI와 CF를 분리하는 설계를 제안하여 확장성을 개선한다. GPI(긴 컨텍스트 처리)의 비용을 분할 계산(amortize)하고 결과 임베딩을 여러 예측에 재사용함으로써, 정확도를 해치지 않으면서 추론 비용(FLOPs, 메모리)을 줄이는 접근법을 제시한다.

결과

• 합성 데이터: 글로벌 모델은 로컬 모델의 오차 하한선에 도달하기 위해 $W \gg P$가 필요했다. 그러나 긴 과거 컨텍스트(간격이 존재함)와 짧은 윈도우($W=P$)가 제공되었을 때, 글로벌 모델은 최적에 가까운 오차를 달성했다. 이는 추가된 데이터가 시간적 의존성이 아닌 GPI를 위해 사용되었음을 확인해 준다.
• 파운데이션 모델: 실제 데이터셋(교통, 에너지, 기후)에 대해 테스트했을 때, 파운데션 모델(Moirai2, TimerXL)은 긴 과거 컨텍스($C=720$)가 제공된다면 짧은 윈도우($W=24$)만으로도 성능을 유지했다. 이는 모델이 연속적인 장기 의존성에 의존하기보다 컨텍스트로부터 프로세스를 추론하고 있음을 시사한다.
• 다중 도메인 학습: 여러 도메인을 시뮬레이션한 모델(파운데이션 모델을 모사)은 단일 도메인 모델의 성능을 따라잡기 위해 더 큰 윈도우를 필요로 했다. 윈도우 크기를 늘림으로써 다중 도메인 모델은 프로세스 불확실성을 줄여 성능을 회복할 수 있었다.
• 분리된 아키텍처: 제안된 분리 설계(GPI를 위한 긴 컨텍스트, CF를 위한 짧은 윈도우)는 파레토 최적(Pareto-optimal)의 성능-비용 트레이드오프를 달성했다. GPI 임베딩을 캐싱함으로써, 표준 모델과 동일한 정확도를 유지하면서도 계산 비용(일부 시나리오에서 FLOPs 및 메모리 최대 27배 감소)을 크게 줄였다.

의의 및 주장

본 논문은 왜 시계열 파운데이션 모델에 긴 컨텍스트 윈도우가 필요한지에 대한 근본적인 이해의 전환을 제공한다고 주장한다. 긴 윈도우를 단순히 장기적 시간 의존성을 포착하기 위한 메커니즘으로 보는 대신, 저자들은 이를 데이터 생성 프로세스에 대한 불확실성을 줄이기 위한 필수 요소로 정의한다.

이 통찰의 의의는 다음과 같다:

• 설계 원칙: 미래의 파운데이션 모델은 단순히 윈도우 크기를 단일하게 확장해서는 안 된다. 대신, 프로세스 컨텍스트를 식별하는 작업과 예측을 수행하는 작업을 명시적으로 분리하는 아키텍처를 가져야 한다.
• 효율성: GPI(한 번 계산하여 캐싱 가능)와 CF(빈번하게 계산됨)를 분리함으로써, 모델은 낮은 계산 오버헤드로 높은 정확도를 달성하고 실세계 배포 시 높은 확장성을 확보할 수 있다.
• 해석 가능성: 본 연구는 시계열 예측과 인컨텍스트 러닝(ICL) 사이의 이론적 연결 고리를 제공하며, 입력 윈도우를 잠재적 태스크 변수를 추론하기 위한 예시 세트로 프레임화한다.

저자들은 이러한 통찰의 타당성을 입증했으나, 분리된 아키텍처를 기반으로 한 완전한 규모의 파운데이션 모델 개발은 향후 과제로 남겨두며 겸허한 태도를 유지한다. 또한, 매우 시변적인(time-varying) 프로세스의 경우, 정적인 GPI 임베딩이 동적인 업데이트를 필요로 할 수 있다는 점을 언급하며 이를 향후 연구 방향으로 제시한다.