Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

기술적 요약: Factorize to Generalize (RIDDE)

문제 제기
시계열 기반 모델 (TSFMs) 은 대규모 사전 학습과 검색 증강 예측을 통해 강력한 제로샷 예측 능력을 입증해 왔습니다. 그러나 저자들은 기존 검색 기반 접근법에서 중요한 한계를 지적합니다. 검색은 더 진동적인 예측을 유도하는 경향이 있습니다. 이는 변동이 큰 시계열의 성능을 향상시키지만, 더 매끄럽고 추세가 지배적인 시계열에서는 정확도를 저하시킵니다. 실증 분석에 따르면, 검색은 고주파 (계절성) 성분의 오차를 줄이지만 저주파 (추세) 성분의 오차는 증가시킵니다. 이는 검색된 정보가 환경 전반에 걸쳐 불변인 안정적인 시간 구조와 인스턴스별 변동 (동적) 을 명시적으로 구분하지 않은 채 예측에 융합됨을 시사합니다. 결과적으로 표준 모델은 분포 변화 하에서 강건성을 떨어뜨리는 얽힌 표현을 학습하게 됩니다.

방법론: RIDDE 프레임워크
저자들은 RIDDE(검색 유도 불변 - 동적 분해, Retrieval-guided Invariant-Dynamic DEcomposition) 를 제안합니다. 이는 검색의 역할을 직접적인 예측 맥락에서 표현 분해를 위한 구조적 신호로 전환하는 프레임워크입니다. 핵심 직관은 검색된 시퀀스가 관련 환경에서의 암시적 샘플로 작용한다는 점입니다. 검색된 시퀀스는 쿼리와 근본적인 메커니즘을 공유하지만, 그 동적 변동은 서로 다릅니다.

프레임워크는 다음 단계들을 통해 작동합니다:

1. 검색 유도 표현 학습:

   • 입력 쿼리 시퀀스는 패치로 분할되어 인코딩됩니다.
   • 잠재 공간에서의 코사인 유사도를 기반으로 지식 베이스에서 상위 K 개의 유사 시퀀스가 검색됩니다.
   • 검색된 컨텍스트를 직접 재사용하는 대신, 이러한 검색된 샘플의 미래 구간을 공유 잠재 공간에 투영하고 어텐션 메커니즘을 통해 집계합니다. 이는 쿼리와 일관되게 정렬된 패턴을 강조하는 합의 표현($h_{ret}$) 을 산출하며, 샘플별 변동의 분산을 효과적으로 줄입니다.
   • 학습 가능한 게이트 메커니즘이 고유 쿼리 표현 ($q$) 과 검색 합의 ($h_{ret}$) 를 융합하여 융합 표현 ($h$) 을 형성합니다.

2. 불변 - 동적 분해:

   • 검색 유도 라우팅 메커니즘이 융합 표현 $h$ 를 두 가지 구성 요소로 분해합니다:
     • 불변 구성 요소 ($z_{inv}$): 검색된 샘플 전반에서 지지되는 안정적인 구조를 보존하도록 장려됩니다.
     • 동적 구성 요소 ($z_{dyn}$): 쿼리별 편차와 잔차 변동을 포착하도록 장려됩니다.
   • 이 분해는 융합 표현과 검색 합의 모두에 조건부로 작용하는 라우팅 게이트에 의해 안내되며, 검색이 제공하는 구조적 정보를 향해 분할을 편향시킵니다.

3. 메커니즘 인식 예측:

   • 불변 및 동적 구성 요소는 별도의 예측기 ($f_{inv}$ 및 $f_{dyn}$) 에 의해 처리됩니다.
   • 최종 예측은 이러한 별도 경로의 출력을 융합하여 얻어지며, 이를 통해 모델은 이전 가능한 패턴과 진화하는 동적 변화에 대한 적응성 사이의 균형을 잡을 수 있습니다.

4. 학습 목적 함수:

   • 모델은 예측 오차를 최소화하기 위해 예측 손실 ($L_{pred}$) 을 사용하여 학습됩니다.
   • 불변 및 동적 요인 간의 중첩을 줄이기 위해 직교성 기반 분해 정규화기 ($L_{dis}$) 가 도입되어, 구조화된 분해를 장려하는 약한 기하학적 제약으로 작용합니다.

이론적 통찰
이 논문은 분산 감소에 기반한 이론적 관점을 제공합니다. 여러 검색된 샘플을 집계함으로써, 합의 표현은 공유된 잠재 구조 ($\mu$) 를 근사하면서 샘플별 노이즈 ($\epsilon_k$) 의 분산을 줄입니다. 이 집계는 낮은 분산을 가진 앵커 역할을 하여, 명시적인 환경 감독 없이 불변 및 동적 요인을 분리하기 위한 구조적 가이드로 활용되도록 동기를 부여합니다.

주요 기여

• 한계 식별: 저자들은 검색 증강 예측이 고주파 변동에 대한 구조적 편향을 도입하여 안정적인 추세 모델링을 약화시킨다는 점을 규명했습니다.
• RIDDE 프레임워크: 검색을 단순히 보조 예측 컨텍스트가 아닌 표현 분해를 위한 구조적 신호로 활용하는 새로운 프레임워크를 제안합니다.
• 라우팅 메커니즘: 검색 인식 표현을 불변 및 동적 구성 요소로 분해하는 라우팅 기반 메커니즘을 개발하며, 가지 분리를 장려하기 위한 정규화기를 지원합니다.
• 실증적 검증: 다양한 벤치마크에서 분포 변화 하에 강건성과 제로샷 예측 성능의 일관된 개선을 입증했습니다.

실험 결과
제로샷 설정을 사용하여 일곱 개의 벤치마크 데이터셋 (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) 에서 광범위한 실험이 수행되었습니다.

• 성능: RIDDE 는 모든 데이터셋에서 평균 MSE 및 MAE 를 가장 낮게 기록하여, Chronos, MOMENT, TimesFM 을 포함한 기존 7 개 TSFM 과 RAF, TS-RAG, Cross-RAG 등 3 개 RAG 기반 베이스라인을 능가했습니다.
• 절대성 연구: 불변 - 동적 분해 (IDD) 나 분해 손실 ($L_{dis}$) 을 제거하면 성능이 크게 저하되어 두 구성 요소의 필요성이 확인되었습니다.
• 효율성: RIDDE 는 경량 게이트 및 분해 설계로 인해 RAG 기반 베이스라인에 비해 평균 단계 시간과 에포크당 학습 시간이 더 짧았으며, 피크 GPU 메모리 사용량은 유사했습니다.
• 민감도: 모델은 특히 검색된 시퀀스 수 ($K$) 와 스케일링 매개변수 ($\rho$) 와 관련하여 다양한 하이퍼파라미터 범위에서 견고한 성능을 보였습니다.

의의
이 논문은 시계열 예측에서 검색의 효과가 균일하지 않으며, 부주의하게 모델을 진동 패턴으로 편향시킬 수 있다고 주장합니다. 검색을 표현 분해를 위한 도구로 재정의함으로써, RIDDE 는 모델이 이전 가능한 시간 구조를 보존하면서도 특정 동적 변화에 적응할 수 있게 합니다. 이 접근법은 표준 융합 방법에 대한 구조화된 대안을 제공하여, 작업별 미세 조정 없이도 분포 변화 하에서 강건성을 향상시킵니다. 이 연구는 비정상 환경에서 일반화를 위해서는 안정적인 요인과 동적 요인을 분리하는 것이 중요함을 시사합니다.