VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

기술 요약: VFEM – 교차 모달리티 융합을 통한 시각적 특징 강화 다변량 시계열 예측

문제 정의
다변량 시계열 예측은 현재의 대규모 파운데이션 모델에서 두 가지 주요 한계에 직면해 있습니다. 첫째, 널리 사용되는 채널 독립적(channel-independent) 구조는 다양한 데이터 차원을 처리하기 위해 각 변수를 개별적으로 취급합니다. 이는 제로샷 일반화에는 유리하지만, 예측 정확도를 높일 수 있는 중요한 채널 간 의존성과 상관관계를 무시합니다. 반대로, 채널 종속적(channel-dependent) 모델은 거대한 데이터셋에 대해 전체 파라미터 학습을 수행해야 하므로 높은 계산 비용이 발생하며, 다변량 시계열을 평탄화(flattening)할 때 도메인 특화 패턴을 포착하지 못할 가능성이 있습니다.

둘째, 기존의 교차 모달리티(cross-modal) 방법들은 주로 텍스트 모달리티(예: 텍스트 프롬프트를 활용한 LLM 재활용)에 의존합니다. 이러한 접근 방식은 비전 모델의 공간 패턴 인식 능력을 충분히 활용하지 못합니다. 다변량 시계열을 2D 이미지로 렌더링하면 주기성, 선행-지연(lead-lag) 관계, 이상 징ential 현상과 같은 시각적 패턴이 나타나며, 이는 사전 학습된 비전 모델이 인식하기에 매우 적합하지만, 교차 모달리티 통합에서의 이러한 잠재력은 여전히 미개척 상태로 남아 있습니다.

방법론: VFEM 아키텍처
저자들은 사전 학습된 대규모 비전 모델(LVM)을 활용하여 복잡한 변수 간 패턴을 포착하도록 설계된 교차 모달리티 프레임워크인 **VFEM (Visual Feature Empowered Multivariate Time Series Forecasting)**을 제안합니다. 이 아키텍처는 세 가지 주요 단계로 구성됩니다.

1. 시각적 모달리티 처리 (Visual Modality Processing):

   • 변환 (Transformation): 다변량 시계열 $X \in \mathbb{R}^{L \times M}$ (여기서 $L$은 룩백 윈도우, $M$은 변수의 개수)를 $X^\top \in \mathbb{R}^{M \times L}$로 전치합니다. 이 행렬은 단일 채널 강도 맵으로 취급되며, 3개의 채널($c=3$)로 복제되어 3채널 RGB 이미지 $X_{vs}$를 형성합니다. 이 표현 방식에서 행은 변수에 해당하고 열은 타임 스텝에 해당합니다.
   • 특징 추출 (Feature Extraction): 사전 학습된 비전 인코더(SigLIP-2-base-NaFlex)가 이미지를 처리하여 전역 시각 임베딩을 추출합니다. 결정적으로, 비전 인코더는 학습 과정 동안 **동결(frozen)**됩니다.
   • 확장 및 투영 (Expansion & Projection): 비전 인코더는 단일 전역 임베딩을 출력하므로, 이를 모든 $M$개 변수에 복제하여 공유된 시각적 컨텍스트를 제공합니다. 이후 학습 가능한 투영 네트워크(잔차 연결 포함)가 시각적 특징과 시계열 표현 사이의 도메인 간극을 메우며, 이를 통합된 은닉 차원으로 매핑합니다.

2. 시계열 모달리티 처리 (Temporal Modality Processing):

   • 원시 시계열은 분포 변화를 제거하면서 시간적 패턴을 보존하기 위해 **가역적 인스턴스 정규화(Reversible Instance Normalization, RevIN)**를 거칩니다.
   • 정규화된 시리즈는 **시공간 셀프 어텐션(spatiotemporal self-attention)**을 사용하는 시간적 브랜치에 의해 처리됩니다. 시간 차원은 세그먼트로 분할되며, 텐서는 변수와 시간 세그먼트 모두에 걸친 의존성을 어텐션 메커니즘이 동시에 포착할 수 있도록 재배열됩니다.

3. 교차 모달리티 융합 (Cross-Modal Fusion):

   • 시각적 은닉 상태($H_{vs}$)와 시간적 은닉 상태($H_{ts}$)를 특징 차원을 따라 결합(concatenate)합니다.
   • 융합 인코더(셀프 어텐션 레이어 사용)가 결합된 특징을 처리하여 교차 모달리티 상호작용과 교차 변수 의존성을 공동으로 모델링합니다.
   • 마지막으로, 선형 예측 레이어가 예측값을 생성하며, 이후 역 가역 인스턴스 정규화를 통해 원래 데이터 스케일을 복원합니다.

주요 기여

• 교차 모달리티 프레임워크: 본 논문은 시계열을 시각적 표현으로 변환하여, 사전 학습된 비전 모델이 채널 독립적 모델이 놓치는 공간적 관계와 교차 변수 패턴을 인지할 수 있게 하는 새로운 접근 방식을 도입했습니다.
• 파라미터 효율성: 거대 비전 인코더를 동결함으로써, VFEM은 전체 파라미터의 단 7.45%(총 375M 중 약 30M의 학습 가능한 파라미터)만을 학습합니다. 이 전략은 사전 학습된 시각적 지식을 활용하는 동시에 제한된 시계열 데이터에 대한 과적합을 방지합니다.
• 성능: 시각적 브랜치와 시간적 브랜치의 융합을 통해, VFEM은 여러 벤치마크에서 경쟁력 있는 예측 성능을 달ert하며, 시각적 패턴 인식이 시계열 분석을 위한 유효하고 효과적인 모달리티임을 입증했습니다.

실험 결과
저자들은 ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather, Traffic의 7개 벤치마크 데이터셋에서 VFEM을 평가했습니다. 비교 대상 모델은 다음과 같습니다:

• 제로샷 시계열 파운데이션 모델: Chronos (Base/Large), Moirai (Base/Large).
• 태스크 특화 지도 학습 모델: GPT4TS, UniTST, TimesNet, PatchTST.

주요 발견 사항:

• 우수한 정확도: VFEM은 모든 데이터셋과 예측 지평($F \in \{96, 192, 336, 720\}$)에서 가장 낮은 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 기록하며, 제로샷 파운데이션 모델과 지도 학습 기반의 태스크 특화 베이스라인 모델들을 모두 능가했습니다.
• 장기 시퀀스 안정성: 시각적 모달리티는 장기 패턴을 인식하는 모델의 능력을 향상시켜, 예측 지평이 길어짐에 따라 발생하는 성능 저하를 완화했습니다 (예: $F=336$에서 $F=720$으로 증가할 때 MSE 증가폭이 매우 적음).
• 어블레이션 연구 (Ablation Studies):
  • 시각적 또는 시간적 브랜치 중 하나라도 제거하면 성능이 저하되었으며, 특히 시각적 브랜치가 장기 예측에 더 큰 영향을 미쳤습니다.
  • 투영 레이어(projection layer)는 모달리티를 정렬하는 데 필수적이었습니다.
  • 동결 전략: 비전 인코더를 완전히 동결했을 때 마지막 2개 또는 4개 레이어를 언프리징(unfreezing)하거나 전체 파인튜닝을 수행했을 때보다 가장 좋은 결과를 얻었습니다. 이는 이질적인 모달리티를 다룰 때 사전 학습된 시각적 표현을 보존하는 것이 중요하다는 것을 시사합니다.
  • 표현 품질: t-SNE 시각화와 실루엣 점수(Silhouette Score) 분석을 통해, 학습된 투영 레이어가 사전 학습된 시각적 특징을 시계열 도메인에 성공적으로 적응시켜, 원시 동결 인코더 출력이나 수작업으로 만든 통계적 특징보다 훨씬 더 나은 클러스터링 품질을 가진 임베딩을 생성함을 확인했습니다.

의의 및 주장
본 논문은 시각적 모달리티의 효용성을 검증함으로써 다변량 시계열 예측에 대한 새로운 관점을 제시한다고 주장합니다. VFEM은 다음을 입증했습니다:

1. 다변량 시계열은 시각적으로 인식 가능한 패턴(주기성, 선행-지연, 이상 현상 등)을 포함하고 있으며, 이는 사전 학습된 비전 모델에 의해 효과적으로 포착될 수 있습니다.
2. 시각적 특징과 시간적 특징의 교차 모달리티 융합은 대규모 시계열 코퍼스에 대한 전체 파라미터 학습의 계산 부담 없이도 복잡한 변수 간 의존성을 효과적으로 모델링할 수 있습니다.
3. 거대 비전 모델을 동결하고 적은 비율의 파라미터만을 학습하는 것은 매우 효율적인 전략이며, 이는 기존의 채널 독립적 방식이나 완전한 파인튜닝 방식에 대한 유효한 대안이 될 수 있습니다.