기술 요약: STM3: 장기 시공간 시계열 예측을 위한 다중 스케일 Mamba 의 혼합

문제 정의

시공간 시계열 예측은 교통 예측 및 환경 모니터링과 같은 응용 분야에서 중요합니다. 딥러닝 방법이 이 분야를 발전시켰지만, 기존 접근 방식은 복잡한 장기 시공간 의존성을 효율적으로 학습하는 데 어려움을 겪습니다. 이 논문은 장기 시퀀스에 내재된 두 가지 특정 과제를 식별합니다:

1. 다중 스케일 정보 추출: 장기 시퀀스는 본질적으로 다중 스케일 정보 (예: 분 단위 패턴 대 일별 주기성) 를 포함합니다. 기존 방법들은 종종 이러한 스케일의 재얽힘 (re-entanglement) 을 초래하는 거친 집계 메커니즘 (예: 단순 합산) 에 의존하거나, 이를 추출하려 할 때 높은 계산 오버헤드를 겪습니다.
2. 이질적인 공간 상관관계: 다양한 공간 노드에 걸친 다중 스케일 시간 정보는 밀접하게 상관되어 있지만 이질적입니다 (예: 고속도로와 비즈니스 지구 간의 교통 패턴 차이). 현재 모델들은 공간 상관관계의 근본적인 기원을 포착하는 데 실패하는 경우가 많으며, 저자들은 이것이 정적 그래프 구조가 아니라 시간 패턴의 유사성에 의해 본질적으로 주도된다고 주장합니다.

방법론

저자들은 다중 스케일 시간 패턴을 분리하고 복잡한 공간 의존성을 모델링하도록 설계된 STM3(Spatio-Temporal Mixture of Multiscale Mamba) 를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 구성됩니다:

1. 다중 스케일 전처리

입력 시계열은 원시 특징으로 투영된 후, 다양한 커널 크기를 가진 1D 시간 컨볼루션을 사용하여 여러 시간 스케일 ($Q$) 로 분해됩니다. 이는 더 세밀하고 더 거친 스케일이 메인 백본에 진입하기 전에 명시적으로 분리되는 다중 스케일 표현을 생성합니다.

2. 적응형 그래프 인과 컨볼루션 네트워크 (AGCCN)

모든 스케일에 걸쳐 모든 노드를 연결하는 계산 복잡성과 알려진 실제 공간 그래프의 부재를 해결하기 위해 STM3 는 AGCCN 을 도입합니다.

• 적응형 그래프 학습: 도메인별 휴리스틱을 피하고 모든 시간 스케일에 걸쳐 공유되는 그래프 구조를 추론하기 위해 학습 가능한 노드 임베딩 사전 (dictionary) 을 활용합니다.
• 인과적 어텐션: 인과적 어텐션 메커니즘은 스케일 간 정보를 집계합니다. 세밀한 특징이 더 거친 정보를 검색할 수 있지만 그 반대는 불가능하도록 계층적 규칙을 강제합니다. 이는 정보의 얽힘을 방지하고 스케일 구별 가능성을 유지합니다.

3. 분리된 다중 스케일 Mamba 혼합 (DMMM)

이는 다중 스케일 Mamba아키텍처와 **분리된 혼합 전문가 (DMoE)**프레임워크를 결합한 핵심 혁신입니다.

• 다중 스케일 Mamba: 표준 Mamba 와 달리, 이 모듈은 1D 컨볼루션을 사용하여 수용 영역을 효율적으로 확장하는 "스케일 증폭"메커니즘을 사용합니다. 이는 스케일 간에 입력 인식 파라미터를 공유하지만 상태 공간 모델 (SSM) 이 스케일별 패턴 추출을 수행하도록 안내하는 학습 가능한 편향 항 ($\Omega$) 을 도입하는 다중 스케일 SSM을 사용합니다.
• 분리된 혼합 전문가 (DMoE): 이질적인 공간 패턴을 처리하기 위해 모델은 여러 전문가 (하나의 공유 전문가와 여러 개의 전문화된 전문가) 를 사용합니다.
  • 노드 임베딩 기반 라우팅: 불안정한 라우팅을 초래하는 동적 입력 시계열을 게이팅에 사용하는 대신, STM3 는 동일한 공간 노드의 모든 시간 스텝이 동일한 전문가로 라우팅되도록 보장하여 라우팅의 부드러움을 보장하는 정적 학습 가능한 노드 임베딩을 사용하여 전문가 할당을 결정합니다.
  • 인과적 대비 학습: 전문가들이 서로 다른 패턴을 학습하도록 보장하기 위해 저자들은 인과적 대비 손실 (causal contrastive loss) 을 도입합니다. 이 손실은 동일한 샘플의 더 거친 스케일 출력을 양의 쌍으로, 더 세밀한 스케일 출력이나 다른 전문가의 출력을 음의 쌍으로 처리합니다. 이 비대칭 유사도 측정은 패턴 분리를 강제하여 각 전문가가 특정 시간 역학에 특화되도록 합니다.

주요 기여

이 논문은 세 가지 주요 기여를 주장합니다:

1. 이론적 통찰: 저자들은 노드 간 공간 상관관계가 본질적으로 다중 스케일 시간 패턴의 유사성에 의해 주도된다는 것을 밝혀냈습니다. 이를 바탕으로 다중 스케일 특징 집계 및 모델 분리에 대한 방법을 제안합니다.
2. 아키텍처 혁신 (STM3): 다음을 특징으로 하는 포괄적인 솔루션:
   • 다중 스케일 Mamba: 스케일 증폭 및 편향 유도 SSM 을 통해 낮은 계산 오버헤드로 다중 스케일 시간 패턴을 효율적으로 포착합니다.
   • AGCCN: 계층적 정보 흐름을 보장하는 인과적 스케일별 시공간 융합을 수행합니다.
   • DMoE: 노드 임베딩 라우팅 및 인과적 대비 학습을 통해 전문가 분리를 달성합니다.
3. 경험적 성능: 10 개의 실제 세계 벤치마크에 대한 광범위한 실험을 통해 STM3 가 장기 시공간 예측에서 최첨단 (SOTA) 결과를 달성함을 입증했습니다.

실험 결과

이 모델은 교통 (METR-LA, PEMSD4, PEMSD8), 대기 질 (KnowAir), 무선 트래픽 (Milan), 태양광 (NREL), 전력 (ETTh1, Electricity) 분야의 10 개 데이터셋에서 평가되었습니다.

• 성능: STM3 는 Mamba 기반 모델 (DST-Mamba, SST, MixMamba) 과 Transformer 기반 모델 (iTransformer, PatchTST) 을 포함한 13 개의 베이스라인을 일관되게 능가했습니다.
• 주목할 만한 개선: PEMSD8데이터셋에서 STM3 는 두 번째로 좋은 모델보다 MAE 에서 7.1%, RMSE 에서 8.5%, **MAPE 에서 15.9%**만큼 뛰어났습니다. NREL에서는 MAE 를 10.1% 그리고 RMSE 를 7.1% 개선했습니다.
• 효율성: 다중 전문가 설계로 인해 훈련 비용은 더 높지만, Top-1 MoE 메커니즘은 효율적인 추론을 보장합니다. STM3 는 MixMamba 및 AMD 와 같은 복잡한 베이스라인보다 추론 속도가 훨씬 빠릅니다.
• 절대적 연구 (Ablation Studies): 핵심 구성 요소 (다중 스케일 메커니즘, DMoE, 인과적 어텐션, 또는 특정 라우팅 전략) 중 하나를 제거하면 성능이 저하되어 각 모듈의 필요성을 확인했습니다. 다중 스케일 메커니즘이 평균 성능 향상 (9.72%) 을 가장 크게 제공했습니다.

중요성 및 주장

이 논문은 공간 및 시간 의존성의 "얽힘"을 해결함으로써 시공간 모델링의 중요한 발전으로 STM3 를 위치시킵니다.

• 분해: 이전 집계 방법에서 관찰된 재얽힘을 방지하여 복잡한 다중 스케일 정보를 성공적으로 분리합니다.
• 안정성: 제안된 노드 임베딩 기반 라우팅 전략은 이론적으로 노드별 불일치를 0 으로 달성하여 시계열의 전통적인 입력 기반 MoE 게이팅에서 흔히 발생하는 불안정성 문제를 해결합니다.
• 일반화 가능성: 다양한 도메인 (교통, 에너지, 환경) 에서 뛰어난 성능을 입증함으로써, 저자들은 STM3 가 세밀하고 다중 스케일 역학이 중요한 장기 예측 작업에 대한 강력한 프레임워크를 제공한다고 주장합니다.

이 연구는 장기 시공간 의존성을 모델링하려면 공간 노드 유사성과 시간 패턴 유사성 사이의 본질적 연결을 존중하는 통합된 접근 방식이 필요하며, 이 원칙이 STM3 아키텍처를 통해 효과적으로 실현되었다고 결론지었습니다.