기술 요약: SPDM – 매니폴드 제약을 통한 기하학적 변조 상태 공간 모델링

1. 문제 정의

다변량 시계열 예측은 상호작용하는 변수들 사이의 지속적으로 진화하는 상관관계 구조를 포착해야 한다는 근본적인 과제에 직면해 있습니다. Transformer와 Mamba와 같은 표준 상태 공간 모델(SSM)을 포함한 기존의 신경 시퀀스 아키텍처들은 변수 간의 관계를 정적이거나 기하학적 연속성이 결여된 것으로 취급하는 경향이 있습니다.

• Transformer는 이차 복잡도($O(L^2)$)를 유발하는 셀프 어텐션 메커니즘에 의존하며, 시간 차원을 따라 상관관계 구조를 연속적으로 전파하는 데 어려움을 겪습니다.
• **표준 SSM (예: Mamba)**은 선형 복잡도를 달성하지만, 일반적으로 다변량 상호작용을 평면적인 시퀀스나 정적인 그래프로 모델링하여, 진화하는 공분산 행렬의 고유한 기하학적 특성을 반영하지 못합니다.
• 기존 기하학적 방법론은 정적인 기하학적 사전 지식에 의존하거나 기하학적 변환을 보조적인 메커니ism으로 적용할 뿐, 상관관계 구조를 원칙적인 기하학적 매니폴드 위의 연속적인 궤적으로 모델링하지는 못합니다.

핵심 문제는 SSM의 계산 효율성을 유지하면서도 진화하는 교차 변수 상관관계를 연속적인 기하학적 궤적으로 명시적으로 모델링할 수 있는 아키텍처가 부족하다는 점입니다.

2. 방법론: SPDM 아키텍처

저자들은 **SPDM (Geometry-Modulated State Space Modeling with Manifold Constraints)**을 제안합니다. 이 아키텍처는 진화하는 교차 변수 상관관계를 대칭 양의 정부호(SPD) 매니폴드($\mathcal{P}_N$) 상의 연속적인 궤적으로 취급합니다. 이 모델은 매니폴드 제약이 있는 상태 공간 역학을 구현하기 위해 두 개의 협력하는 경로를 통합합니다.

경로 A: SPD 매니폴드 궤적 경로

이 경로는 상관관계의 기하학적 진화를 구축하고 처리합니다:

1. 동적 공분산 구축: 입력 시퀀스는 중첩되는 슬라이딩 윈도우로 펼쳐집니다. 각 윈도우에 대해 표본 공분산 행렬 $\Sigma_t$가 계산되어 $\mathcal{P}_N$ 상의 이산 궤적을 추적합니다.
2. 접공간 투영 (Tangent Space Projection): 표준 신경 블록에 의한 효율적인 처리를 가능하게 하기 위해, 궤적을 유클리드 접공간으로 투영합니다.
   • **로그-유클리드 프레셰 평균 (Log-Euclidean Fréchet Mean, $\bar{\Sigma}$)**을 사용하여 매니폴드의 곡선 기하학을 존중하는 참조점을 설정합니다.
   • 각 공분산 행렬은 로그 맵을 통해 접공간 $T_{\bar{\Sigma}}\mathcal{P}_N$으로 투영됩니다: $V_t = \log_{\bar{\Sigma}}(\Sigma_t)$.
   • 결과로 얻어진 대칭 행렬들은 상삼각 벡터로 평탄화(flattening)됩니다.
3. Geometry Mamba: 전용 Mamba 모듈이 접벡터 시퀀스를 처리하여 기하학적 궤적의 시간적 역학을 포착하고, 변조 파라미터($\mathbf{h}_{geo}$)를 생성합니다.
4. 희소 윈도우 정렬 (Sparse Window Alignment): 윈도우 수준의 기하학적 특징과 변수 수준의 토큰 사이의 입도 차이를 메우기 위해 희소 정렬 전략이 사용됩니다. 기하학적 신호는 선형 보간으로 인한 정보 흐림 현상을 피하기 위해 윈도우 중심에 해당하는 특정 타임스텝에만 주입됩니다.

경로 B: 변조된 Mamba 인코더

이 경로는 경로 A로부터 전달된 기하학적 신호의 안내를 받으며 원시 시계열을 처리합니다:

1. 역전된 임베딩 (Inverted Embedding): 변수를 토큰으로 취급하며, Mamba가 타임스텝이 아닌 변수들을 가로질러 스캔하도록 시퀀스를 전치합니다.
2. Geometry-Modulated Mamba: 핵심 혁신은 Mamba VC (Variable Channel) 인코더의 선택적 상태 공간 파라미터 ($\mathbf{B}$ 및 $\mathbf{C}$)에 기하학적 신호를 직접 주입하는 데 있습니다.
   • 기하학을 외부 조건부 신호로 취급하는 대신, 모델은 내부 SSM 파라미터화 과정을 가로챕니다.
   • 기하학적 신호는 투영된 후 $\mathbf{B}$와 $\mathbf{C}$에 가법적으로 주입됩니다: $\mathbf{B} = \mathbf{B}_{base} + \mathbf{W}_{geo}^B(\Delta_{geo})$ 및 $\mathbf{C} = \mathbf{C}_{base} + \mathbf{W}_{geo}^C(\Delta_{geo})$.
   • 이 메커니즘을 통해 SSM의 입력-상태 및 상태-출력 경로가 기저 상관관계 토폴로지의 변화에 적응적으로 반응할 수 있게 합니다.

복잡도 및 효율성

이 아키텍처는 Mamba 병렬 스캔의 선형 시간 복잡도($O(L)$)를 보존합니다. 경로 A에서 고유값 분해($O(N^3)$)가 포함되지만, 저자들은 고차원 데이터셋에 대해 이를 $O(R^3)$로 줄이는 저계수(low-rank) 투영을 사용하여 확장성을 확보했습니다. 전체 복잡도는 시퀀스 길이와 변수 수에 대해 선형적으로 유지됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 매니폴드 제약 상태 공간 역학 원리: 저자들은 진화하는 교차 변수 상관관계를 SPD 매니폴드 상의 연속적인 리만 궤적으로 취급하는 것이 SSM 기반 예측에 효과적인 기하학적 정규화를 제공함을 입증했습니다.
2. SPDM 아키텍처: 접공간에서 SPD 매니폴드 궤적을 스캔하고 기하학적 게이팅을 통해 Mamba의 선택적 파라미터를 직접 변조함으로써 이 원리를 실현하는 기하학 인식형 SSM을 제안합니다. 이는 외부 조건부 없이도 내재적인 기하학적 인식을 달로하며 선형 복잡도를 희생하지 않습니다.
3. 실증적 검증: 11개의 실제 벤치마크 데이터셋에 대한 종합적인 실험을 통해, 매니폴드 제약 역학이 고립된 아키텍처 구성 요소가 아니라 모델 성능의 핵심 동인임을 확인했습니다.

4. 실험 결과

저자들은 다양한 도메인, 변수 수(7개에서 883개), 시간적 입도를 포함하는 11개의 데이터셋(ETTh1/2, ETTm1/2, ECL, Exchange, Weather, PEMS03/07/08, Illness 포함)에서 SPDM을 평가했습니다.

• 예측 정확도: SPDM은 전반적으로 SOTA(State-of-the-Art) 또는 근접 SOTA 성능을 달성했습니다. ETTh1, ETTh2, Weather, Illness에서 최상의 평균 MSE/MAE를 기록했습니다. ECL(321개 변수) 및 PEMS 벤치마크와 같은 고차원 데이터셋에서 SPDM은 S-Mamba, iTransformer, PatchTST와 같은 강력한 베이스라인 모델들을 일관되게 능가하며, 특히 복잡한 변수 간 역학을 포착하는 데 탁월한 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 기하학적 주입: $\mathbf{B}$와 $\mathbf{C}$에 기하학적 신호를 주입하는 것을 제거했을 때, 특히 고차원 데이터셋(예: ECL에서 MSE 12.6% 증가)에서 상당한 성능 저하가 발생하여 직접적인 파라미터 변조의 필요성을 입증했습니다.
  • 정렬 전략: 제안된 희소 윈도우 정렬 방식이 선형 보간보다 우수한 성능을 보여, 공분산 윈도우의 고유한 시간 해상도를 보존하는 것이 중요함을 확인했습니다.
  • 정규화: 명시적인 측지선 평활도(geodesic smoothness) 정규화는 로그-유클리드 프레셰 평균과 접공간 투영이 충분한 기하학적 평활도를 본질적으로 강제하기 때문에 불필요한 것으로 나타났습니다.
• 효율성: SPDM은 Transformer 기반 및 패칭(patching) 기반 모델과 비교하여 우수한 훈련 속도와 메모리 효율성을 보여주었으며, 경쟁력 있는 정확도를 달성하면서도 낮은 GPU 메모리 사용량을 유지했습니다.
• 강건성: 모델은 가우시안 노이즈에 대해 높은 회복력을 보였으며, 매니폴드 투영의 기하학적 정규화 효과 덕분에 강한 섭동($\sigma=0.5$) 하에서도 기능적 정확도를 유지했습니다.
• 장기 모델링: 룩백 윈도우(lookback window)가 증가함에 따라 성능 포화나 저하를 겪는 베이스라인들과 달리, SPDM은 룩백 길이가 길어짐에 따라 오차가 완만하고 단조롭게 감소하는 모습을 보였습니다.

5. 의의 및 주장

본 논문은 SPDM이 상태 공간 아키텍처 내에서 **매니폴드 제약 신경 역학(manifold-constrained neural dynamics)**을 위한 기초적인 패러다임을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 기하학과 효율성의 결합: SPD 매니폴드 제약(특히)을 Mamba의 선형 시간 효율성과 성공적으로 통합하여, 기하학적 충실도와 계산 확장성 사이의 트레이드오프를 극복했습니다.
• 원칙적인 정규화: 기하학적 제약이 SSM의 선택적 스캐닝 역학을 가이드하고 안정화하는 원칙적인 정규화 역할을 수행하며, 이를 통해 모델이 실제 구조적 체제 변화(regime shifts)와 확률적 노이즈를 구분할 수 있게 함을 제시합니다.
• 아키텍처적 개입: SSM 파라미터화 단계에서 개입함으로써( $\mathbf{B}$ 와 $\mathbf{C}$ 를 변조), SPDM은 기하학을 단순한 보조적인 추가 요소가 아닌 시퀀스 모델링 프로세스의 형성적 구성 요소로 만듭니다.

저자들은 이 접근 방식이 구조화된 비유클리드 표현에 대한 기하학적 딥러닝의 길을 열었으며, 향후 불규칙하게 샘플링된 신호 처리 및 고차 곱 매니폴드(higher-order product manifolds) 활용 등으로 확장될 수 있다고 결론지었습니다.