技術要約: SPDM – 幾何学的制約を用いた幾何学変調型状態空間モデリング

1. 問題提起

多変量時系列予測は、相互作用する変数間の進化し続ける相関構造を捉えるという根本的な課題に直面している。TransformerやMambaのような標準的な状態空間モデル（SSM）を含む既存のニューラルシーケンスアーキテクチャは、変数間の関係を静的なものとして扱ったり、その幾何学的な連続性を放棄したりすることが多い。

• Transformer は自己注意（self-attention）メカニメントに依存しており、計算複雑度が二次関数的（$O(L^2)$）であるだけでなく、相関構造を時間軸に沿って連続的に伝播させることに苦慮する。
• 標準的なSSM（例：Mamba） は線形計算量を実現しているが、通常、多変量間の相互作用を平坦なシーケンスまたは静的なグラフとしてモデル化しており、共分散行列の固有の幾何学的特性を考慮できていない。
• 既存の幾何学的手法 は、静的な幾何学的事前分布に依存するか、幾何学的変換を補助的なメカニズムとして適用するにとどまっており、相関構造を原理に基づいた幾何学的多様体上の連続的な軌跡としてモデル化しているわけではない。

核心となる問題は、SSMの計算効率を維持しながら、進化する変数間の相関構造を連続的な幾何学的軌跡として明示的にモデル化できるアーキテクチャが欠如していることである。

2. 手法：SPDM アーキテクチャ

著者らは、進化する変数間の相関構造を、対称正定値（SPD）多様体（$\mathcal{P}_N$）上の連続的な軌跡として扱うアーキテクチャである SPDM (Geometry-Modulated State Space Modeling with Manifold Constraints) を提案する。このモデルは、多様体制約付きの状態空間ダイナミクスを実現するために、2つの協力するパスを統合している。

パス A: SPD 多様体軌跡パス

このパスは、相関の幾何学的進化を構築し、処理する。

1. 動的共分散構築: 入力シーケンスは、重なり合うスライディングウィンドウへと展開される。各ウィンドウに対して標本共分散行列 $\Sigma_t$ が計算され、$\mathcal{P}_N$ 上の離散的な軌跡を辿る。
2. 接空間への投影: 標準的なニューラルブロックによる効率的な処理を可能にするため、軌跡をユークリッド接空間へと投影する。
   • 参照点は、多様体の曲がった幾何学を尊重する Log-Euclidean Fréchet Mean ($\bar{\Sigma}$) を用いて確立される。
   • 各共分散行列は、対数写像を用いて接空間 $T_{\bar{\Sigma}}\mathcal{P}_N$ へと投影される：$V_t = \log_{\bar{\Sigma}}(\Sigma_t)$。
   • 得られた対称行列は、上三角ベクトルへと平坦化される。
3. Geometry Mamba: 専用のMambaモジュールが、接ベクトルシーケンスを処理して幾何学的軌跡の時間的ダイナミクスを捉え、変調パラメータ（$\mathbf{h}_{geo}$）を生成する。
4. 疎なウィンドウアライメント: ウィンドウレベルの幾何学的特徴と変数レベルのトークンの間の粒度のギャップを埋めるために、疎なアライメント戦略が採用される。幾何学的信号は、線形補間による情報の平滑化を避けるため、ウィンドウの中心に対応する特定のタイムステップにのみ注入される。

パス B: 変調型 Mamba エンコーダ

このパスは、パスAからの幾何学的信号によって導かれながら、生の時系列データを処理する。

1. 反転埋め込み: 変数はトークンとして扱われ、シーケンスは転置され、Mambaはタイムステップではなく変数間をスキャンするように構成される。
2. Geometry-Modulated Mamba: コアとなる革新は、Mamba VC（Variable Channel）エンコーダの 選択的状態空間パラメータ ($\mathbf{B}$ および $\mathbf{C}$) に幾何学的信号を直接注入することにある。
   • 幾何学を外部の条件付け信号として扱うのではなく、モデルは内部のSSMパラメータ化をインターセプトする。
   • 幾何学的信号は投影され、$\mathbf{B}$ と $\mathbf{C}$ に加算的に注入される：$\mathbf{B} = \mathbf{B}_{base} + \mathbf{W}_{geo}^B(\Delta_{geo})$ および $\mathbf{C} = \mathbf{C}_{base} + \mathbf{W}_{geo}^C(\Delta_{geo})$。
   • このメカニズムにより、SSMの入力から状態への経路、および状態から出力への経路が、基礎となる相関トポロジーの変化に適応的に応答することが可能になる。

計算量と効率

本アーキテクチャは、Mambaの並列スキャンの 線形時間計算量 ($O(L)$) を維持している。パスAには固有値分解（$O(N^3)$）が含まれるが、高次元データセットに対しては低ランク投影を用いることでこれを $O(R^3)$ に削減し、スケーラビリティを確保している。全体の計算量は、シーケンス長および変数個数に対して線形である。

3. 主な貢献

本論文は、主に3つの貢献を述べている。

1. 多様体制約付き状態空間ダイナミクスの原理: 進化する変数間の相関を、SPD多様体上の連続的なリーマン軌跡として扱うことが、SSMベースの予測に対して効果的な幾何学的正則化を提供することを実証した。
2. SPDM アーキテクチャ: 接空間内でSPD多様体軌跡をスキャンし、幾何学的ゲーティングを介してMambaの選択的パラメータを直接変調することで、この原理を実現する幾何学認識型SSMを構築した。これにより、外部の条件付けや線形計算量の犠牲なしに、本質的な幾何学的認識を実現している。
3. 実証的検証: 11の現実世界のベンチマークデータセットを用いた包括的な実験により、モデルの性能の背後にある主要因は、孤立したアーキテクチャ構成要素ではなく、多様体制約付きのダイナミクスであることを確認した。

4. 実験結果

著者らは、多様なドメイン、変数数（7から883）、および時間的粒度をカバーする11のデータセット（ETTh1/2, ETTm1/2, ECL, Exchange, Weather, PEMS03/07/08, Illnessを含む）においてSPDMを評価した。

• 予測精度: SPDMは、全体を通してSOTA（最先端）またはニアSOTAの性能を達成した。ETTh1、ETTh2、Weather、Illnessにおいて、平均MSE/MAEで最高の成績を収めた。ECL（321変数）やPEMSベンチマークのような高次元データセットにおいて、SPDMはS-Mamba、iTransformer、PatchTSTといった強力なベースラインを一貫して上回り、特に複雑な変数間ダイナミクスの捕捉において優れていた。
• アブレーション研究:
  • 幾何学的注入: $\mathbf{B}$ と $\mathbf{C}$ への幾何学的信号の注入を取り除くと、特に高次元データセット（例：ECLでのMSE 12.6%増加）において大幅な性能低下を招き、直接的なパラメータ変調の必要性が検証された。
  • アライメント戦略: 提案された疎なウィンドウアライメントは線形補間よりも優れた性能を示し、共分散ウィンドウの本来の時間解像度を保持することが重要であることを裏付けた。
  • 正則化: 明示的な測地線平滑化正則化は、Log-Euclidean Fréchet Meanと接投影が十分な幾何学的平滑化を本質的に強制するため、冗長であることが判明した。
• 効率性: SPDMは、Transformerベースおよびパッチベースのモデルと比較して、優れた学習速度とメモリ効率を示し、競争力のある精度を維持しながら低いGPUメモリ使用量を実現した。
• 堅牢性: モデルはガウスノイズに対して高い耐性を示し、強い摂動（$\sigma=0.5$）の下でも、多様体投影による幾何学的正則化効果により、機能的な精度を維持した。
• 長期モデリング: ルックバックウィンドウの増加に伴い性能が飽和または低下するベースラインとは異なり、SPDMはルックバック長が増加するにつれて誤差が滑らかに単調減少する挙動を示した。

5. 意義と主張

本論文は、SPDMが状態空間アーキテクチャ内における 多様体制約付きニューラルダイナミクス の基礎的なパラダイムを確立すると主張している。その意義は以下の点にある。

• 幾何学と効率の架け橋: リーマン幾何学（具体的にはSPD多様体制約）をMambaの線形時間効率と融合させることに成功し、幾何学的忠実度と計算のスケーラビリティの間のトレードオフを克服した。
• 原理的な正則化: 幾何学的制約は、SSMの選択的スキャンダイナミクスを導き安定させる原理的な正則化として機能し、モデルが真の構造的レジームシフトと確率的ノイズを区別することを可能にすると断じている。
• アーキテクチャへの介入: SSMのパラメータ化レベル（$\mathbf{B}$ と $\mathbf{C}$ の変調）で介入することにより、SPDMは幾何学を外部の付加物ではなく、シーケンスモデリングプロセスの形成的な構成要素としている。

著者らは、このアプローチが、不規則にサンプリングされた信号の取り扱いや、高次の積多様体の活用を含む、構造化された非ユークリッド表現上の幾何学的ディープラーニングへの道を開くものであると結論づけている。