技術要約：ラグ演算子SSM：構造化状態空間モデリングのための幾何学的フレームワーク

問題提起

Transformerに代わる長距離シーケンスモデリングの強力な選択肢として、Mambaアーキテクチャなどの構造化状態空間モデル（SSM）が登場しており、線形スケーリングと効果的な動的メモリ圧縮を実現している。しかし、既存のSSM、特に高次多項式投影演算子（HiPPO）フレームワークの理論的基礎は、複雑な多段階の導出プロセスに依存している。このプロセスには以下が含まれる：

1. 時変測度を用いた連続時間常微分方程式（ODE）による信号履歴の近似。
2. これらの連続的なダイナミクスからの状態行列の導出。
3. 得られたODEを離散化して実用的な再帰式を得る工程。

この複雑なパイプラインは、状態更新に関する幾何学的な直感を不明瞭にしている。これにより、原理に基づいた拡張や新しいSSMの設計が困難になっている。著者らは、信号履歴と最終的な状態更新の間の直接的な幾何学的つながりが、中間ステップである連続時間モデリングとその後の離散化によって隠されていると主張している。

手法

本論文では、連続時間ODEの段階をバイパスし、第一原理から離散時間SSMを構築するラグ演算子フレームワークを導入する。このアプローチの中核となるのは、新しいラグ演算子（$\sigma_t \circ \sigma^{-1}_{t+1}$）であり、これはシステムの基底関数が次のタイムステップへと「ドメイン拡張」を行う様子を測定することで、離散時間の再帰を幾何学的に導出するものである。

主要構成要素：

1. タイムワーピングと基底の構築:

   • フレームワークは、無限の履歴区間 $T_t = (-\infty, t]$ を標準的な区間 $Z$（例：$(0, 1]$）に写像するタイムワーピング関数 $\sigma_t$ を定義する。
   • 標準的な区間 $Z$ 上に正規直交基底 $\Phi$ を定義する。履歴区間上の基底 $\Psi_t$ は、$\sigma_t$ を介して $\Phi$ をワーピングすることで構築される。
   • 特定の測度密度 $\omega_t(s) = |\sigma'_t(s)|$ を持つ誘導内積により、ワーリングされた基底が正規直交性を維持することを保証する。

2. 信号近似とオンライン更新:

   • 信号履歴は、タイムワーピングされた基底 $\Psi_t$ への投影によって近似され、係数 $c_t$ を生成する。
   • 新しい入力 $u_{t+1}$ を受け取ると、履歴区間は $T_{t+1}$ へと拡張される。フレームワークは、暫定的な拡張信号を定義し、それを新しい基底 $\Psi_{t+1}$ へと投影する。

3. ラグ演算子の導出:

   • 状態遷移行列 $A_t$ と入力行列 $B_t$ は、ラグ演算子を含む単一の内積を通じて直接導出される。
   • 具体的には、$A_t$ は新しい基底関数 $\psi_{t+1,n}$ と古い基底関数 $\psi_{t,m}$ の内積として定義され、これは $\langle \phi_n, \phi_m \circ (\sigma_t \circ \sigma^{-1}_{t+1}) \rangle$ と簡略化できる。
   • この定式化は、状態遷移を、投影の「再ワーリング（re-warping）」として解釈するものである。ここで、ラグ演算子 $\sigma_t \circ \sigma^{-1}_{t+1}$ はドメインの拡張を考慮に入れている。

4. モジュール性:

   • 本フレームワークは、標準的な基底 $\Phi$ の選択とタイムワーピング関数 $\sigma_t$ を切り離している。これにより、異なるワーピングスキームと基底関数を組み合わせるだけで、多様なメモリ特性（例：マルチレゾリューション・メモリ）を持つSSMを柔軟に構築することが可能になる。

主な貢献

• 直接的な離散時間構築: 本論文は、従来のHiPPOの導出で必要とされる中間的な連続時間ODEおよび離散化ステップを完全に回避し、第一原理から離散時間SSMを構築するためのフレームワークを提供している。
• 幾何学的解釈: ドメイン拡張を定量化する幾何学的マッピングとしてのラグ演算子を導入し、状態遷移を信号の圧縮された履歴の「再ワーリング」として捉える明確な直感を提供している。
• HiPPOの理論的回収: 指数型タイムワーピングとルジャンドル多項式を用いた特定のインスタンスが、影響力のあるHiPPO-LegSの再帰関係を正確に回収することを証明した。これは、HiPPO自体のより根本的な幾何学的基礎を提供するものである。
• モジュラーな設計空間: ワーピング関数と基底関数を独立して選択できるため、マルチレゾリューション・メモリ（長期的なトレンドと微細な詳細を同時に追跡する）や、周波数を保持する振動モデルなどの設計を容易にするモジュラーな設計空間を実現している。

結果

著者らは、理論的証明と数値シミュレーションの両方を通じてフレームワークを検証している。

• 理論的検証:
  • 命題1および2: 著者らは、離散ラグ演算子フレームワークから連続時間生成器（$A_{gen}, B_{gen}$）を導出した。指数型ワーピングを用いた場合、これらの生成器が（転置およびティルティング・シフトを除いて）既知のHiPPO-LegS行列と一致することを示し、フレームワークの妥当性を確認した。
  • 収束性: 離散遷移行列 $A_\Delta$ は、タイムステップ $\Delta \to 0$ において、連続時間生成器の行列指数関数に収束することが示されている。
• 数値的検証:
  • 行列の等価性: カオス的なLorenz63信号を用いたシミュレーションにより、ラグ演算子フレームワークから導出された行列が、解析的なHiPPO-LegS行列と数値的に等価であり（フロベニウスノルムの差が無視できる程度）、フレームワークの妥当性が確認された。
  • メモリダイナミクス: ラグ演算子モデルによる信号履歴の再構成は、HiPPO-LegSのベースラインとほぼ完全に一致しており（平均二乗誤差 $\approx 5.76 \times 10^{-7}$）、両モデルとも直近の履歴を捉えつつ、遠い過去のイベントに対して期待される指数関数的な減衰を示す。

意義と主張

本論文は、本研究を、より柔軟で解釈可能な構造化状態空間モデルの理論に向けた基礎的な一歩として位置づけている。

• 概念的な明快さ: フレームワークは、メモリ制御を単一のコンポーネントであるタイムワープ $\sigma_t$ に集約し、HiPPOの複雑な多段階の導出を、直接的な幾何学的投影へと置き換えている。これにより、メモリプロファイルがいかに設計されるかの理解が簡素化される。
• 設計の柔軟性: 基底とタイムワープを切り離すことで、フレームワークはモジュラーな設計空間を開放する。著者らは、これにより、ヘテロジニアスなメモリ減衰率（例：マルチレゾリューション・メモリ）や、特殊な振動信号の処理を原理的に構築できると主張している。これらは標準的なODEベースの導出では達成が困難な事項である。
• 相互交換可能性: 数値結果は、提案されたフレームワークが元のHiPPOの再帰と同一の挙動を示すメモリコンポーネントを生成することを検証しており、将来のシーケンスモデリング・アーキテクチャにおける堅牢で交換可能なビルディングブロックであることを確立している。

著者らは、本研究が概念実証の検証と新しい設計（マルチレゾリューション・ラグSSMなど）の理論的なスケッチを提供しているものの、完全な実装および標準的なタスクへのダウンストリーム・ベンチマーキングについては、今後の課題として留保していることを明記している。現在の貢献は主に理論的なものであり、状態空間モデルのメカニズムに対する新しい視点を提供するものである。