技術要約：不連続なゲーティングを持つ選択的SSMの正則性と安定性特性

問題提起

Mambaに代表される選択的状態空間モデル（Selective SSMs）は、長系列モデリングの中心となっている。しかし、その安定性の特性については十分に理解されていない。古典的な線形時不変（LTI）系や滑らかな非線形系とは異なり、選択的SSMは、トークン依存のゲーティング信号によって状態空間係数（$A, B, C$）がオンラインで変調される。これにより、このシステムはLTIでも古典的な非線形系でもなく、むしろ不連続でデータ依存のパラメータを持つハイブリッドシステムとなる。既存の分析は、表現力に焦点を当てるか、あるいは入力を固定された動的システムとして扱うことが多く、これらのモデルがいかに初期条件を忘却し、エネルギーを蓄積し、摂動に対して安定性を維持するかという、統一されたエネルギーベースの説明を欠いている。

手法

著者らは、古典的な制御理論、具体的には受動性（passivity）、散逸性（dissipativity）、および**入力対状態安定性（ISS）**の観点からこの問題に取り組んでいる。主要な概念的革新は、2つの信号を明示的に分離することである：

1. 選択信号 ($x(\cdot)$): 時変行列 $A, B, C$ を決定することでダイナミクスをスケジューリングする。
2. 駆動入力 ($u(\cdot)$): ダイナミクスを駆動し、サプライレート（supply rate）に現れるポート入力。

トークン選択型アーキテクチャではしばしば $x \equiv u$ と設定されるが、著者らは受動性とISSの解析における量化子を明確にするために、この分離を維持している。

理論的枠組み

本論文では、以下の連続時間選択的SSMを分析する：
$$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$$
$$y(t) = C(\Delta(t), x(t))h(t)$$
ここで、$\Delta(t)$ は補助的なゲーティング信号（通常は区分定数）である。分析は、ゲーティングによって導入される不連続性を許容するため、緩やかな $L^p_{loc}$ 正則性を仮定している。

主な理論的ステップは以下の通りである：

• 厳密な散逸性: システムが初期条件の指数関数的な忘却を示す条件を確立する。
• 凍結選択解析（Frozen-Selection Analysis）: 選択信号を固定（$x(t) \equiv 0$）することで、受動的な線形時変（LTV）部分系を明らかにする。Morandin & Hinsen (2024) による最近の結果を活用し、著者らは、不連続なゲーティング下であっても、この部分系が**局所的に絶対上限半連続（AUC$_{loc}$）**な性質を持つ最小二次ストレージ関数を保持することを証明する。
• 普遍的二次ストレージ: すべての適応可能な選択スケジュールに対して単一の二次ストレージ関数が受動性を保証しなければならない場合、どのような構造的制約が生じるかを調査する。これは、パラメトリックな線形行列不等式（LMI）と「不可逆的な忘却（irreversible forgetting）」（一度状態の方向がストレージ行列の核に入ると、再び観測可能にはできない）という概念につながる。
• グローバルISS: 選択スケジュールに対して一様に、駆動入力 $u(\cdot)$ に関するグローバルな入力対状態安定性（ISS）の十分条件を導出する。

離散ブリッジと正則化

現代的なアーキテクチャにおいて理論を実用的なものにするため、著者らは連続時間のパラメトリックLMIを、Mambaの選択的スキャン再帰に対応するサンプリング・ブロックLMIへと変換する。

• 1ステップの離散散逸不等式を導出する。
• 各トークンステップにおいて、サンプリングされたブロック行列 $L_k(P, \beta)$ の最大正固有値を罰する、微分可能な正則化項 $R_{LMI}$ を定義する。
• この正則化を、実際のMambaベースのアーキテクチャ（SST）の学習ループにソフト制約として統合する。

主な貢献

1. 2信号モデル: 選択信号とポート入力を分離したクリーンな定式化により、受動性とISSの厳密な解析を可能にした。
2. 指数関数的忘却: 厳密な散逸性（$\beta > 0$）が二次的な境界と組み合わさることで、適応可能な選択スケジュールにわたって、同次軌道の指数関数的な減衰を意味することを形式的に証明した。
3. 標準的なエネルギー構造: 凍結選択部分系が、AUC$_{loc}$ 正則性を持つ最小二次ストレージ関数を持つことを示した。これは、HiPPOのような初期化に対するエネルギーベースの正当化を提供する。
4. 構造的制約と不可逆的な忘却: 普遍的な二次ストレージの仮定の下で、パラメトリックLMIを導出し、ストレージ行列のランクは非増加であることを証明した。これにより、「不可逆的な忘却」を形式化した：エネルギー構造によって破棄された状態の方向は、ゲーティング機構によって回復することはできない。
5. グローバルISS条件: 選択スケジュールに対して一様に、駆動入力に関するグローバルな安定性の十分条件を導出した。
6. 離散LMI正則化器: 連続理論から導出された、実用的かつ微分可能な訓練時正則化器を提示し、これをMambaの選択的スキャンコアに適用可能とした。
7. 実証的検証: 7つの時系列データセットと4つの予測ホライゾンを用いた広範な評価を行い、正則化器がクリーンな精度を損なうことなく、LMI違反を減少させる能力を持つことを示した。

結果

実証的評価は、SSTアーキテクチャ（Mambaと短距離アテンションのルーテッド混合体）を用いて、28のデータセット・ホライゾン・ペア（ETTh1/2, ETTm1/2, weather, electricity, traffic）に対して行われた。

• LMI違反の減少: 離散LMI正則化器は、すべての28ペアにおいて、平均サンプリングMambaコアのLMI違反を約92%（0.0358から0.0029へ）減少させた。
• クリーンな精度: LMI違反の減少は、クリーンな平均二乗誤差（MSE）への無視できる程度のコスト（未正則化のベースラインと比較して**0.018%**未満の差）で実現された。
• 保守性の切除実験: 固定された単位ストレージ行列（$P=I$）を学習可能な対角行列（$P=\text{diag}(q)$）に置き換えると、すべての28ペアで厳格なパレート改善（より低い違反、同等の精度）が得られ、本フレームワークの柔軟性が確認された。
• 摂動に対する堅牢性: 注入された摂動（ガウスノイズ、スパイク、マスクなど）の下で、正則化器は内部のMambaコアの診断を改善した（LMI違反を約60%、状態ノルムを約3.4%減少させた）。しかし、堅牢な予測MSEに対する測定可能な改善は見られなかった。著者らはこれを「誠実なネガティブな結果（honest negative）」として明示しており、正則化器はMambaコアのみを制約する一方で、周囲のネットワーク（正規化、残差、ルーティング）が最終出力への摂動の影響を吸収するためであると説明している。
• ルーターの安定性: エネルギーを考慮したルーティング・スケジュールを学習しようとする切除実験（ローカルなLMI違反が高い場合にMambaの使用を罰する）は、中立的な結果となった。Mambaの重みはわずかに下方へ押し下げられたものの、Mambaの重みとLMI違反の相関は実質的にゼロであり、クリーンなデータでの学習はエネルギーを考慮したルーティングを誘発しないことが示唆された。

意義と主張

本論文は、古典的な制御理論と現代のディープラーニング・アーキテクチャの間の架け橋となることを目指している。その意義は以下の点にある：

• 理論的明晰さ: リャプノフ指数による診断を超えて、受動性やISSといった構造的特性を通じて、選択的SSMに対する統一されたエネルギーベースの説明を提供すること。
• 初期化の正当化: なぜHiPPOのような初期化が効果的なのか（それらが良好に条件付けられた二次エネルギー景観を提供する）という理論的説明を提供すること。
• 実践的なツール: 構造的安定性をSSMコアに強制するために、既存の訓練パイプラインに容易に組み込める低コストで微分可能な正則化器を導入すること。
• 誠実なスコープ設定: 著者らは自らの主張の限界についても明示している。彼らは、正則化器がディープネットワーク全体の受動性を保証するものではないとし、また、正則化器単独で堅牢なMSEの改善を保証するものでもないと主張している。彼らは、結果を「認証された受動性」ではなく「大幅な違反の減少」として提示しており、コアの安定性とエンドツーエンドの堅牢性の間のギャップは依然として未解決の研究領域であることを認めている。

要約すると、本論文は、連続時間の制御理論的保証を、選択的SSMのための検証可能で微分可能な訓練基準へと見事に翻訳しており、このような構造的制約が、精度のコストをほとんど支払うことなく、内部の安定性診断を大幅に向上させることができることを示している。