Time-Varying Deep State Space Models for Sequences with Switching Dynamics

技術的概要：スイッチングダイナミクスを伴う系列に対する時間変化する深層状態空間モデル

問題定義
時間変化するシステムの同定とモデリングは、信号処理およびシステム同定における根本的な課題のままです。金融市場、気象、神経活動など、多くの現実世界の過程は、基礎となるシステム挙動が時間とともに進化するという本質的な時間変化するダイナミクスを示します。状態空間モデル（SSM）はシステム同定のための原理的な枠組みを提供しますが、古典的な線形ダイナミカルシステム（LDS）は固定された時間不変の遷移ダイナミクスを仮定します。スイッチング線形ダイナミカルシステム（SLDS）のような拡張は領域変化を処理しますが、モード数とモデル次数の明示的な推定を必要とし、学習を困難にします。一方、現代の深層 SSM は長い系列において高い性能を達成しましたが、伝統的には時間不変のパラメータまたは入力依存メカニズムに依存しており、入力に独立した滑らかで連続的な時間変化するダイナミクスを明示的に捉えることができない場合があります。

手法
著者は、**時間変化する深層状態空間モデル（TV-SSM）**という新たなクラスを提案します。この枠組みは、時間変化する基底関数展開を深層 SSM 構造に統合します。

• モデル定式化: 核心的な革新は、標準的な SSM の固定行列 $A, B, C$ を時間依存行列 $A[t], B[t], C[t]$ に置き換えることです。これらの行列の各要素は、学習可能な基底関数の線形結合としてモデル化されます：
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  $B[t]$ および $C[t]$ にも同様の展開が適用されます。基底関数（例えば、ガウス関数、正弦関数、または定数）は固定され、その係数が学習可能なパラメータとなります。これにより、モデルは明示的なスイッチングモードを定義することなく、滑らかで連続的なダイナミクスを表現できます。
• 安定性: 時間変化するダイナミクスの安定性を確保するため、著者は $A[t]$ の対角要素（簡略化のため対角構造を仮定）に制約を課します。トレーニング中、対角要素の係数の絶対値の和が 1 を超える場合、スケーリング戦略を適用して係数を再正規化し、固有値が単位円内に厳密に留まるようにします。
• 複雑性: 学習可能パラメータの数は、行列要素ごとに辞書サイズ（$K_A, K_B, K_C$）の分だけ増加しますが、推論の複雑性は時間不変モデルと同程度です。時間依存行列は推論段階で事前計算できるため、標準的な SSM と同じ乗算・加算（MAC）演算で済みます。ただし、時間依存パラメータの保存により、空間複雑性は増加します。

主な貢献

1. 新規枠組み: 本論文は、学習可能な基底関数を用いて状態遷移、入力、出力行列を時間的にパラメータ化する深層 SSM 枠組みを導入し、明示的なモードスイッチングなしに滑らかで連続的な時間変化するダイナミクスのモデリングを可能にします。
2. 実験的検証: このアプローチは、2 つの異なるタスクで検証されました：
   • 合成データ: 真値にスイッチングダイナミクスを含む 4 モードのスイッチング線形ダイナミカルシステム（SLDS）。
   • 実世界データ: 回転機械などの反復するノイズパターンをシミュレートする 4 モード SLDS から生成されたノイズで汚染された音声の音声除去タスク。
3. アーキテクチャ分析: 著者は、$A, B, C$ 行列全体での基底関数の割り当てに関するトレードオフ、モデルの深さの影響、およびパラメータ数と性能の関係を調査しました。

結果

• 合成スイッチングシステム: 4 モードシステムにおいて、完全な時間変化するモデルは、時間不変の対応モデルを一貫して上回りました。特に、状態遷移行列 $A[t]$ のみを時間変化させるだけでは、$B$ または $C$ におけるスイッチングダイナミクスを捉えるのに不十分であることが研究で明らかになりました。逆に、$B[t]$ または $C[t]$ を時間変化させることで、固定された $A$ を補うことができました。時間不変モデルはモード全体で「平均」を学習する傾向があり、その結果、平均二乗誤差（MSE）が高くなりました。
• 音声除去: 音声除去タスクにおいて、時間変化するモデルは時間不変モデルを大幅に上回りました。
  • 性能: 最良の時間変化する構成は、5 dB のノイズから開始して 19.6 dB の信号対雑音比（SI-SNR）を達成しました。一方、時間不変モデルはネットワークの深さや活性化関数に関わらず、7.8 dB 付近で頭打ちになりました。
  • パラメータ効率: 時間変化するモデルと時間不変モデルの間で学習可能パラメータの総数を一致させた場合でも、時間変化するアプローチは優れた結果をもたらしました。ニューロンあたりのパラメータ数を増やすと、時間変化するモデルの性能は向上しましたが、時間不変モデルには影響がなく、後者は非定常ダイナミクスを捉えるために追加の容量を活用できないことを示唆しています。
  • 基底の割り当て: 基底関数の予算を状態遷移行列 $A$ に割り当てるよりも、出力行列 $C$ または入力行列 $B$ に完全に割り当てた方が、より良い性能が得られました。

意義と主張
本論文は、提案された時間変化するモデルが、スイッチングまたは非定常ダイナミクスを伴うシステム同定タスクに対して、柔軟かつ効率的な解決策を提供すると主張しています。基底関数を通じて時間依存ダイナミクスを明示的にモデル化することで、SLDS が必要とする離散スイッチングモードの推定の複雑さを回避しつつ、標準的な時間不変の深層 SSM を上回る性能を発揮します。著者は、このモデルが推論時に時間不変の対応モデルと同等の計算複雑性を維持していると指摘しています。

本研究は、より大きな時間不変モデルがスイッチングダイナミクスを捉えるための本質的な柔軟性の欠如を補うことはできないが、提案された時間変化する枠組みはこれらの挙動を成功裡に学習し適応することを結論付けています。著者は、今後の研究として、非周期的な非定常設定の探求、異なる基底関数ファミリーの検討、およびこのアプローチのトレードオフをさらに明確にするための非定常トランスフォーマーアーキテクチャとのベンチマークを提案しています。