State-Space Neural Network with Ordered Variance for Model Order Determination

技術要約：モデル次数の決定のための順序化された分散を用いた状態空間ニューラルネットワーク

問題提起
本論文は、入力・出力トレーニングデータセットから非線形状態空間モデルを同定する際、同時に適切なモデル次数（状態次元）を決定するという課題に取り組んでいる。状態空間ニューラルネットワーク（SSNN）は非線形ダイナミクスの学習において普及が進んでいるが、予測誤差法（PEM）に共通する問題、すなわち局所解への収束や、決定的な問題としての未知の状態次元に悩まされている。モデル次数の選択には通常、試行錯誤が必要であり、これには多大な計算コストを要する。オートエンコーダやカーネルベースのモデルにおけるモデル次数決定のための既存手法は、SSNNに対して効果的に拡張されていない。

手法：SSNNOフレームワーク
著者らは、**SSNNO（State-Space Neural Network with Ordered Variance）**と称される新しいフレームワークを提案している。その核心となる革新性は、状態の分散に順序付けを強制するために、SSNNの損失関数に分散正則化項を統合した点にある。

1. アーキテクチャとトレーニング:

   • SSNNOは標準的なSSNNの構造を維持し、ニューラルネットワークを介して状態（$x_{k+1} = f_{NN}(x_k, u_k)$）および出力（$y_k = g_{NN}(x_k)$）関数を学習する。
   • 損失関数（$J$）は、二乗予測誤差（SPE）、出力サブネットワークのパラメータ正則化項、および新しい分散正則化項（$J_v$）を組み合わせたものである。
   • この重み付けスキームは、予測された状態のサンプル分散を罰する。ここで、重みは対角行列 $W = \text{diag}(w_1, \dots, w_d)$ によって制御され、重みは厳密に増加する（$0 \le w_1 < w_2 < \dots < w_d$）。
   • この重み付けスキームにより、最適化プロセスにおいて、先行する状態の分散を保持しつつ、後続の状態（より高い重みを持つ状態）の分散をほぼゼロレベルまで最小化することが促進される。

2. モデル次数決定と低減:

   • 有意な状態と残留状態: トレーニング後、状態は分散によって順序付けられる（$V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$）。閾値 $\delta$ を適用することで、状態を「有意な状態」（$V_{x_i} > \delta$）と「残留状態」（$V_{x_i} \le \delta$）に分類する。
   • 低次SSNNO（R-SSNNO）: モデル次数は、有意な状態のみを保持することによって低減される。残留状態は平均値によって近似され、状態サブネットワークの第1層および最終層のパラメータに吸収される。これにより、再学習を必要とせずに低次モデルが得られる。

3. 実用的な実装:

   • 局所最適化アルゴリズムが、厳密な分散順序を実現するために必要な大域的最小値に収束しない可能性を考慮し、著者らは実用的な反復アルゴリズム（アルゴリズム1）を提案している。この手法は、局所的に最適化された解の状態変数を置換して分散順序条件を満たし、分散順序化された解が得られるまで必要に応じて再最適化を行う。

理論的貢献
本論文は、提案されたフレームワークに関する正式な理論的保証を提供している。

• 順序化された分散の存在: 並べ替え不等式を用いることで、提案された損失関数の大域的最小化因子が、本質的に分散順序条件（$V_{x_1} \ge \dots \ge V_{x_d}$）を満たすことを証明している。
• 誤差界: 著者らは、標準的なSSNNに対するSSNNOの出力予測誤差の上限を確立している。ハイパーパラメータ $\alpha$ および $\beta$ によって制御されることで、分散正則化による予測精度の低下を、ユーザーが指定した許容範囲内に抑えられることを示している。

シミュレーション結果
SSNNOの有効性は、激しいゲイン非線形性を示す非線形連続槽型反応器（CSTR）プロセスを用いたシミュレーションによって検証された。

• モデル次数の同定: 真のシステム次数が2であるシミュレーションにおいて、SSNNO（初期次元3でトレーニング）は、第3の状態が無視できるほどの分散を持つことを正常に特定した。これにより、低次（2次）のR-SSNNOモデルの導出が可能となった。
• 性能: R-SSNNOモデル（2次および1次に低減）は、訓練およびテストデータの平均二乗誤差（MSE）指標において、フル次元の3次SSNNOおよび標準的なSSNNと同等の予測精度を維持した。
• 堅牢性: 様々なノイズレベルにわたるモンテカルロ・シミュレーションにより、二乗予測誤差（SPE）を損なうことなく、分散の順序付けが一貫して達成されることが確認された。
• 制御への応用: 同定されたR-SSNNOモデルは、拡張カルマンフィルタ（EKF）に基づくモデル予測制御（MPC）スキームに正常に統合された。コントローラは、プラント・モデル間のミスマッチを補正しながら、参照温度軌道を効果的に追従した。

意義と主張
本論文は、SSNNOが、モデル次数決定問題を解決するために、状態変数の分散順序付けをSSNNフレームワーク内に直接組み込んだ最初の研究であると主張している。その主な意義は以下の通りである。

1. 同時同定: 非線形状態空間モデルの同定と、データのみからの適切なモデル次数の決定を同時に実現する。
2. 体系的な低減: 本質的なダイナミクスを保持しつつ複雑さを最小限に抑える、体系的かつ非ヒューリスティックな手順を提供する。
3. 理論的厳密性: 多くのデータ駆動型同定手法における理論的保証の欠如に対処するため、順序化されたモデルの存在と予測誤差の境界に関する正式な証明を提供する。

著者らは、本手法は同定および制御において有効であるが、制御可能性および安定性に関する理論的保証を提供するために、フレームワークを拡張する今後の研究が必要であると結論付けている。