R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

技術要約：R2DN：収縮的かつリプシッツ的なリカレント深層ネットワークのスケーラブルなパラメータ化

問題提起
深層ニューラルネットワーク（DNN）、特にリカレントニューラルネットワーク（RNN）は、動的システムのモデリングにおいて顕著な成功を収めてきた。しかし、標準的なDNNは入力の摂動に対して敏感であることが多く、制御アプリケーションにおいては脆弱な挙動や不安定性を引き起こす。Recurrent Equilibrium Network (REN) のようなアーキテクチャは、直接的なパラメータ化を通じて内部安定性（収縮性）と入出力のロバスト性（リプシッツ連続性）を保証するように提案されているが、これらは重大な計算上のボトルネックを抱えている。RENは、推論およびバックプロパゲーションの各ステップにおいて、暗黙的な平衡層（implicit equilibrium layer）の反復解法を必要とする。このプロセスは計算コストが高く、並列処理用に設計されたGPUアーキテクチャにおけるスケーラビリティを阻害し、実現可能なモデルサイズ、バッチサイズ、およびシーケンス長を制限する。

手法
著者らは、RENの理論的保証を維持しつつ、暗黙層による計算オーバーヘッドを排除するスケーラブルなパラメータ化であるRobust Recurrent Deep Network (R2DN) を提案する。R2DNは、線形時不変（LTI）システムと1-リプシッツ深層フィードフォワードネットワーク（DNN）のフィードバック相互接続として構成される。

コアとなるアーキテクチャの変更には、RENの構造に対する2つの主要な変更が含まれる：

1. 平衡層の排除： LTIシステムにおけるフィードスルー項（$D_{11}$）をゼロに設定する。これにより、暗黙的な方程式 $w_t = \sigma(D_{11}w_t + \dots)$ が取り除かれ、ネットワークの状態を反復計算ではなく明示的に計算することが可能になる。
2. スケーラブルな非線形性： RENで使用されるスカラー活性化関数 $\sigma$ を、一般的な1-リプシッツ深層フィードフォワードネットワーク $\phi_g$（例：MLP、CNN、ResNet）に置き換える。

本論文では、これらのネットワークの直接的なパラメータ化を提供しており、学習可能なパラメータ $\theta$ を、結果として得られるモデルが以下の特性を満たすように重みとバイアスへ直接マッピングする：

• 収縮的（Contracting）： 特定の平衡点に関わらず、内部状態が初期条件を指数関数的に忘却することを保証する。
• リプシッツ・ロバスト（Lipschitz Robust）： 入力摂動に対する出力の感度を制限するために、増分的積分二次形式（incremental IQC）を満たす。

このパラメータ化は、小利得定理（small-gain theorem）およびIQC理論から導出された特定の線形行列不等式（LMI）を満たすように、LTIシステムの行列（$A, B, C, D$）を構築することに依存している。具体的には、著者らは、LTIシステムが $(Q, S, R)$ によって定義される増分的IQCを許容し、1-リプシッツDNNとの相互接続全体が安定かつロバストであることを保証する条件を導出している。

主な貢献

• アーキテクチャの革新： 暗黙的な平衡層を明示的な構造に置き換えることで、反復ソルバーを必要としないR2DNを導入した。
• スケーラブルなパラメータ化： 特定のスカラー活性化構造や下三角フィードスルーに限定されていたRENとは異なり、任意の1-リプシッツDNNアーキテクチャをサポートする、収縮的かつリプシッツ的なR2DNのパラメータ化手法を提供する。
• 計算効率： 平衡層の排除により、R2DNはGPU上の大規模な並列処理を活用することができ、RENと比較して推論およびバックプロパゲーションの両方を大幅に高速化できる。
• 理論的保証： 提案されたパラメータ化が、制約付き最適化ソルバーを必要とせずに、構成によって収縮性と増分的IQCの充足を保証することを証明した。

結果
著者らは、3つの代表的なタスク（非線形システム同定（F16 地震振動データ）、反応拡散偏微分方程式に関する非線形オブザーバ設計、学習ベースのフィードバック制御）において、R2DNをRENと比較評価した。

• 速度： R2DNの訓練および推論は、RENよりも最大で1桁高速であることが判明した。この高速化は、反復的な平衡解法の排除によるものであり、これは特に長いホライゾンのシミュレーションや大きなバッチサイズにおいて有益である。
• 性能： アーキテクチャの簡略化と速度向上にもかかわらず、R2DNはすべてのタスクにおいてRENと同等のテストセット性能（損失および誤差指標）を達成した。
• スケーラビリティ： モデルの表現力に関する実験では、RENの計算時間がモデルの複雑さに伴って急速に増加する一方で、R2DNはモデルの表現力が増しても低い推論時間を維持し、より良好にスケールすることが示された。

意義と主張
本論文は、R2DNが、機械学習およびデータ駆動型制御におけるロバストなリカレントモデリングのための、実用的かつ計算効率の高い代替案を提供すると主張している。暗黙的な方程式を解く必要性を排除することで、R2DNは、これまでRENでは困難であったネットワークサイズ、バッチサイズ、および入力シーケンス長の拡大を可能にする。著者らは、このアプローチが強力な安定性とロバスト性の理論的保証を保持しながら、現代的な高容量DNNアーキテクチャ（TransformerやResNetなど）をリカレントフレームワーク内で使用することを可能にすると強調している。この研究は、R2DNが、リアルタイム制御のような、小さな入力バッチに対して頻繁なモデル推論を必要とするアプリケーションに適していることを示唆している。

著者らが特定した今後の課題には、リプシッツR2DNにおいて非ゼロの $D_{22}$（入力から出力への直接フィードスルー）を許容するようにパラメータ化を拡張すること、および、より高次元の機械学習タスクにおけるこれらのモデルのスケーラビリティをさらに研究することが含まれる。