技術要約：非線形システムにおける残差学習コントローラのための、証明書に基づいた残差分散制御

1. 問題提起

本論文は、離散時間非線形システムにおける**残差学習制御（residual learned control）の決定的な欠陥に対処している。このパラダイムでは、学習されたニューラルネットワーク（残差アクター）が、名目上のコントローラの補完として、モデリング誤差や外乱を補償する。残差の平均値はバイアスを修正できるかもしれないが、そのゆらぎ（分散）**はクローズドループ内に注入される。

特定された核心的な問題は、**非正規過渡増幅（nonnormal transient amplification）**を示すシステムにおいて、ユークリッド的な分散としては小さく見える残差アクションの源が、局所的なクローズドループ・ダイナミクスを通じて伝播した後、不釣り合いに大きな状態共分散およびリアプノフ・エネルギーの急増を引き起こすことである。既存の安全性手法は、この特定のメカニズムに対処できていない：

• ソース側での正則化（例：アクションの大きさや時間的な滑らかさへのペナルティ）は、すべての残差方向を同じユークリッド的な大きさとして等しく扱うため、局所的なクローズドループ増幅器の幾何学的構造を無視している。
• ダウンストリームの安全性フィルタ（例：制御バリア関数）は、安全でないコマンドを修復するが、なぜ特定の残差共分散方向が繰り返し安全性フィルタへの高い負荷を生み出すのかを説明も防止もしない。
• 局所サロゲート証明書は安定性の保証を提供するが、これらの状態側の指標を、アクターの学習を導くために残差アクション空間へと引き戻すメカニズムを欠いている。

本論文は、残差の源、局所的な非正規増幅器、およびダウンストリームの証明書を結ぶ統合的な経路がなければ、ソース側の平滑化は効果的に状態共分散を低減できず、ダウンストリームの修復層が過剰に機能することになると主張している。

2. 手法：証明書に基づいた残差分散制御 (CG-RVC)

著者らは、標準的な残差アクター・クリティック・バックボーン（実験では具体的にTD3を使用）に対する、制御情報を組み込んだラッパーであるCG-RVCを提案している。これは強化学習を置き換えるものではなく、証明書に基づいたソース成形メカニズムによって強化学習を拡張するものである。

A. モデリング・チェーン

本手法は、以下の特定のモデリング・チェーンを構築する：

1. 非線形プラント: 物理システム $x_{t+1} = f(x_t, u_t, d_t)$。
2. 局所サロゲート: 局所座標 $z_t$ における、持ち上げられた（lifted）または線形化された入力アフィンモデル：$z_{t+1} = K_0 z_t + \Phi_u u_t + w_t$。ここで、$\Phi_u$ は残差入力チャネルを表す。
3. 生の増幅器: 名目上のクローズドループ・サロゲート $K_{raw} = K_0 - \Phi_u L$。
4. 投影された証明書モデル: 解析のための安定性を確保するため、$K_{raw}$ はスペクトル半径 $\rho(K_{proj}) \le \beta < 1$ を持つ安定な行列 $K_{proj}$ に投影される。
5. リアプノフ証明書: $K_{proj}^\top P K_{proj} - P = -Q$ （ただし $Q \succ 0$）を満たす行列 $P$ が計算される。

B. コアメカニズム：プルバック・メトリック

鍵となる革新は、状態側のリアプノフ証明書を入力チャネルを通じて残差アクション空間へと引き戻すことによる、異方的な残差アクション共分散メトリックの導出である：
$$M = \Phi_u^\top P \Phi_u$$
このメトリック $M$ は、残差の方向をユークリッド的な大きさではなく、ダウンストリームでのエネルギー増大の潜在性（$P$ によって保証される）に基づいて重み付けする。

C. アクターの目的関数と実行

• アクターの更新: アクターの目的関数は、証明書による重み付けされた残差分散ペナルティ（P-ALEと呼ばれる）を含むように修正される。ペナルティ項は $\text{tr}(M \hat{\Sigma}_r)$ に比例し（ここで $\hat{\Sigma}_r$ は残差出力の実測共分散）、アクターに対して、局所増幅器が最も増幅するであろう方向の分散を抑制するように促す。
• 実行レイヤー: 適用されるアクションは、リスクスケジュールの平滑化、レート制限、および安全性投影を受ける。論文では、ソース成形（P-ALEペナルティ）と実現可能性の修復（投影）を区別している。P-ALEは、投影レイヤーが必要とする修正の確率と大きさを減少させる。
• 診断: 学習された挙動が局所的な証明書モデルと一貫しているかを検証するために、事後的なベルマン・リアプノフ残差をログに記録する。

3. 主な貢献

1. ギャップの特定: 残差入力チャネル、局所的な非正規増幅器、およびダウンストリームの証明書を共同で考慮する残差学習の経路が存在しないことを特定した。
2. 学習可能なメトリック ($M$): 投影されたリアプノフ証明書を残差アクション空間へ引き戻すことで（$M = \Phi_u^\top P \Phi_u$）、このギャップを学習可能なメトリックへと変換した。これにより、残差の方向をダウンストリームの証明書エネルギーによって重み付けする。
3. CG-RVCフレームワーク: このメトリックを標準的なアクター・クリティック・ループに統合し、ソース成形と実行時の修復を分離した完全なラッパーを提案した。
4. 理論的境界: 持ち上げられた非線形ミスマッチ下での堅牢な分散伝播境界を提供し、たとえ小さなユークリッド的モデル誤差であっても、非正規の高ゲイン方向に沿っている場合には大きなリアプノフ・エネルギー誤差を生じ得ることを示した。

4. 実験結果

研究では、ソース・増幅器メカニズムを分離するために、制御された介入と一致した比較を用いている。

A. 制御された介入 (Mechanism Validation)

• 増幅器の分離 (CI-1): 固定された固有値を持つが固有ベクトル条件数が異なる合成2Dシステムを用い、条件数 $\kappa(V)$（非正規性）が増加すると状態共分散のトレースが ~0.37 から ~15.66 へと増加することを示し、非正規の幾何学が独立した分散増幅器として機能することを実証した。
• ソース側の介入 (CI-2): 固定された非正規増幅器の下で入力ソースをフィルタリングすることで、状態共分散が ~21.8%、アクションの分散が ~92.1% 減少した。これは、固定された増幅器があってもソースの抑制が有効であることを証明している。
• MIMO 方向注入: Full3D クアッドローターのシミュレーションにおいて、等しいトレースの残差共分散を異なる方向に注入したところ、測定された状態エネルギー比は 94.2–141.0倍 に達した。これにより、証明書による重み付けされたメトリック $M$ が、「方向が大きさよりも遥かに重要である」という事実を正しく予測していることが確認された。

B. パフォーマンス比較

高ノイズ ($\sigma=0.30$) の制約付きRLタスク（Liénard オシレータ）において、5つのシードを用いた比較を行った：

• CG-RVC vs. 直接的なTD3: CG-RVCは、RMSEを 47.1%、適用アクションの分散を 94.7%、アクション差のMSEを 97.7%、事後ベルマン・リアプノフ最大値を 94.3% 低減した。
• 安全性: CG-RVCは、高密度な安全性違反を 0.9389 (Direct TD3) から 0.0 へと減少させた。
• コンポーネント分析: スカラー分散ペナルティ、時間的平滑化、または投影のみでは不十分であったことが示された。P-ALE（ソース成形）、平滑化、および投影の組み合わせのみが、すべての指標において最適なパフォーマンスを達成した。

C. 航空シミュレーション

• 平面クアッドローター: フィルタリングはあらゆるシナリオでアクションの分散を減少させた。しかし、「ペイロード不一致」の境界ケースでは、スカラーのソース分散は減少した一方で状態共分散は上昇しており、方向を考慮したペナルティの必要性を裏付けた。
• Full3D クアッドローター: 5つのシードを用いた数値的診断（完全なRLトレーニングではない）において、フィルタリングされたソース注入は、4つのシナリオ全体で状態共分散を 65.7–83.8%、モーターの分散を 90.3–94.5% 減少させた。

5. 意義と主張

本論文は、CG-RVCが非正規ダイナミクスが存在する状況下で、残差学習を成形するための原理的な方法を提供すると主張している。

• 明確な役割: ソース成形（P-ALE経由）と安全性投影は明確に異なる役割を持つことを明らかにしている。前者は、高エネルギーの逸脱が発生する前にそれを防ぐことで、後者の負担を軽減する。
• ユークリッド的平滑化を超えて: ユークリッド的なアクションの分散や時間的な粗さを減らすだけでは不十分であり、残差共分散は局所的なクローズドループの幾何学に従って成形される必要があることを実証した。
• 限定的な範囲: 著者らは、航空シミュレーションはエンドツーエンドのRLベンチマークではなく、メカニズムの診断として機能していることを明示している。Full3Dの結果は、2D RLの証拠を補完する数値的な補足である。本手法は、既存のRLバックボーンのラッパーとして提示されており、それ自体を置き換えるものではなく、局所サロゲートと安全性証明書の利用を前提としている。

結論として、本研究は、証明書に基づいたソース成形成と実行時の修復を統合することが、過渡増幅のリスクがある安全性に敏感な非線形環境において、学習ベースのコントローラを配備するための堅牢な道筋を提供すると述べている。