論文の技術的概要：連続制御強化学習における非正規過渡増幅下での入力側分散抑制

論文タイトル: Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning
掲載誌: IEEE Control Systems Letters (2026 年予定)
著者: Yue Wu

1. 背景と問題定義

連続制御強化学習（RL）はロボティクスや動的決定問題で高い性能を示す一方で、展開時（実行時）に以下の問題が発生することが知られている。

• 大きな閉ループ分散（状態のばらつき）
• 高周波数の制御ジャッター（振動）
• 外乱注入に対する過剰な感度

既存の研究は、これらの現象を主に「外乱源（ソース）」に起因すると説明してきた。具体的には、行動ノイズ、探索のための摂動、報酬設計のアーティファクト、関数近似誤差、あるいは方策の非滑らかさなどが原因とされている。これに対処するため、行動正則化や滑らかな探索などの手法が提案されてきた。

しかし、本論文は**「なぜ、閉ループが名目上安定（spectral radius < 1）であるにもかかわらず、小さな入力摂動が過剰に増幅され、大きな状態分散を引き起こすのか？」という問いを提起する。
この現象の鍵は、「非正規性（Non-normality）」**にある。閉ループシステムが強く非正規である場合、固有値の絶対値（スペクトル半径）が 1 未満であっても、固有ベクトルの幾何学的配置により、短時間（過渡状態）で外乱が劇的に増幅される（Transient Amplification）可能性がある。

2. 提案手法：入力側分散抑制層

本論文は、閉ループ分散を「外乱源（Source）」と「増幅器（Amplifier）」に分解して分析する新しい視点（Source–Amplifier Decomposition）を導入する。

• 外乱源: 行動ノイズ、探索摂動、方策のジャッターなど。
• 増幅器: 非正規な幾何学構造を持つ閉ループ遷移行列 $A_{cl}$。

この枠組みに基づき、学習済みの方策とプラント入力との間に**「入力側分散抑制層（Input-side Variance Suppression Layer）」**を挿入する手法を提案する。

手法の詳細

1. 位置づけ: 学習済み方策 $\pi_\theta$ の出力 $u^\pi_t$ と、プラントへの実際の入力 $u^{app}_t$ の間に配置される。
2. メカニズム: 方策の出力と外乱 $\eta_t$ を受け取り、時系列の平滑化を行うことで、プラントに注入される実効的な外乱の統計量（分散、スペクトル特性）を変更する。
3. 実装: 単純な一次遅れフィルタ（因果的な時間平滑化）を使用する。
   $$u^{app}_t = (1 - \beta)u^{app}_{t-1} + \beta(u^\pi_t + \eta_t)$$
   ここで、$\beta \in (0, 1]$ は更新率であり、$\beta=0.85$ を使用している。
4. 特徴:
   • ポストトレーニング対応: 方策の再学習や構造変更は不要。
   • 構造不変: 閉ループの構造的増幅器（$A_{cl}$ の固有値や幾何学）自体は変更せず、入力される外乱の統計量のみを操作する。

3. 主要な貢献

1. 分散の「源 - 増幅器」解釈の導入: 実行時の閉ループ分散において、名目安定な閉ループにおける非正規性が、過小評価されている増幅要因であることを特定した。
2. 構造変更を伴わない抑制層の提案: 学習済み方策を変更せず、入力統計量のみを操作することで分散を低減する単純なポストトレーニング手法を提案した。
3. 制御理論に基づく介入証拠の提示:
   • CI-1（増幅器の分離）: 固有値やスペクトル半径を固定し、固有ベクトルの幾何学（非正規度）のみを変化させることで、非正規性が分散とピークゲインを増大させることを実証。
   • CI-2（ソース側介入）: 非正規な閉ループ幾何学を固定し、入力統計量のみを変化させることで、構造的ピークゲインを変えずに状態分散を低減できることを実証。
   • CI-3（外部検証）: 平面クアッドロータタスクにおいて、非線形システムでもこのメカニズムが有効であることを確認。
4. Koopman/ALE 解析の役割限定: これらの手法を直接の性能向上パスではなく、局所的な伝播構造の診断や認証（分析・証明）のツールとして位置づけた。

4. 実験結果

合成実験（CI-1, CI-2）

• CI-1: 非正規度（$\kappa(V)$）を増加させると、スペクトル半径を固定しても状態分散のトレースとピークゲインが単調に増加した（相関係数 0.970 以上）。
• CI-2: 非正規なシステムに対して入力平滑化を適用した結果、
  • 適用入力分散：92.0% 削減（0.0399 → 0.00317）
  • 状態分散トレース：21.8% 削減（15.85 → 12.39）
  • 期待最大状態ノルム：削減
  • 構造的ピークゲイン: 変化なし（5.55 → 5.55）
  • 結論：入力側の介入だけで、増幅器の構造を変えずに分散を低減可能。

外部検証（CI-3: 平面クアッドロータ）

• 4 つのシナリオ（通常ホバリング、重負荷、敏捷なピッチ、モデル不整合）で評価。
• 高ノイズ（0.20）条件下では、平均で行動分散が約 87.7%、状態分散が約 37.5% 削減された。
• 非線形システムにおいても、入力側介入が有効であることが確認された。

5. 意義と結論

本論文は、連続制御 RL における実行時分散の問題に対し、単なる「ノイズ源の平滑化」だけでなく、「非正規な増幅器に対する入力統計量の調整」という制御理論的な視点を提示した。

• 理論的意義: 名目安定なシステムでも非正規性により過渡増幅が発生し、これが分散の主要因となり得ることを実証した。
• 実用的意義: 方策の再学習なしに、単純なフィルタリング層を追加するだけで、実行時のジャッターや分散を大幅に低減できることを示した。
• 限界と将来展望: 既存の平滑化 RL ベースラインとの直接比較（ベンチマーク）は行われておらず、メカニズムの分離と介入証拠に焦点が当てられている。今後の課題として、パラメータ $\beta$ の掃引や、より広範なアルゴリズムとの比較が挙げられる。

要約すれば、本論文は「非正規な増幅器が存在する環境では、入力側の統計量を制御することが、構造的なゲインを変えずにシステム安定性（分散）を改善する有効な手段である」という、狭くしかし明確な制御理論的知見を提供している。