Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

技術要約：強化学習ベースの適応制御のための実行時増分型トランスフォーマー（Runtime-Incremental Transformer）

問題提起
本論文は、観測不可能な摩擦メモリ（具体的にはストライベック摩擦）の影響を受けるロボットマニピュレータに対する、学習ベースの適応制御の課題に取り組んでいる。このようなシステムでは、摩擦力は有限の「メモリホライゾン（記憶期間）」($\tau_z$) を持つ隠れた内部状態に依存するため、測定された状態に関する閉ループシステムは非マルコフ的となる。著者らの先行研究（INCRT-1L）では、過去の測定値のスライディングウィンドウを処理するために、固定されたアテンションヘッド数（$K$）を持つ単層トランスフォーマーエンコーダを利用していた。しかし、この手法は、サロゲート演算子解析を通じて $K$ を選択するオフラインの2フェーズ・プロセス（Phase-1/Phase-2）に依存していた。この固定容量のアプローチは、短・中程度のメモリホライゾン（$\tau_z \in \{1, 2\}$ s）に対しては効果的であったが、長いメモリホライゾン（$\tau_z = 5$ s）においては、40%のトレーニングシードで壊滅的な失敗を招いた。これらの失敗は、オフラインのサロゲート解析では検知できない、強化学習（RL）の最適化ランドスケープにおける局所的なアトラクタに起因するとされている。

手法：Runtime-INCRT
本論文では、オフラインのアーキテクチャ探索を不要にする、強化学習のトレーニングループ中にトランスフォーマーエンコーダのアテンションヘッドを動的に増大および削減（プルーニング）するメカニズムである Runtime-INCRT を提案する。

1. 可変ヘッド・アーキテクチャ: メタコントローラは、最大容量 $K_{max}$ のヘッドを持つトランスフォーマーブロックを採用している。任意のトレーニングステップ $t$ において、アクティブマスクが現在のヘッド数 $K(t)$ を決定する。
2. 実行時トリガー:
   • 増大（Growth）: オンポリシーのコンテキスト・トークン分布の有効ランク（$\hat{\rho}_\alpha$）が、現在の容量を閾値でスケールさせた値（$K(t)(1+\epsilon_{grow})$）を超えた場合にトリガーされる。これは、現在の表現容量が、ポリシーの入力分布の複雑さを捉えるには不十分であることを示している。
   • 削減（Pruning）: アクティブなヘッドの相対的な出力振幅が閾値（$\epsilon_{prune}$）を下回った場合にトリガーされ、そのヘッドを冗長であると判定する。
3. 運用上の制約:
   • クールダウン: ポリシーが適応するための時間を確保するため、イベント間に最小ステップ数（$\Delta_{grace}$）が強制される。
   • ソフト初期化: 新しいヘッドが追加される際、その出力投影行列（$W^O$）はゼロに初期化される。これにより、新しいヘッドが追加された瞬間に、出力への寄与がゼロとなり、ポリシーの連続性が保たれる。
   • 削減境界: ヘッドが削除される際、ポリシー出力の変化は削減閾値によって制限される。

理論的保証
著者らは、学習プロセスの安定性を確保するために、3つの解析的保証を確立している。

• 増大時の損失ゼロ（命題7）: ソフト初期化（$W^O=0$）により、ヘッドの追加による増大の瞬間におけるポリシー出力の変化はゼロとなる。
• ポリシー連続性の境界（定理9）: 削減イベントによって導入される累積的な不連続性は、削減イベントの数と閾値 $\epsilon_{prune}$ によって線形に制限される。
• ヘッド数の収束（命題11）: コンテキスト分布の経験的有効ランクが安定する場合、アクティブなヘッド数 $K(t)$ は、増大および削減の閾値によって決定される定常状態の区間に収束する。

実験結果
本手法は、ストライベック摩擦を伴う2自由度マニピュレータを用い、3つのメモリレジーム（$\tau_z \in \{1, 2, 5\}$ s）において、10個のランダムシード（計30実行）で評価された。

• 成功率: Runtime-INCRTは100%の成功率（30/30実行）を達成し、固定$K$のベースラインで見られた長周期での失敗モードを完全に排除した。
• 性能: 単一のハイパーパラメータセットを用いてすべてのメモリレジームで完全な成功を収め、$\tau_z = 5$ s で失敗した固定$K$のアプローチを上回った。
• 容量のダイナミクス: コントローラがタスクの複雑さに応じて $K(t)$ を適応させるという予想に反し、メカニズムはすべての実行において最大ヘッド容量（$K_{max}=8$）に達した。削減トリガーが作動することはないであった。
• アブレーションによる洞察:
  • $\tau_z = 2$ s における $K_{max}$ の変動実験では、より小さな容量（$K_{max}=2$）の方が、より大きな容量（$K_{max}=16$）よりも平均性能が高く分散が小さいことが示された。これは、大きな容量が必ずしも性能を向上させるわけではないことを示唆している。
  • 性能はクールダウン・パラメータ（$\Delta_{grace}$）に対して非単調であり、デフォルト値が最適であった。
  • メカニズムに関する結論: 著者らは、Runtime-INCRTの利点は、最終的な容量ではなく、トレーニングの軌跡（trajectory）に由来すると結論付けている。容量の段階的な活性化が、単一のRL実行内における暗黙的な容量カリキュラムとして機能し、オプティマイザを劣悪な局所アトラクタから導いている。

意義と主張
本論文は、非マルコフ的な環境における適応制御のための、オフラインのアーキテクチャ探索に代わる原理的な選択肢として、Runtime-INCRTを提示している。その主要な貢献は、コンテキスト分布の有効ランクに基づいたモデル容量の実行時適応が、長いメモリホライゾンに関連する最適化の失敗を解決できることを示した点にある。著者らは、本手法がヘッド数に関するタスクごとのハイパーパラメータ探索を不要にし、「再起動およびリサイズ（restart-and-resize）」型のアプローチとは異なる、ポリシーの連続性に関する解析的保証を提供することを強調している。この研究は、複雑な制御タスクにおける成功的なRLトレーニングにおいて、最終的なモデルサイズそのものよりも、容量の成長プロセスが重要な帰納バイアスとして機能することを示唆している。