技術的概要：リアルタイム再帰強化学習による自動運転における適応制御

問題定義

自動運転の学習ベース制御方策は、訓練データと異なる環境に展開されると、しばしば失敗する。システムダイナミクス、センサー特性、環境条件の微妙な変化によって引き起こされるこれらの「分布シフト」は、壊滅的な性能劣化をもたらす可能性がある。方策を一度訓練し、適応なしに展開する従来のオフライン学習パラダイムは、このような非定常な現実世界の環境には不十分である。オンライン適応が必要である一方、既存の手法は、メタ学習（特定のタスクデータを必要とする）、テスト時適応（手作業で設計された報酬に依存する）、または完全なエピソードやミニバッチを待ってから更新する従来のオンライン強化学習（これにより遅延が生じる）に依存することが多い。さらに、再帰ネットワークにおける標準的なオンライン学習は、往々にして時間方向の誤差逆伝播（BPTT）を必要とし、これはメモリ集約的であり、生物学的に妥当ではない。

手法

著者は、オフラインの行動模倣とオンラインの**リアルタイム再帰強化学習（RTRRL）**を組み合わせるハイブリッド学習パイプラインを提案する。このアプローチにより、方策はゼロから再訓練したり大規模なオフラインデータセットにアクセスしたりすることなく、すべての時間ステップで継続的に適応することを可能にする。

核心アルゴリズム：RTRRL

RTRRL は、前方パスのみを使用してすべての時間ステップで方策パラメータを更新する、メモリ効率が高く生物学的に妥当なアルゴリズムであり、BPTT の必要性を排除する。

• 勾配計算: BPTT の代わりに、このフレームワークは**リアルタイム再帰学習（RTRL）またはランダムフィードバック局所オンライン（RFLO）**学習を利用する。これらの手法は、エリジビリティ痕跡とヤコビアン近似を用いてオンラインで勾配を計算する。特に RFLO は、固定されたランダムフィードバック行列を使用することで局所性と生物学的妥当性を強制し、計算複雑性を $O(n^3)$ から $O(n^2)$ に削減する。
• 学習目的: このアルゴリズムは、遅延報酬を処理するために時間差（TD）学習とエリジビリティ痕跡（TD($\lambda$)）を組み合わせる。TD 誤差 $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$ に基づいて、アクターとクリティックネットワークを更新する。
• アーキテクチャ: 著者は、共有バックボーンではなく、方策（アクター）と価値関数（クリティック）のために個別の再帰ニューラルネットワーク（RNN）を採用する。アクターは符号化された観測を受け取り、行動分布を出力し、クリティックは状態価値を推定する。

モデル統合：LrcSSM

この研究における重要な手法上の拡張は、**リキッド抵抗・リキッド容量状態空間モデル（LrcSSM）**を RTRRL フレームワークに統合することである。

• LrcSSM の特性: 純粋に線形ダイナミクスを使用する線形再帰ユニット（LRU）や、固定された時定数を持つ標準的な連続時間 RNN（CT-RNN）とは異なり、LrcSSM は入力と状態に依存する非線形時定数を導入する。これにより、ニューロンは時間的挙動を動的に適応させることができる。
• 対角構造: LrcSSM は対角構造を維持しており、これにより近似に伴う性能損失なしに RTRL 勾配の正確な計算が可能となり、オンライン学習にとって計算的に効率的である。

訓練パイプライン

1. オフライン事前学習: 方策は、まず人間のデモンストレーションのデータセットを用いた行動模倣によって訓練される。これには、画像再構成のためのオートエンコーダーである畳み込みエンコーダーと、再帰方策ネットワークが含まれる。
2. オンライン微調整: 事前訓練された方策は、RTRRL を用いてリアルタイムで展開され、微調整される。単一環境での微調整（有効バッチサイズ 1）中の過学習を防ぐために、損失関数にパラメータ変化ペナルティ（$L_\theta = \beta ||\theta_{pre} - \theta_t||^2$）が追加される。

実験設定

このアプローチは、2 つの異なる設定で検証された。

1. シミュレーション（CarRacing）: 軌道の中心線をたどる必要があるエージェントを含む、改変された OpenAI Gym 環境。この環境には、車輪の逸脱に対するペナルティが含まれる。
2. 実世界（RoboRacer）: ダイナミックビジョンセンサー（DVS）（イベントカメラ）を搭載した 1/10 スケールの自律車両。タスクはライン追跡である。この設定は、標準的な非スパイキングハードウェア上でイベントベースのビジョン（フレームではなく強度変化を捉える）を使用する点で注目すべきである。

主要な結果

シミュレーション（CarRacing）

• 性能: 全てのモデルタイプ（CT-RNN、LRU、LrcSSM）は、事前訓練されたベースラインと比較して、オンライン微調整後に有意な改善を示した。
• LrcSSM の優位性: LrcSSM ベースの方策は、異なるランダムシードと軌道全体で、最も速く、最も一貫した改善を示した。
• 適応: 微調整された方策は、シミュレートされたステアリング角オフセットなどの分布シフトに成功裏に適応し、初期の報酬に匹敵する性能レベルを回復させた。

実世界展開（ライン追跡）

• イベントカメラの成功: この研究は、閉ループ制御設定において標準ハードウェア上でイベントカメラ観測を用いたオンライン RL 微調整を初めて実証するものである。
• モデルの失敗と成功:
  • LRU の失敗: 事前訓練された LRU モデルは、効果的なライン追跡方策を学習できず、介入なしに 1 ラップも完了できなかった。著者は、LRU の純粋な線形再帰が、イベントフレームデータに固有の非連続的な閾値のような遷移（ライン可視状態とライン非可視状態間の切り替え）を捉えるには不十分であると仮説を立てている。
  • LrcSSM の成功: 対照的に、LrcSSM はタスクを成功裏に学習した。著者はこれを、効率的な勾配計算に必要な対角構造を維持しつつ、イベントベース制御の固有の特性を処理するために不可欠な LrcSSM の非線形状態ダイナミクスに起因すると帰している。
• ロバストネス: システムは、0.1 ラジアンというステアリング角のシフトや、周囲の日光による視覚的妨害を含む、実世界の分布シフトに適応した。報酬はシフト直後に一時的に劣化したものの、数ラップ以内にシフト前のレベルまで回復した。

意義と主張

この論文は、自律制御の分野に対するいくつかの初と重要な貢献を主張している。

1. オンライン RL における LrcSSM の初適用: これは、優れた表現力を持つ LRU の置き換えとして機能する LrcSSM のオンライン強化学習設定内での初適用であり、その妥当性を示している。
2. ハイブリッド学習パイプライン: この研究は、オフライン行動模倣とオンラインリアルタイム RTRRL 微調整を組み合わせる初のパイプラインを提案し、完全な再訓練なしに非定常環境への継続的適応を可能にする。
3. 組込みシステムでの実現可能性: 結果は、生物学的に妥当なリアルタイムオンライン学習アルゴリズムが、特殊なニューロモルフィックチップを必要とせずに組込みロボットシステム（RoboRacer）で実現可能であることを検証している。
4. イベントベースオンライン制御: これは、閉ループ制御設定においてイベントカメラ観測を用いたオンライン微調整を適用した、高周波数の非スパイキング機械学習応用を初めて提示する。
5. バイオインスピレーションの相乗効果: この論文は、バイオインスパイアードセンサー（イベントカメラ）、バイオインスパイアード再帰モデル（LrcSSM）、および生物学的に妥当な学習則（RTRRL/RFLO）との相乗効果を示している。

著者は、学習ベース制御は分布シフトに対して脆弱であるが、提案された RTRRL ベースのアプローチにより、展開された方策はリアルタイムで継続的に適応することで性能を維持でき、その目的において LrcSSM が最も効果的なアーキテクチャとして浮上すると結論付けている。