Continual-RL for Generalization in Autonomous Racing on the RoboRacer Platform

あなたはロボットにレースカーの運転を教えようとしていると想像してください。ロボット工学の世界には、「シム・トゥ・リアル（sim-to-real）」の溝と呼ばれる有名な問題があります。それは、ビデオゲームの中で完璧な物理法則のもとで運転の練習をしているのに、いざ実際の車のハンドルを握ってみると、ブレーキの感覚が違ったり、タイヤが濡れた路面で滑ったり、風がゲームの予測よりも強く吹いたりすることに気づくようなものです。これを解決するために、科学者たちはしばしば、ランダムな風や滑りやすい道路などをシミュレーションに加え、より混沌とした環境を作ることで、ロボットがあらゆる状況に対処できるようにしようとします。しかし、現実の世界はあまりにも奇妙すぎて完璧にシミュレートできなかったり、あるいはシミュレーションを構築するコストが高すぎたりすることがあります。

ここで、強化学習（Reinforcement Learning: RL）という分野が登場します。RLを、幼児が歩き方を学ぶプロセスのように考えてみてください。幼児は一歩踏み出し、転び、「痛い」（負の報酬）を経験し、再び挑戦し、最終的にバランスの取り方を学びます。ここでの大きな課題は「汎化（generalization）」です。もしロボットが特定のトラックでの運転を学んだとして、そのロボットは、床の材質が異なる全く別のトラックでも即座に運転できるでしょうか？ 通常、答えはノーです。新しいトラックで学習しようとすると、最初に学んだことを忘れてしまうことがあり、これは「破滅的忘却（catastrophic forgetting）」と呼ばれる問題です。この論文は、まさにその悩みに取り組んでいます。どうすれば、過去の学習内容を忘れることなく、新しいトラックに対してロボットをマスターへと導き、かつ実世界での練習のみを用いて、どのようにして多くのトラックを自在に走れるようにできるのか、という問題です。

この論文の核心的なアイデア：「永遠に学び続ける」レースカー

主要なロボット工学のカンファレンスで発表されたこの論文は、「RoboRacer」プラットフォーム（小型のオープンソースのレーシングカー）を用いた、自律走行レースカーの訓練に関する新しい手法を紹介しています。研究者たちは、特定のパズルを解こうとしました。それは、「ロボットに一連のトラックでの走行を学習させ、その後、見たこともない新しいトラックや異なる路面素材に投入された際、いかに驚異的な速さで適応させるか」というものです。

チームは「継続的強化学習（Continual Reinforcement Learning）」と呼ばれる手法を提案しました。これを理解するために、一連の試験に向けて勉強している学生を想像してみてください。普通の学生は、数学を勉強した後に歴史に切り替えると、代数の知識をすべて忘れてしまうかもしれません。しかし、「継続的」な学生は、歴史を学びながらも数学の知識を維持し続け、さらにその両方のスキルを物理学のような新しい主題に素早く応用することができます。研究者たちは、まさにこれを行うシステムをレースカーのために構築しました。彼らは「ソフトアクター・クリティック（Soft Actor-Critic: SAC）」という、失敗から素早く学ぶ非常に効率的な学生のような特定のアルゴリズムを使用しました。そして、車が「古いトラックを忘れる」のを防ぐために、「継続的バックプロパゲーション（Continual Backpropagation: CBP）」という特別なテクニックを追加しました。CBPは、ロボットの脳にとっての「メンタルジム」のようなものだと考えてください。それは、ニューラルネットワークのどの部分が怠慢になったり「死んで」しまったりしているかを常にチェックして呼び起こし、ロボットが新しいことを学ぶ準備ができている柔軟な状態を維持するようにします。

レース：実世界でのテスト vs シミュレーション

研究者たちは単にコンピュータ・シミュレーション上で実行しただけでなく、実際に車を走らせました。彼らは、それぞれ異なる床の質感（樹脂コーティングされたものやアスファルトなど）を持つ4つの異なるトラックを備えた訓練場を設置しました。ロボットはこれらのトラックで約40分から60分間走行することを学習しました。そして、真のテストがやってきました。これまでロボットが見たどの環境よりも摩擦が著しく低い（30%から39%少ない摩擦）、磨かれたコンクリート製の第5のトラックです。

目標は、この新しい滑りやすいトラックにおいて、ロボットがいかに早くスピードに乗れるかを確認することでした。彼らは、自分たちの「継続的RL」手法を、以下の2つのアプローチと比較しました。

1. ゼロからのスタート： 過去の経験を持たない状態で、新しいトラックでの学習を行う。
2. オフライン事前学習： 実際に運転させる前に、膨大な過去の走行ビデオのデータセット（ハイライト映像を見ているようなもの）をロボットに読み込ませる、「暗黙的Q学習（Implicit Q-Learning: IQL）」と呼ばれる手法。

結果：スピードと適応力

結果は非常に明快でした。「継続的RL」のロボットは、適応においてチャンピオンでした。新しい滑りやすいトラックでの微調整（ファインチューニング）をわずか15分行っただけで、古典的なコンピュータ・コントローラー（厳格な数学的ルールに依存する、いわばロボットの「スマート・オートパイロット」）よりも速く走ることができました。実際、古典的なコントローラーよりも約**6.4%**高いパフォーマンスを示しました。

これを比較対象として捉えると、以前の研究では同レベルの性能に達するまでに82分を要していました。この新しい手法は、その時間を4分の1に短縮したのです。ロボットはただ速く走っただけでなく、より賢く走りました。古典的なコントローラーはコーナーを速すぎる速度で曲がろうとしてブレーキを強く踏まなければならず（その結果、車がスライドしてしまう）、一方でRLロボットは、コントロールを失うことなく、より広いラインを取り、ターンを通過する際にスピードを維持することを学びました。

しかし、この論文は、「オフライン事前学習」（ハイライト映像の視聴者）の手法が、今回の特定のレースではそれほど上手くいかなかったことも明らかにしました。この手法はシミュレーションでは有望な兆候を見せ、非常に「可塑性（プラスチック性）の高い（新しいことを学ぶ準備ができている）」脳を持っていましたが、実車の走行においては、継続的学習者よりも遅く、一貫性に欠けていました。この特定のタスクにおいては、実世界で実践しながら古い記憶を維持する方が、単に他人の動画を見ているよりも優れていたようです。

なぜこれが重要なのか

この論文は、この「継続的RL」フレームワークが、変化しやすく予測不可能な環境で動作する必要があるロボットにとって、強力な候補であることを結論づけています。効率的な学習アルゴルズムと、ロボットの脳の柔軟性を維持するテクニックを組み合わせることで、単に一つの経路を暗記するのではなく、新しい課題に対して迅速に汎化できる機械を作れることを示唆しています。研究者たちは、彼らの手法を用いた場合、他の手法と比較して、ロボットの脳における「死んだ」ニューロン（怠慢な部分）が大幅に少なかったことも指摘しており、これはロボットが単に暗記しているのではなく、真に適応していることを証明しています。

この論文は、ロボット工学のすべてを解決したと主張しているわけではありませんが、鮮やかな概念実証を提供しています。それは、数分間で新しいトラックを学習し、従来のメソッドを凌駕し、かつ完璧なシミュレーションを最初から必要としないロボットです。これは、人間がドライバーが行うように、現場で即座に学習できるロボットへの一歩となります。