What Matters for Simulation to Online Reinforcement Learning on Real Robots
3つのロボットプラットフォームにおける100回の実世界でのトレーニング実行を含む大規模な経験的研究を通じて、本論文は、物理ロボット上での安定したオンライン強化学能学習を可能にする特定の堅牢な設計上の選択肢を特定すると同時に、広く用いられている特定のデフォルト設定の有効性を論破している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに歩行、コップの持ち上げ、あるいは車の運転を教える場面を想像してみてください。長い間、科学者たちは、完璧なデジタルシミュレーターであるビデオゲームの世界の中で、ロボットに何百万回も練習させることでこれを行おうとしてきました。それは、パイロットがフライトシミュレーターで訓練するようなものです。安全で、速く、そして安上がりです。しかし、落とし穴があります。現実の世界は混沌としているのです。床は決して完全に滑らかではありませんし、タイヤはコンピューターが予測できなかった形で滑りますし、カメラの捉え方もデジタルレンダラーとは異なります。完璧なビデオゲームの中で訓練されたロボットを現実の床の上に置くと、しばしば躓いたり、物を落としたり、衝突したりします。この「完璧なゲーム」と「混沌とした現実」の間のギャップこそが、ロボティクスにおける最大の障害です。
これを解決するために、研究者たちは「強化学習（Reinforcement Learning: RL）」という手法を用います。RLを、試行錯誤を通じて学ぶ非常に意志の強い学生だと考えてみてください。ロボットはある行動を試し、成功すれば「報酬」（ポイントのようなもの）を受け取り、失敗すれば「罰」（衝突のようなもの）を受け取り、次により良くするために自分の脳を調整します。大きな疑問は、「このロボットがゲームの中だけでなく、実際に現実の床の上を動きながら学習させることはできるのか？」ということです。これは「オンライン学習」と呼ばれます。これが究極の目標（ホーリーグレイル）である理由は、人間が滑らかな道で練習した後、デコボコ道で自転車に乗る練習をする時のように、ロボットが新しい状況に即座に適応できるようになることを意味するからです。しかし、これまでは、実際のハードウェア上でこのような方法でロボットを教えることは、リスクが高く、不安定で、多くの場合、時間と金の無駄でした。
ETH ZurichとGoogle DeepMindの研究者たちによって書かれたこの論文は、非常に実用的な問いを投げかけています。「もし、すでにシミュレーターで学習したロボットがある場合、それを現実世界で安全かつ成功裏に学習させるためには、具体的にどの設定を微調整する必要があるのか？」彼らは新しい魔法のようなアルゴリズムを発明したわけではありません。むしろ、彼らはメカニックのように振る舞い、標準的な既製品の学習ツールを取り上げ、3つの非常に異なるロボット（ロボットアームのFranka Emika Panda、4足歩行の犬型ロボットのUnitree Go1、そしてリモコンカー）に対して100回以上の異なるトレーニング走行をテストしました。
彼らは、これらの学習ロボットの通常の「デフォルト」設定は、シミュレーションから現実へと移行する際に実は危険であることを発見しました。もし、シミュレーターで訓練された脳をそのまま実機のロボットにプラグインして、すぐに学習を開始してしまうと、ロボットは知っていたことをすべて忘れ、混沌とした状態へと螺旋状に陥ってしまいます。著者らは、この現象が、物理法則の突然の変化によってロボットの「クリティック（批評家）」（その行動がどれほど良いかを判断する部分）が混乱してしまうために起こることを突き止めました。これを防ぐために、彼らはシンプルで信頼できるレシピを開発しました。
第一に、新しい現実世界のデータと一緒に、古いシミュレーターのデータを「記憶」として保持しておかなければならないことを彼らは発見しました。これは、宿題をしている間に教科書を開いたままにしておくようなものです。もし宿題を始めた瞬間に教科書を捨ててしまったら、基本ルールを忘れてしまうかもしれません。第二に、ロボットには、自分の考えを変えることが許される前に、古いシミュレーターの脳を使って数回練習する「ウォームアップ」期間が必要であることを発見しました。最後に、最も重要なこととして、ロボットの「脳」（何をすべきかを決定する部分）は、「判断」（間違いから学ぶ部分）よりもずっとゆっくりと更新される必要があることを発見しました。もし脳の変化が速すぎると、混沌とした現実世界によって混乱してしまいます。脳の更新速度を遅くし、判断力を安定させることで、ロボットはわずか数分間の現実世界でのトレーニングだけで、立方体を掴んだり、転倒せずに歩いたり、レースカーを高い精度で駐車したりすることを学べるのです。
この論文は、これらの特定の注意深い調整を行うことで、標準的な学習手法が現実のハードウェア上で確実に機能することを示しています。彼らは単にシミュレートしただけではありません。実際に機械を用いて実行し、ロボットを現実世界で学習させるために新しいスーパーアルゴリズムは必要ではなく、単にデータの与え方や、考えを変える速度についてより賢くなる必要があることを証明したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。