Zero-shot Transfer of Reinforcement Learning Control Policies for the Swing-Up and Stabilization of a Cart-Pole System

ロボットにほうきを手に乗せてバランスを取る方法を教えようとしている場面を想像してください。これは「カートポール（台車と棒）」問題です。カートはレールの上を前後に行き来し、そのカートには支点のある棒が取り付けられています。ロボットには2つの任務があります。

1. スイングアップ（立ち上げ）: 棒を真下に垂れ下がった状態から、真上に立った状態にすること。
2. スタビライゼーション（安定化）: 棒が倒れないように、立った状態を維持すること。

ノースカロライナ州立大学の研究者たちは、**強化学習（RL）**を使ってロボットにこれを教えたいと考えました。強化学習は、犬の訓練に似ています。犬が何か良いことをしたら、おやつ（報酬）を与え、失敗したらおやつを与えない、という仕組みです。やがて、犬は最高の芸を覚えます。

しかし、大きな問題があります。それが**「Sim-to-Real（シミュレーションから現実へ）」のギャップ**です。
コンピュータ上のシミュレーション（ビデオゲームの世界）ではロボットを完璧に訓練できても、その同じ「脳」を実際のロボットに入れた途端、失敗してしまうことがよくあります。なぜでしょうか？ 現実の世界には摩擦があり、センサーはぐらつき、モーターは不完全であり、これらはコンピュータのシミュレーションでは考慮されていなかったからです。それは、穏やかなプールで泳ぎの練習をしたスイマーを、突然荒れた海に放り込むようなものです。条件が違いすぎるため、彼らは溺れてしまうかもしれません。

問題点：ロボットが自分自身を壊してしまった

最初、研究者たちは標準的なコンピュータシミュレーションを使って、棒を振り上げる訓練を試みました。

• 結果: コンピュータ上では、ロボットは非常にうまくやっているように見えました。しかし、それを実機のロボットで試したところ、ロボットは暴走してしまいました。
• 例え: ビデオゲームで運転を学んだドライバーを想像してください。ゲームの中では、アクセルを0から100まで瞬時に全開にできます。しかし現実では、もしそんなことをすれば、タイヤが空転し、制御を失い、車を壊してしまうかもしれません。
• 何が起きたのか: コンピュータが学習した「脳」は、実機のモーターに対して、一瞬でフルスピードの前進からフルスピードの後退へと切り替えるよう命じていました。この激しい振動が、カートのプラスチック製の車輪を壊してしまったのです。ロボットが「ガタガタ（ジッター）」しすぎていたのです。

解決策：3ステップのレシピ

これを修正するために、研究者たちは、追加の調整なしで（これは「ゼロショット転移」と呼ばれ、プラグアンドプレイデバイスのようにすぐに動作することを意味します）、コンピュータで訓練された脳を実機で機能させるための特定のレシピを開発しました。

1. 「スムージー」フィルター（アクション・スムージング）

• 問題: コンピュータの脳は、ドラムソロを毎分1,000拍のテンポで演奏しているかのように、あまりにも激しく速い命令を出していました。
• 解決策: 彼らは「ローパスフィルター」を追加しました。これは、ロボットの命令に対するスムージー・ブレンダーだと考えてください。もし脳が「左へ行け！」と叫んだ直後に「右へ行け！」と命じたとしても、ブレンダーがそれを滑らかにし、「左へ行き、それからゆっくり右へ曲がる」という動きに変えてくれます。
• なぜ重要か: これにより、物理的な車輪が壊れるのを防ぎ、ロボットが自分自身を震わせてバラバラになるのを止めました。

2. 「補助輪」（カリキュラム学習）

• 問題: もし学生をいきなり難しい試験に放り込んだら、彼らはパニックに陥って失敗するでしょう。
• 解決策: 彼らは「カリキュラム」を用いました。完璧で簡単な世界でロボットを訓練するのではなく、少し乱れた世界から始め、徐々にその乱れを大きくしていきました。
• 例え: これは自転車の練習に似ています。最初は補助輪付きの平地から始めます。コツを掴んだら、補助輪を外します。次に、緩やかな坂道で練習します。最後に、デコボコ道で練習します。ロボットが「卒業」する頃には、シミュレーションの中であらゆる種類の「凹凸」を経験しているため、現実の世界が簡単に感じられるようになります。

3. 「的を絞った」ランダム化（感度ガイド型のドメイン・ランダマイゼーション）

• 問題: もし（カートの重さ、風、摩擦、空の色など）あらゆる要素をランダム化しようとすると、ロボットは混乱して何も学習できなくなります。
• 解決策: 研究者たちは「感度分析」を行いました。これは、医師が体のどの部分が病気に敏感かをチェックするようなものです。彼らは、ロボットのモーターの特定の3つの部分（回転部分の重さと、2つの電気的定数）だけが本当に重要であることを突き止めました。
• 戦略: 彼らは、訓練中にこれら3つの特定のパーツだけをランダム化しました。他の部分は一切いじりませんでした。これにより、訓練の焦点を絞りつつ、現実の世界に対応できる堅牢性を維持することができました。

最終局面：ハンドオフ（受け渡し）

ロボットには2つの異なる「脳（ポリシー）」があります。一つは棒を振り上げるためのもの、もう一つはバランスを保つためのものです。

• 課題: 「スイングアップの脳」から「バランスの脳」へ、ただ単に切り替えることはできません。切り替えのタイミングを間違えると、棒は倒れてしまいます。
• 解決策: 彼らは「スイッチング・ロジック」を作成しました。信号機を想像してください。「スイングアップの脳」が、棒がほぼ垂直になり、カートが適切な位置に来るまで運転します。そして、信号が青に変わり、「バランスの脳」が引き継ぎます。彼らは、ロボットが驚いてしまわないよう、この切り替えがスムーズ（衝撃がない状態）になるように設計しました。

結果

• うまくいったこと: スムージー・フィルター（破損を防ぐため）、的を絞ったランダム化（正しいことを学ぶため）、そしてカリキュラム学習（段階的に学ぶため）の組み合わせにより、ロボットは垂れ下がった状態から立ち上がった状態へと移行し、そこを維持することができました。
• うまくいかなかったこと: もしランダム化をしすぎたり、フィルターを使わなかったりした場合、コンピュータ内では完璧に見えても、実際のラボではロボットは失敗しました。
• 重要な教訓: 完璧なビデオゲームの中でロボットを訓練しただけでは、雑多な現実世界では機能しません。学習中に「ノイズ」や「ガタつき」に対処する方法を、穏やかでステップバイステップのアプローチを用いて教える必要があるのです。

要約すると、彼らは、壊れないように命令を滑らかにし、正しいことを学べるように焦点を絞り、準備が整った時だけ「バランスモード」に切り替わるようにすることで、棒のバランスを取る方法を学ぶロボットを構築しました。そして、ラボのスイッチを入れたとき、それは即座に機能しました。