Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality

ロボットに歩き方を教えようとしている場面を想像してみてください。しかし、ロボットが足を折ったり高価な花瓶を倒したりするかもしれないので、実際の床で練習させるわけにはいきません。そこで、あなたはビデオゲームの世界、つまり「シミュレーション」を作り上げます。そこでは、ロボットは何千回転んでも何の代償もありません。これが**強化学習（Reinforcement Learning: RL）**の本質です。エージェントは、最高スコアを獲得するために試行錯誤を通じて学習します。通常、私たちはこの完璧なデジタルの砂場の中でロボットを訓練し、それを現実の世界に接続したときに、同様にうまく機能することを期待します。

しかし、ここに落とし穴があります。ビデオゲームの世界は、現実と全く同じであることは決してありません。重力がわずかに違っていたり、現実の床は少し滑りやすかったりするのに、ゲーム内ではそうでなかったりします。この違いを「Sim-to-Realギャップ」と呼びます。ロボットがゲームから外に出ると、存在しない床の上で歩くことを学んでしまったために、つまずいて転んでしまうことがよくあります。科学者たちが問い続けている大きな疑問は、「ロボットが現実世界でマスターになれるように、ゲームの世界をどうやって修正すればよいのか？」ということです。

「Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality（Sim-to-Realの最適化に向けたバイレベル強化学習経路）」と題されたこの論文は、そのギャップを修正するための巧妙な新しい方法を提案しています。ゲームをより現実的にしようとする（それは困難であり、しばしば本質を見失います）のではなく、著者たちは、ロボットの現実世界でのパフォーマンスを向上させるために、ゲームの物理法則を「特異的に」変更すべきだと提案しています。彼らは、シミュレーションの設定を、私たちが回すことができる「隠れたつまみ」として扱っています。ゲームのルールへの微細な変化がロボットの脳にどのように影響するかを分析することで、彼らはそれらのルールを自動的に調整する方法を開発しました。彼らはこのアイデアをコンピュータによるドローンのシミュレーションでテストし、シミュレーションのパラメータを調整することで、シミュレーションの物理法則が間違っていたとしても、ドローンが現実世界で完璧に飛行することを学習できることを発見しました。

問題点： 「完璧な」ゲーム vs. 混沌とした現実

ロボットをシミュレーションで訓練することを、練習問題集を使って学生にテストの準備をさせることに例えて考えてみましょう。理想的には、練習問題集は実際のテストと完全に一致しているべきです。しかし、ロボティクスの世界では、「練習問題集」（シミュレーション）は通常、未来を正確に予測したいエンジニアによって書かれています。彼らは、シミュレーションが「このブロックを押せば、2メートル滑る」と言うことを望んでいます。

しかし、ロボット（学生）は未来を予測することには関心がありません。ロボットが関心があるのは、ゲームに勝つことです。「このブロックを押したら、ハイスコアが得られるか？」を知りたいのです。

ここに不一致が生じます。シミュレーションは予測器（正確な物理学）として構築されていますが、ロボットは実行者（報酬の最大化）として訓練されます。時には、最も正確な物理モデルが、最悪のパフォーマンスにつながることがあります。例えば、シミュレーションが完璧すぎると、ロボットは非常に限定的で脆弱な歩き方を学んでしまい、現実の床に小さな凹凸があるだけで失敗してしまうかもしれません。著者たちは、単にシミュレーションを「より正確に」しようとするのではなく、シミュレーションを「ロボットの特定の仕事にとってより良く」すべきだと主張しています。

解決策： 二段階のダンス

著者たちは、**バイレベル強化学習（Bi-Level Reinforcement Learning）**という概念を導入しています。異なる速度で動く二人のパートナーによるダンスを想像してください。

1. インナーレベル（学生）： これはシミュレーション内で歩き方を学んでいるロボットです。現在のゲームのルールに基づいて最高スコアを目指します。
2. アウターレベル（教師）： これはシロレーション自体を変更する部分です。これは現実世界でのロボットのパフォーマンスを観察し、「ねえ、もしゲーム内の重力や摩擦をほんの少し微調整したら、ロボットはもっとうまく動けるかな？」と問いかけます。

魔法は、著者が「シミュレーションの物理法則を微調整したときに、ロボットの脳（ポリシー）がどのように変化するか」を正確に計算する方法を見出したところにあります。彼らはこれを**感度解析（Sensitivity Analysis）**と呼んでいます。これは、練習問題の難易度を1%調整したら、学生のテストのスコアがどれくらい変わるかを正確に知っているようなものです。

通常、これを知るためには、ロボットの訓練を止め、ゲームを変更し、ロボットを一から再訓練して、何が起こるかを確認する必要があります。これには膨大な時間がかかります。著者たちの画期的な点は、**暗黙関数定理（Implicit Function Theorem）**と呼ばれる数学的なショートカットを使用して、ロボットを毎回再訓練することなく、ロボットの脳がどのようにシフトするかを予測できることを発見したことです。彼らは、インスタントに「勾配（グラディエント）」（つまみを回すべき方向）を計算することができます。

実践における仕組み

論文が提案するループは以下の通りです。

1. シムで訓練： ロボットはシミュレーション内で、かなり上手くなるまで練習します。
2. 実世界でテスト： ロボットはその動きを現実世界で試します。
3. シフトを計算： システムは、シミュレーションの質量や摩擦パラメータを変更した場合、ロボットの現実世界でのスコアがどのように変化するかを、論文の数学を用いて算出します。
4. シムを微調整： システムは、ロボットの現実世界でのスコアが上がるように、シミュレーションのパラメータを調整します。
5. 繰り返す： ロボットは、今度は現実世界に必要なものにより近いルールを持つ、少し変化したシミュレーションに戻って再び学習します。

結果： 空を飛ぶことを学ぶクアッドコプター

この手法が機能することを証明するために、著者らはいくつかの実験を行いました。

• 単純なゲーム： 彼らは、数学的に完璧にチェックできる、非常に基本的で抽象的なゲーム（3つの状態を持つグリッドワールドなど）から開始しました。結果は、彼らの手法が、ロボットのスコアを向上させるためにゲームのルールをどのように変更すべきかを正しく特定したことを示しました。
• クアッドコプター： 大きなテストは、2Dドローンの安定化タスクでした。彼らは、ドローンの質量が間違っている（実際の重さの半分だと想定している）シミュレーションを設定しました。この間違ったシミュレーションのみでドローンを訓練すると、現実世界では墜落するか、飛行が不安定になりました。
  • 修正： 彼らのバイレベル手法を用いることで、システムはシミュレーションの質量パラメータを徐々に調整しました。
  • 結果： ドローンはシミュレーション内でポリシーを学習し、それを現実世界に展開したとき、完璧に安定して飛行しました。興味深いことに、シミュレーションは必ずしも現実世界の正確な質量（0.033 kg）に到達したわけではありませんでした。それは、ロボットの意思決定が最もうまく機能する「スイートスポット」（わずかに異なる質量値）を見つけ出しました。これは、完璧なモデルは必要ではなく、正しい意思決定を生み出すモデルが必要であることを証明しています。

これが意味すること（および意味しないこと）

著者たちは、これがあらゆる問題を解決する魔法の杖ではないことを慎重に述べています。

• 局所的である： この手法は、開始地点の近くにある「最善の」シミュレーション設定を見つけ出します。可能性の全宇宙における絶対的な最適解を見つけることを保証するものではありませんが、局所的な最適解を見つけることには非常に長けています。
• 微分可能なシミュレーターが必要： シミュレーションは「微分可能」である必要があります。つまり、入力の微細な変化が出力にどのように影響するかを数学的に追跡できる必要があります。これは現代の物理エンジンでは一般的になりつつありますが、必須条件です。
• あくまでシミュレーションが優先： 提示された結果は、現実世界のコンピュータシミュレーションに基づいています。数学的な厳密さと収束性は理論的に証明されていますが、現実世界のハードウェアテストは、この論文の特定のドローンの例に限定されています。

この論文は、本質的に私たちに新しいツールを授けています。シミュレーションを現実と全く同じに見せるために戦うのではなく、シミュレーションを現実世界のための完璧な「訓練場」へと調整できるようになったのです。それは、泳ぎ手に海で生き残る方法を教える際、海と全く同じ見た目のプールを用意する必要はなく、ただ、必要な泳ぎを学ぶために水が「ちょうど良い感じ」に感じられるプールがあればよい、ということに気づくようなものです。