Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

ロボットに歩き方を教えている場面を想像してみてください。通常、あなたは完璧に制御された、理想的なジムの中でロボットを教えます。そこでは床は常に滑らかで、空気は静止しており、ロボットの脚の重さも正確に設定されています。ロボットはこのジムの中で、完璧に歩くことを学びます。

しかし、そのロボットを現実世界に送り出すと、突然、床は滑りやすくなり、風が吹き荒れ、ロボットの脚は重くなったように感じられます。ロボットは「完璧なジム」での歩き方しか学んでいなかったため、すぐに転倒してしまいます。ロボットはジムに**過学習（オーバーフィット）してしまい、現実世界への汎化（ジェネラライズ）**に失敗したのです。

この論文は、このような問題を解決するための新しい手法であるGERS（Generalization via Evolutionary Reward Shaping：進化的な報酬シェーピングによる汎化）を紹介しています。特に、現実世界でロボットが「どのように」失敗したのかまでは見えず、「失敗した」ということだけがわかるという、非常に厄介な状況を対象としています。

以下に、簡単な比喩を用いて解説します。

1. 問題点：「ブラックボックス」型の検証器

多くの現実世界のシナリオ（例えば、セキュリティAIをクライアントのプライベートネットワークでテストする場合など）では、2種類の環境が存在します。

• トレーニング用のジム： ここには完全なアクセス権があります。ロボットがどのようなステップを踏み、どのようなミスをし、どのようなログを生成したのか、すべてを見ることができます。
• 検証用のブラックボックス： プライバシーやセキュリティ上の理由から、他にもいくつかの環境（例：実際のクライアントのネットワーク）がありますが、そこではロボットのステップを見ることはできません。最後に一つの数字だけが見えます。「成功したか？ スコアはこれである」という情報です。

標準的なAI学習手法は、通常、検証環境におけるロボットのステップ（軌跡）を見て、どのように改善すべきかを学ぶ必要があります。しかし、ブラックボックス内ではステップが見えないため、標準的な手法では行き詰まってしまいます。ブラックボックスから学習することができず、トレーニング用のジムに対して過学習し続けてしまうのです。

2. 解決策：「チューニング・ノブ」（報酬シェーピング）

著者らは、巧妙な回避策を提案しています。ブラックボックスのスコアを使って直接ロボットを教えるのではなく、トレーニング用のジムにおける**「ゲームのルール」を微調整する**ことにしたのです。

ロボットの「報酬関数」を、成績をつける教師だと考えてください。

• 標準的な教師： 「足を前に動かせたら、1ポイント与える」
• 問題点： ロボットは、ジムでは1ポイントもらえるものの、現実世界では通用しないような、奇妙でぎこちない動き方を覚えてしまいます。
• GERSの教師： システムは、採点システムに「チューニング・ノブ」（数学的にはベクトル $\nu$）を追加します。これによりルールが少し変わります。「足をスムーズに前に動かせたら1.5ポイント。ぎこちない動きをしたら0ポイント」といった具合です。

目標は、このチューニング・ノブの最適な設定を見つけることです。そうすることで、ロボットがジムの中だけでなく、ブラックボックス環境でも通用するような「歩き方のスタイル」を学習できるようにします。

3. 二段階のゲーム（バイレベル最適化）

論文では、この完璧なチューニング・ノブを見つけるために「二段階のゲーム」を使用しています。

• レベル1（生徒）： ロボット（PPOと呼ばれるアルゴリズムを使用）は、現在のチューニング・ノブの設定に従って、トレーニング用のジムで歩き方を学ぼうとします。これにより、ある「ポリシー（一連の歩行ルール）」が学習されます。
• レベル2（コーチ）： 別のアルゴロリズム（CMA-ES。これは進化生物学者のようなものです）が、チューニング・ノブを観察します。コーチはこう問いかけます。「もしこのノブを少し変えたら、ロボットはブラックボックスでより高いスコアを出せるだろうか？」
  • コーチは、ブラックボックス内でのロボットのステップには関心がありません。コーチが関心があるのは、最終的なスコアだけです。
  • もしロボットがブラックボックスでより高いスコアを出せば、コーチはそのチューニング・ノブの設定を維持します。スコアが下がれば、コーチはノブを再び変更します。

コーチはこのプロセスを何千回も繰り返し、ロボットがブラックボックスの中でも生き残れるほど堅牢な歩き方を学べるように、「チューニング・ノブ」を進化させていきます。たとえロボットがトレーニング中に一度もブラックボックスを見ていなかったとしても、このようにして学習が進められます。

4. 結果：予想を上回る成果

著者らは、4つの異なるロボットタスク（棒のバランス取り、ホッピング、走行、四足歩行など）でこのテストを行いました。

• ベースライン（標準的なAI）： ジムの中だけで訓練されました。ジムの中ではチャンピオンになりますが、物理条件が変わる（例：脚が重くなる、床が滑りやすくなる）と、即座に崩壊します。
• ドメイン・ランダム化（DR）法： 現在のゴールドスタンダードです。あらゆる可能性のあるジムを同時にシミュレートして、多くの異なるジムの中でロボットを訓練します。これは非常にうまく機能しますが、それらすべての異なるジムへのアクセスと、ロボットの全ステップを見る権利が必要です。
• GERS（新しい手法）： たった一つのトレーニング用ジムと、ブラックボックスのスコアのみを使用して学習しました。
  • 結果： GERSは、得られる情報量がはるかに少なかったにもかかわらず、ドメイン・ランダム化法とほぼ同等の性能を発揮しました。たった一つのジムにおける報酬を「シェーピング（成形）」することによって、未知の困難な環境にも適応できる汎化能力を実現したのです。

まとめとなる比喩

料理人に料理の作り方を教えていると考えてください。

• 標準的なトレーニング： あなたのキッチンにある特定のコンロだけで料理をさせます。彼らはあなたのコンロの上では完璧に料理できます。しかし、別のレストランに行くと、コンロが違うため料理を焦がしてしまいます。
• ドメイン・ランダム化： 100箇所の異なるキッチンにある、100種類の異なるコンロで料理をさせます。彼らはあらゆる環境に適応することを学びます。（ただし、これには100箇所のキッチンへのアクセスが必要です。）
• GERS： 彼らはあなたのキッチンでのみ料理をします。しかし、あなたは別の秘密のレストランにいる「秘密のテイスター」を置いています。あなたは、彼らが秘密のレストランでどのように料理しているかを見ることはできませんが、「美味しい」か「まずい」かというスコアだけを受け取ります。
  • GERSは、その秘密のテイスターのスコアに基づき、レシピの指示内容（報酬シェーピング）を調整する賢い副料理長のようなものです。
  • 最終的に、レシピの指示が絶妙に変化することで、たとえ練習があなたのキッチンの中だけで行われていたとしても、シェフはどんなキッチンでも美味しい料理を作れるような方法を学ぶことができるのです。

この論文は、ロボットの失敗のステップをすべて見る必要はないということを証明しています。必要なのは、最終的な結果に基づいて、トレーニングのルールを賢く調整する方法なのです。