Guided Policy Optimization under Partial Observability

この論文は、部分観測性環境における強化学習の課題を解決するため、特権情報を利用するガイダーと模倣学習で訓練されるラーナーを共訓練する「ガイデッド・ポリシー・オプティマイゼーション（GPO）」フレームワークを提案し、理論的・実証的に既存手法を上回る性能を達成したことを示しています。

要約

不完全な情報でも最強のプレイヤーになる：「GPO」という新しい学習法

この論文は、人工知能（AI）が「見えない部分」がある環境で、いかにして賢く行動するかという難しい問題を解決する新しい方法、「GPO（Guided Policy Optimization：誘導方策最適化）」を紹介しています。

まるで**「目隠しをして将棋を指す」**ような状況で、どうすれば勝てるようになるか？その答えがここにあります。

---

🎭 物語の舞台：「見えない」世界のジレンマ

まず、現実世界の多くのタスクは、**「不完全な情報」**の中で行われています。

• ロボットは、センサーがノイズで汚れていたり、見えない死角があったりします。
• ゲームでは、敵の位置や次のカードが隠れています。

これを AI の世界では「部分観測性（Partial Observability）」と呼びます。AI は「今、何が起こっているか」を完全には知りません。

🐯 昔のやり方の問題点：「天才先生」と「凡人生徒」

これまで、この問題を解決するために**「先生（Teacher）と生徒（Student）」**というペアで学習させる方法が主流でした。

• 先生：シミュレーターなどを使って「全知全能」の情報を得て、完璧な動きをします。
• 生徒：先生を見て、「真似」をして学習します。

しかし、ここには大きな落とし穴がありました。

例え話：虎のいる部屋
2 つの扉があり、片方の裏に「虎」が隠れています。

• 先生は虎の位置を知っています。だから、迷わず「右の扉」を開けます。
• 生徒は虎の位置を知りません。だから、まず「耳を澄ませて（聞く行動）」虎の場所を特定する必要があります。

もし生徒が先生の動きをただ真似したらどうなるでしょう？
先生は「聞く」行動を一度も取らないので、生徒は「右の扉を開ける」ことしか学びません。その結果、虎に襲われてゲームオーバーです。

先生が**「完璧すぎる（Impossibly Good）」と、生徒には真似できない「無理な目標」を押し付けることになり、逆に学習が止まってしまうのです。これを論文では「Imitation Gap（模倣のギャップ）」**と呼びます。

---

🚀 解決策：GPO（誘導方策最適化）の登場

この論文が提案するGPOは、先生と生徒を**「一緒に成長させる」**という発想の転換を行いました。

🌟 核心となるアイデア：「生徒に追いつける先生」

GPO では、先生（Guider：導き手）と生徒（Learner：学習者）を同時にトレーニングします。

1. 導き手（Guider）：全知の情報を得て、ベストな動きを考えます。
2. 学習者（Learner）：不完全な情報で、導き手の動きを真似ようとします。
3. 重要なお約束（Backtracking）：もし導き手が生徒から離れすぎて「真似できないレベル」になってしまったら、導き手の方を少し戻して、生徒のレベルに合わせます。

比喩：登山のガイドと初心者

• 従来の方法：プロの登山家（先生）が、頂上へ向かって猛スピードで登り始めます。初心者（生徒）はついていけず、道に迷って転落します。
• GPO の方法：プロのガイドと初心者が一緒に登ります。ガイドは「ここは危ないから止まって」と教えつつ、もしガイドが先に行きすぎて「初心者には無理だ」と判断したら、ガイドが一旦引き返して、初心者のペースに合わせて待ちます。

これにより、ガイドは「生徒が真似できる範囲」で常にベストな動きを提供し続け、生徒は着実に上達していきます。

---

🛠️ GPO がどうやって動くのか？（仕組みの解説）

GPO は、以下の 4 つのステップを繰り返します。

1. データ収集：導き手が「全知の情報」を使って、良いルートを探します。
2. 導き手の強化：導き手は、より良いルートを見つけるために学習します（強化学習）。
3. 生徒の学習：生徒は、導き手の動きを「模倣学習」で真似します。
4. 調整（Backtracking）：もし導き手が生徒から離れすぎたら、導き手の動きを少し修正して、生徒が追いつけるようにします。

この「調整」のステップがあるおかげで、生徒は**「無理な目標」に直面することなく**、効率的に学習を進められます。

---

🏆 実験結果：なぜ GPO はすごいのか？

研究者たちは、この方法を様々なテストで試しました。

• ノイズだらけのロボット制御：センサーが狂っていても、安定して動けるようになりました。
• 記憶が必要なゲーム：過去の情報を覚えておかないと勝てないゲームでも、他の方法よりも高得点を出しました。
• 結果：従来の「先生と生徒」のやり方や、ただの AI 単独学習よりも、圧倒的に速く、強くなりました。

特に面白いのは、**「生徒が導き手を完全に真似できなくても、AI 自体の学習（強化学習）を少し混ぜる」**ことで、さらに性能が向上したことです。

---

💡 まとめ：何が新しいのか？

この論文の最大の貢献は、「完璧な先生」を無理やり作ろうとせず、「生徒に合わせた先生」を育てるという考え方です。

• 昔：「先生が完璧だから、生徒はついていけなくても仕方ない」という諦め。
• GPO：「先生が少し引いて、生徒と一緒に成長しよう」という協力体制。

これにより、AI は「見えない部分」があっても、「必要な情報を自分で集めながら」、賢く行動できるようになります。これは、実際のロボットや自動運転、複雑なゲーム AI などの開発において、非常に大きな進歩です。

「完璧を目指すのではなく、共に成長する」。それが、この新しい AI 学習の鍵なのです。

技術概要

論文タイトル: Guided Policy Optimization under Partial Observability (GPO)

著者: Yueheng Li, Guangming Xie, Zongqing Lu (北京大学)

1. 問題設定 (Problem)

強化学習（RL）は、部分観測マルコフ決定過程（POMDP）のような複雑で不確実な環境において大きな課題に直面しています。

• 課題: 実世界のタスク（ロボット制御など）では、センサーデータが不完全であったりノイズを含んだりするため、エージェントは完全な状態情報を得られません。
• 既存手法の限界: 訓練時にシミュレーションなどから得られる「特権情報（Privileged Information、完全な状態情報）」を活用する試みとして、模倣学習（IL）や教師 - 生徒学習（TSL）が存在します。しかし、これらには以下の重大な問題があります。
  • 「不可能に優れた」教師（Impossibly Good Teacher）: 特権情報を持つ教師の方策が、情報不足の生徒にとって模倣不可能なほど高性能である場合、生徒は学習できなくなります（Imitation Gap）。
  • 既存の解決策の欠点: 教師が模倣不可能になった時点で強化学習に切り替える手法や、報酬を修正する手法は、特権情報の有用性を十分に活用できず、非効率であるか、理論的な保証が欠如しています。

2. 提案手法 (Methodology)

著者らは、Guided Policy Optimization (GPO) という新しいフレームワークを提案しました。これは、特権情報を持つ「誘導者（Guider）」と、部分観測情報を持つ「学習者（Learner）」を**同時に共訓練（Co-training）**するアプローチです。

核心的なアイデア

• 誘導可能な領域の維持: 従来の TSL と異なり、GPO は学習者が追従できる範囲内で誘導者の方策を調整します。誘導者が学習者から離れすぎないよう制約をかけることで、「模倣不可能な教師」の問題を回避します。
• バックトラッキング（Backtracking）: 学習者が誘導者の行動を模倣できない場合、誘導者の方策を学習者の方策に近づける（バックトラックする）ステップを導入します。これにより、誘導者が常に学習者が追従可能な「可能によい（Possibly Good）」方策を維持します。

アルゴリズムのフロー

GPO は以下の 4 つのステップを反復します：

1. データ収集: 誘導者の方策 $\mu$ を実行して軌道を収集します（誘導者は完全な状態 $s$ を観測）。
2. 誘導者の訓練: 強化学習（RL）の目的関数に基づき、誘導者 $\mu$ を更新します。
3. 学習者の訓練: 学習者 $\pi$ を、誘導者の行動との距離（KL 発散など）を最小化するように更新します（模倣学習）。
4. 誘導者のバックトラッキング: 学習者が追従できない場合、誘導者の方策を学習者の方策に近づけるように調整します。

理論的保証

• 最適性の保証: 誘導者が方策ミラー降下（Policy Mirror Descent）で更新される場合、学習者の更新は「制約付き方策ミラー降下」として解釈でき、直接 RL を行う場合と同程度の最適性（Optimality）を達成できることが理論的に示されています。
• 分散の低減: 複雑な RL 勾配は特権情報を持つ誘導者が扱い、部分観測の学習者は比較的簡単な教師あり学習で方策を学ぶため、学習の分散と複雑さを低減できます。

実装バリエーション

1. GPO-penalty: KL 発散をペナルティ項として加え、誘導者と学習者の距離を制御します。学習者にも RL 目的関数を併用します。
2. GPO-clip: PPO のクリップ機構を拡張し、誘導者が学習者から離れすぎた場合に更新を停止する「ダブルクリップ」機構を導入します。また、誘導者と学習者が同じニューラルネットワークを共有する設計を採用し、入力のみ（状態 $s$ を含むか否か）で区別します。

3. 主要な貢献 (Key Contributions)

1. 新しいフレームワークの提案: 特権情報を活用しつつ、模倣ギャップを回避するための共訓練フレームワーク「GPO」を提案。
2. 理論的解析: 学習者が誘導者の制約下で更新されることで、直接 RL と同等の最適性収束が保証されることを証明。
3. 既存手法との比較: 「不可能に優れた教師」の問題を解決し、既存の TSL や非対称 RL（Asymmetric RL）手法を凌駕する性能を示す。

4. 実験結果 (Results)

GPO は、以下の 3 つの分野で広範な実験を行い、既存手法を大幅に上回る性能を示しました。

• 教育的タスク（TigerDoor 問題）:
  • 教師が「聞く」行動（情報収集）を取らない場合、従来の模倣学習は失敗しますが、GPO は学習者が最適な探索行動を学習し、最適方策に収束しました。
• 連続制御タスク（Brax ドメイン）:
  • 関節速度情報を隠し、観測にノイズを加えた POMDP 設定で評価。
  • 結果：GPO-clip と GPO-penalty が、PPO や既存の共訓練手法（ADVISOR, A2D など）をすべてのノイズレベルで上回りました。特に、事前訓練された教師を使う手法はノイズが増えると性能が急落しましたが、GPO はロバストでした。
• 記憶ベースタスク（POPGym）:
  • 過去の観測を記憶して意思決定するタスク（カードゲーム、ボードゲームなど）。
  • 結果：GPO は記憶モデル（GRU など）の限界を超えて、誘導者から有効な情報を引き出し、PPO や PPO-asym よりも高い成績を収めました。

5. 意義と結論 (Significance)

• 実用的な価値: ロボティクスやシミュレーションから実世界への転移（Sim-to-Real）など、訓練時に完全な情報があり、実行時に不完全な情報しかない現実的なシナリオにおいて、効率的な学習を可能にします。
• 理論と実践の統合: 単なるヒューリスティックな手法ではなく、理論的な最適性保証を持ちながら、実用的な RL アルゴリズム（PPO）と統合されている点が特徴です。
• 今後の展望: マルチエージェント環境など、訓練時にグローバル情報を持ち実行時にローカル情報しか持たない状況への拡張が期待されます。

この論文は、部分観測環境における強化学習のボトルネックであった「特権情報の活用」と「模倣ギャップ」を同時に解決する、堅牢で理論的に裏付けられたアプローチを提供した点で重要です。