Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

技術概要：強化学習におけるスパースな報酬の整形：半教師ありアプローチ

問題定義
強化学習（RL）は、報酬信号が極めてスパースな実世界シナリオにおいて、核心的な課題に直面しています。そのような環境では、エージェントは最小限の即時的フィードバックしか受け取らず、帰還値の分散が高くなり、最適方策の学習が困難になります。報酬整形や報酬の高密度化は一般的な解決策ですが、これらはしばしば「報酬ハッキング」に陥り、エージェントが人工的な報酬を最大化するために意図された設計から逸脱した行動を学習してしまいます。一方、非専門家によるデモンストレーションに依存する教師ありベースの報酬整形手法は、非ゼロ報酬遷移が極めて稀な場合、サンプル効率が悪化します。既存のアプローチは、ゼロ報酬をもたらす遷移の大部分を効果的に活用することに苦慮しています。

手法：半教師あり報酬整形（SSRS）
著者らは、半教師あり学習（SSL）の技術を活用してこのギャップを埋める「半教師あり報酬整形（SSRS）」フレームワークを提案します。その中核的なアイデアは、希少な非ゼロ報酬遷移だけでなく、豊富なゼロ報酬遷移に対しても、軌道空間表現を学習することにより報酬整形を行うというものです。

このフレームワークは、以下の主要コンポーネントを通じて動作します。

1. 分類タスクとしての報酬推定: 報酬整形の問題は分類タスクとして定式化されます。システムは、観測された非ゼロ報酬とゼロを含む離散集合 $Z$ から報酬値を割り当てることを、状態 - 行動ペアに対して学習します。報酬推定器は 2 つのニューラルネットワークで構成されます。

   • $R_V(s)$: 状態を $Z$ 上の確率分布にマッピングする状態価値報酬分布関数。
   • $R_Q(s, a)$: 状態 - 行動ペアを $Z$ 上の確率分布にマッピングする状態 - 行動価値報酬分布関数。
     遷移に対する最終的な信頼度スコアベクトル $q_t$ は、これら 2 つの分布の重み付き組み合わせとなります。

2. 半教師あり最適化: フレームワークは、方策の更新と報酬推定器の最適化を交互に行います。

   • 教師あり損失（$L_r$）: 既知の非ゼロ報酬を持つ遷移に対して、推定器は閾値付き交差エントロピー損失を用いて、予測と真値との間の不一致を最小化するように訓練されます。
   • 一貫性正則化（$L_s$）: ゼロ報酬遷移に対して、モデルは一貫性正則化を採用します。入力遷移に対して弱いデータ拡張と強いデータ拡張を適用します。モデルは、信頼度が閾値 $\lambda$ を超える場合、弱拡張版と強拡張版の間で一貫した予測を生成するように最適化されます。これにより、ラベル付けされていないゼロ報酬データを活用して報酬関数を洗練させます。

3. エントロピー拡張: 画像タスク以外に特化した新しいデータ拡張技法が導入されます。軌道空間の滑らかさの仮定を破る可能性のある従来の画像拡張（例えば、cutout、回転）とは異なり、この手法はシャノンエントロピーを利用します。これは状態行列のエントロピーを計算し、それを用いて状態表現を攪乱します。これにより、SSL が軌道空間で効果的であるために必要な滑らかさとクラスタリングの仮定が保持されます。

4. 単調性制約: 訓練を安定させ、行動アドバンテージの表現を改善するために、制約が導入されます。これは、推定されたアドバンテージ（$R_Q(s, a)$ と $R_V(s)$ の差）が負となるケースにペナルティを課し、アドバンテージ関数が状態の基準に対する相対的な改善を捉えることを保証します。

主要な貢献

• SSRS フレームワーク: SSL を RL に統合する新規フレームワークであり、ゼロ報酬および非ゼロ報酬の両方の遷移に対する報酬整形を可能にすることで、スパース報酬環境におけるサンプル効率を向上させます。
• エントロピー拡張: 軌道空間に特化したエントロピーベースのデータ攪乱手法の提案であり、非視覚的観測タスクにおいて従来の拡張手法を上回る性能を発揮します。
• RL における SSL の実証的検証: 論文は、SSL が RL において有効となる条件を実証的に調査し、軌道空間が SSL 手法に必要な仮定（クラスタリングと滑らかさ）に適合することを示しています。
• 単調性制約: 状態価値推定器と状態 - 行動価値推定器の関係を規制する制約の導入により、訓練の安定性を向上させます。

実験結果
SSRS フレームワークは、スパース報酬の Atari 環境（例：Montezuma's Revenge、Seaquest、Venture）およびロボティクス操作タスク（FetchReach）で評価されました。

• ベースラインとの性能比較: SSRS は、教師ありベースのアプローチ（RCP、SORS）および標準的な RL ベースラインを一貫して上回りました。Montezuma's Revenge のような極めてスパースな環境では、SSRS は教師ありベースラインの最高スコアの最大2 倍を達成しました。
• 拡張の有効性: 提案されたエントロピー拡張は、他の拡張手法（cutout、smooth、translation など）と比較して、最高スコアを15.8% 向上させました。
• アブレーション研究: 実験は単調性制約の重要性を確認し、この制約を含む SSRS（SSRS-ST）が、ほとんどのテスト環境において含まない場合（SSRS-NST）よりも高い最高スコアを達成したことを示しました。
• ハイパーパラメータの頑健性: 更新確率（$p_u$）、信頼度閾値（$\lambda$）、一貫性係数（$\beta$）などのハイパーパラメータを分析しました。結果、信頼度閾値が 0.8 から 0.9 の間で性能がピークに達し、一貫性係数は最終結果には最小限の影響しか与えないが、訓練のダイナミクスに影響を与えることが示されました。

意義と主張
本論文は、報酬整形を半教師あり分類問題として扱うことで、エージェントが通常は破棄されるか未活用となるゼロ報酬遷移の大部分から効果的に学習できることを主張しています。著者らは、RL における軌道空間が SSL に必要な仮定（クラスタリングと滑らかさ）を満たしており、これによりモデルがゼロ報酬遷移に対する信頼性の高い報酬信号を推論できると論じています。エントロピー拡張の導入は、RL 観測の固有の性質に適応し、非視覚データへの画像中心の拡張の適用に伴う落とし穴を回避する重要な革新として強調されています。最終的に、この研究は SSL が報酬整形の有効性を大幅に向上させ、困難なスパース報酬ドメインにおけるエージェントのスコアを高めることを実証しています。