技術的概要：深層強化学習のための内在的代理条件付け

問題定義

強化学習（RL）は、報酬 shaping やデモンストレーションからの学習（LfD）手法を通じて著しく進展しました。しかし、これらのアプローチには重大な限界が共通しています：それらは通常、専門家デモンストレーターの内部表現、アクションレベルの軌道、またはその報酬関数へのアクセスを必要とします。この依存性は、稀疏な外在的報酬と、フィードバック信号を提供しない壊滅的な終了条件（例：エージェントの死亡）を特徴とする環境において問題となります。そのような「単一ライフ」のシナリオにおいて、生物学的エージェントは直接の経験なしに他者を観察することで危険を回避し、望ましい状態を追求することを学びます。このプロセスは代理条件付けとして知られています。現在の RL 手法は、デモンストレーターのポリシーや報酬関数を必要とせずにこの能力を模倣することに苦慮しており、エージェントを高コストな自己探索や広範なデータセットへの依存に追いやっています。

手法

著者は、デモンストレーターのポリシー（$\pi_d$）や報酬関数（$r_d$）へのアクセスなしに、少数の観察されたデモンストレーションから学習することを可能にする内在的報酬メカニズムとして**代理条件付け（VC）**を提案します。この手法は、観察学習の Bandura の 4 段階モデル：注意、保持、再生、強化に基づいています。

1. 問題定式化

環境は部分観測マルコフ決定過程（POMDP）としてモデル化されます。エージェントは、$\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$ という合成報酬を受けます。ここで、$r_{ext}$は稀疏な環境報酬であり、$r_{vic}$は内在的代理報酬です。
エージェントは、デモンストレーター軌道 $\tau = (o^d_1, \dots, o^d_T, v_\tau)$ を観察します。ここで、$v_\tau \in \mathbb{R}$は結果の価数（接近に対しては正、回避に対しては負）と強度を示す通信された値です。重要なのは、エージェントはデモンストレーターの行動や内部状態を見ないことです。

2. 実装の 4 段階

著者は、**シアンズ型メモリ拡張ニューラルネットワーク（MANN）**アーキテクチャを用いてこれらの段階を実装します。

• 注意: シアンズ型長短期記憶（LSTM）ネットワークとして実装された共有**コントローラーエンコーダー（CE）**が、デモンストレーターとエージェントの両方からの観測系列を固定次元の埋め込み（$e_\tau$および$e_t$）にマッピングします。これにより、デモンストレーターから生じたかエージェントから生じたかに関わらず、行動的に類似した系列が比較可能な埋め込みを生成することが保証されます。
• 保持: エージェントは、通信された値 alongside デモンストレーターの埋め込みを格納します。代理価値$V^{vic}$は、信頼係数$k$によって調整された結果の有用性からの後方割引を通じて計算されます。これらの埋め込みと値は、コンテンツベースのアドレス指定（Least Recently Used アクセス）を用いて外部メモリ行列$M_t$に書き込まれます。MANN は、保存された軌道の価数（正/負）を分類するために交差エントロピー損失を通じて訓練されます。
• 再生: エージェントは、現在の行動埋め込み（$e_t$）を保存されたメモリと比較することで内在的報酬を生成します。一般化カーネルが、現在の状態と保存されたメモリ間の類似性（コサイン類似度）を計算します。分類層は、各行動クラスに対して信頼スコア（$p_t$）を出力します。内在的報酬$r_{vic}$はこれらのスコアから集約され、低信頼度の一致が報酬をトリガーするのを防ぐために、抑制閾値（$\theta_{thr}$）によってゲートされます。
  • 負の条件付け: エージェントの状態が保存された「回避」軌道に類似している場合、負の内在的報酬を受けます。
  • 正の条件付け: エージェントの状態が保存された「接近」軌道に類似している場合、正の内在的報酬を受けます。
• 強化: 内在的報酬は外在的報酬と組み合わせられます。エージェントは、この合成信号の期待リターンを最大化するようにポリシーを最適化します。矛盾が生じた場合、外在的報酬は最終的に優勢となり、ポリシーが特定の環境に対して最適であることを保証します。

主要な貢献

1. 一般的な定式化: 本論文は、代理条件付けのための形式的な RL フレームワークを提供し、注意、保持、再生、強化という生物学的なステップを明示的にニューラルネットワークのコンポーネントにマッピングします。
2. シアンズ型メモリ拡張アーキテクチャ: 著者は、低ショット学習を可能にするシアンズ型 MANN を設計しました。デモンストレーターとエージェント間でエンコーダーを共有することで、システムは類似した行動が類似した埋め込みを生むことを保証し、エージェントが保存された少数のデモンストレーションに基づいて自身の経験を検知し反応することを可能にします。
3. 価数固有のメカニズム: この手法は、負（回避）と正（接近）の条件付けに対して明確なメカニズムを導入し、エージェントが通信された結果の値のみに基づいて何を回避し何を追求するかを学習することを可能にします。

実験結果

このアプローチは、2 つの環境で評価されました：MiniWorld Sidewalk（負の条件付け/回避のテスト）とBox2D CarRacing（正の条件付け/接近と合成条件付けのテスト）。

• MiniWorld Sidewalk: 非記述的な終了条件（死亡は報酬を与えない）を備えた環境において、標準的な PPO は約 117 ステップを達成しました。最適な閾値（$\theta_{thr} = 0.60$）を用いた VC 手法は、ベースラインを大幅に上回り、142.16 ステップ（合成報酬）および139.96 ステップ（内在のみの報酬）を達成しました。これらの結果は、VC が死亡に対する明示的な報酬信号を必要とすることなく、エージェントを危険な状態（歩道の境界）から効果的に遠ざけたことを示しました。
• CarRacing:
  • 正の VC: エージェントはデモンストレーションされた行動である車線中央に留まることを学び、ベース PPO のエピソード長のほぼ3 倍（88.45 ステップ対 33.27 ステップ）を達成しました。これは（積極的なタイル訪問に対する保守的な運転により）外在的報酬が低くなる結果となりましたが、合成報酬は有意に高くなりました。
  • 負の VC: 接近タスク（トラックの境界を回避する）に適用された場合、負の条件付けはベースラインよりも性能が劣り、この手法が価数に対して敏感であることを確認しました。回避信号は、タスクが接近を要求する場合には有害です。
  • 合成 VC: 正と負の信号を組み合わせると、厳格な閾値において高い分散が見られ、価数信号の慎重な較正が必要であることを示唆する、混合した結果となりました。

意義と主張

著者は、この研究が生物学的学習能力と現在の RL の限界の間のギャップを埋めると主張しています。ポリシー、大規模なデータセット、または報酬関数へのアクセスなしに少数の観察されたデモンストレーションから学習することを可能にすることで、代理条件付けは単一ライフ学習および継続的学習のための認知的に妥当な代替案を提供します。

本論文は、このパラダイムが、壊滅的な失敗が直接の試行錯誤を通じて学習できない、広大で、部分的に観測可能で、危険な現実世界の環境に特に適していることを強調しています。この手法は、エージェントが他者の通信された結果から学習し、最小限のデータで壊滅的な終了条件を回避し、望ましい状態を追求する生物学的プロセスを成功裡に模倣します。著者は、特徴空間内で区別不可能な行動を区別できないことや、記憶の消去の欠如（一度保存されると代理価値は持続する）などの限界を認めていますが、強化のステップが最終的に必要に応じて内在的条件付けを外在的報酬で上書きすることを可能にすると論じています。