Value Explicit Pretraining for Learning Transferable Representations

Lekkala らによる論文「Value Explicit Pretraining for Learning Transferable Representations」の詳細な技術的サマリーを以下に示す。

1. 問題定義

視覚的強化学習（RL）エージェントは、環境のダイナミクスや視覚的外観に変化が生じた際、タスク間での汎化に苦しむ。人間はこれらの変化に関わらずタスクに関連する情報を抽出できるが、ロボットはこうした変化に対して不変な学習済み表現を必要とする。

現在の表現学習アプローチは、主に 2 つの限界に直面している：

1. 目的の不一致：多くの手法は、画像再構成や時間的整合性など、下流の制御タスク（行動予測）とは異なる事前学習の目的関数を使用している。
2. データ要件：既存の転移学習手法は、高品質でラベル付けされた専門家によるデモンストレーションや成功した軌跡を必要とすることが多い。エージェントがタスク完了に失敗することが多い最適化されていないラベルなしデータ（観測の系列とスパースな報酬）から、転移可能な表現を効果的に学習できる手法は不足している。

核心的な課題は以下の通りである：制御タスク自体を学習せず、不完全でラベルなしデータのみを用いて、制御に有用な表現を生成するエンコーダをどのように学習できるか？

2. 手法：Value Explicit Pretraining (VEP)

著者らは、視覚的または時間的近接性だけでなく、「成功の傾向（価値）」を明示的に符号化することにより、タスクに依存しない表現を学習する自己教師あり対比学習手法である**Value Explicit Pretraining (VEP)**を提案する。

核心的な洞察

状態の価値関数 $V(s)$ は、最適方策における期待リターン（成功の傾向）を表す。著者らは、異なるタスク（視覚的外観が異なっても）において類似した価値推定値を持つ状態は、同様の最適戦略を共有すると仮定する。したがって、表現は視覚的類似性ではなく、価値の類似性に基づいてクラスタリングされるべきである。

アルゴリズムの概要

1. データソース：本手法は、一連の学習タスクからのオフライン、最適化されていない、ラベルなしデータセット（$D_{train}$）を利用する。これらのデータセットには観測の系列とスパースな報酬シグナルが含まれるが、行動ラベルは含まれない。
2. モンテカルロ価値推定：
   • 真の最適価値関数は未知であるため、VEP はスパースな報酬を用いてデータセット内の各フレームに対してモンテカルロ（MC）推定値 $G$ を計算する：
     $$G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$$
   • 価値推定値が 0 のフレーム（その軌跡区間において報酬が一度も得られなかったことを示す）は破棄される。
3. 対比学習目的関数：
   • エンコーダ $f_\phi$ は、対比損失（InfoNCE または Triplet loss）を用いて学習される。
   • サンプリング戦略：
     • アンカー（$z_{an}$）：タスク $T_i$ からの観測で、価値推定値が $g$。
     • ポジティブ（$z_{ps}$）：異なるタスク $T_j$ からの観測で、価値推定値が $g$ に対して閾値 $v_{thresh}$ 以内にあるもの。
     • ネガティブ（$z_{ng}$）：タスク $T_k$ からの観測で、価値推定値が $g$ と著しく異なるもの（閾値 $v_{thresh}$ を超える）。
   • 目的：損失関数は、アンカーとポジティブ（類似した価値/成功の傾向）間の距離を最小化し、ネガティブとの距離を最大化することで、エンコーダにタスク固有の外観やダイナミクスに不変な表現を学習させる。

実装の詳細

• 前処理：ソートされた価値推定値をフレームインデックスにマッピングする辞書を作成し、効率的な二分探索サンプリングを可能にする。
• 方策学習：事前学習後、エンコーダは固定される。テストタスクでは、潜在表現 $z_t$ を入力としてオンライン RL アルゴリズム（PPO）が学習される。エンコーダの微調整は行われない。

3. 主要な貢献

1. Value-Explicit 表現：価値推定値を明示的に用いて潜在空間を整理する新しい事前学習フレームワーク。表現が視覚的または時間的整合性だけでなく、タスクの進行状況を反映することを保証する。
2. 最適化されていないデータの活用：タスクを常に解決するとは限らないラベルなし、最適化されていないデータ（エピソード）を用いて転移可能な表現を学習することに成功。専門家によるデモンストレーションを必要とする手法からの大きな転換点である。
3. タスク非依存の汎化：価値の類似性に焦点を当てることで、視覚的ダイナミクスは異なるが目的は類似した分布外（OOD）タスクへも汎化する表現を学習する。
4. アブレーションとベースライン比較：本論文は VEP を以下に対して厳密に比較している：
   • VIP（Value Implicit Pretraining）：時間的整合性に依存する手法。
   • TCN（Time Contrastive Learning）：時間距離に基づいてポジティブをサンプリングする手法。
   • SOM（State Occupancy Measure）：サンプリングに状態占有測度を使用する手法。
   • Value Regression (VR)：単に価値推定値を回帰するベースライン（単純な回帰よりも対比サンプリングが優れていることを証明）。

4. 実験結果

著者らは VEP をAtari、Visual Navigation (StreetLearn)、Ant Locomotionの 3 つのベンチマークで評価した。

• Atari ベンチマーク：
  • 設定：Demon-Attack と Space Invaders で事前学習し、他の 4 つのシューティングゲームでテスト。
  • 結果：VEP は分布外タスクにおいてベースライン（VIP、TCN、SOM）を最大報酬で 2 倍上回った。分布内タスクにおいても約 25% の改善を示した。
• Visual Navigation：
  • 設定：2 つの都市で事前学習し、4 つの未見の都市でテスト。
  • 結果：VEP は、エンドツーエンドの学習と同等の性能を2.1 倍高速（サンプル効率）で達成した。最先端の視覚言語モデル（CLIP、R3M、MVP）を大幅に上回った。
• Ant Locomotion (Maze)：
  • 設定：単純な迷路で事前学習し、異なる障害物や視覚的変異を持つ複雑な迷路でテスト。
  • 結果：VEP はドメイン内および OOD の迷路の両方で最先端の性能を達成した。
  • 可視化：t-SNE プロットは、TCN の埋め込みが迷路の外観によってクラスタリングされ（過学習）、VEP の埋め込みがタスクの進行（価値）によってクラスタリングされていることを示し、真のタスク非依存学習を実証した。
• アブレーション研究：
  • 最適化の欠如：タスクの 10% しか完了していないエピソードからのデータを使用しても、VEP の性能は堅牢であった。
  • 閾値設定：最適な価値閾値（$v_{thresh} \approx 0.03$）が特定された。閾値が高すぎると性能が低下した。
  • 対比 vs 回帰：単に価値を回帰するだけでは（Value Regression ベースライン）、転移可能な表現は生成されず、トリプレットの対比サンプリングが決定的なメカニズムであることを確認した。

5. 意義と影響

• 効率性：VEP は下流の RL におけるサンプル効率を最大 3 倍まで劇的に向上させ、高価なオンライン相互作用の必要性を低減する。
• データへのアクセス：専門家による、ラベル付き、または成功したデモンストレーションの要件を排除することで、転移学習への参入障壁を下げ、膨大な量の「不揃い」な実世界またはシミュレーションデータの活用を可能にする。
• 汎化：この手法は、表面的な視覚的特徴ではなく、タスクの目的（ゴールへの進行）を捉える表現を学習することで、「シミュレーションから実世界へ」および「タスクからタスクへ」のギャップに対処する。
• 将来の方向性：著者らは、この手法を連続制御アルゴリズム（SAC など）や少数ショット模倣学習へ拡張し、より複雑で大規模な事前学習シナリオへスケールさせることを提案している。

要約すると、VEPはロボット工学における表現学習のパラダイムシフトを表しており、「世界がどのように見えるか」から「エージェントが成功にどの程度近づいているか」へと焦点を移すことで、不完全なデータであっても堅牢な転移を可能にする。