テクニカル・サマリー：ビデオベースの最適輸送を用いたフィードバック効率の高いオフライン選好型強化学習

問題提起

強化学習（RL）エージェントが意思決定タスクを解決するには、適切な報酬関数が必要です。現実世界のシナリオにおいて、高密度で情報量の多い報酬を手動で設計することは困難であり、広範な計測（例：モーションキャプチャ、触覚センサ）を必要とするだけでなく、エージェントが意図しないショートカットを悪用する「報酬の誤指定（reward misspecification）」のリスクも伴います。選好型強化学習（PbRL）は、行動軌跡のペアに対する人間のフィードバックから報酬関数を学習するという代替案を提供します。しかし、PbRLのスケールアップは、効果的な報酬関数を学習するために数千回のクエリを必要とするなど、人間によるラベル付けの高コストによって阻害されています。これまでの研究では、半教師あり学習やメタ学習を用いてこれを軽減する試みがなされてきましたが、ビデオ基盤モデル（ViFM）の構造化された表現空間を活用して、ラベルのないデータに対して選好を推論できる可能性については、まだ十分に探索されていません。

手法：ビデオベースの最適輸送選好（VOTP）

著者らは、オフラインデータセットからのラベルなしデータを利用することで、最小限の人間による選好ラベル（例：10回のクエリ）から効果的な報酬関数を学習するように設計された半教師ありフレームワークであるVOTPを提案しています。この手法は、主に以下の2つの段階で動作します。

1. ViFMによる軌跡表現

VOTPは、生の「状態-行動」のペアに依存する代わりに、軌跡のセグメントを短いビデオクリップとしてモデル化します。これらのクリップは、HowTo100Mで事前学習されたS3Dという既存のビデオ基盤モデル（ViFM）を使用して、潜在空間へと埋め込まれます。この選択は、ViFMが空間的な詳細と時間的なダイナミクス（動態）の両方を捉える能力を持ち、アクターに依存せず、意味的に豊かな埋め込みを提供し、摂動（照明、視点など）に対して頑健であることに基づいています。

2. 最適輸送による疑似選好ラベルの生成

VOTPの核心的な革新は、ラベル付きのセグメントペアとラベルなしのセグメントペアをViFMの潜在空間内で整列させ、疑似ラベルを生成するために最適輸送（Optimal Transport: OT）を使用することにあります。

• 設定: $L$ を、スキュー対称行列 $R$ にエンコードされた既知の選好関係を持つラベル付きセグメントの集合とし、$U$ をラベルなしセグメントの集合とします。
• 最適輸送プラン: VOTPは、潜在空間における経験的測度間の輸送コスト（ユークリッド距離またはコサイン距離）を最小化するOTプラン $\mu^*$ を計算します。このプラン $\mu_{ii'}$ は、ラベルなしのセグメント $\bar{\sigma}_{i'}$ がラベル付きのセグメント $\sigma_i$ に対応する確率を表します。
• 推論: ラベルなしのペア $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ に対する選好スコアは、OTプランから導出された相対的な整列強度によって重み付けされた、すべてのラベル付きペアからの選好を集計することによって推論されます：
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  このスコアは正規化および閾値処理され、疑似ラベル（$\tilde{y} \in \{0, 1, 0.5\}$）を割り当てます。
• 報酬学習: 報酬関数は、元のラベル付きデータと新たに生成された疑似ラベル付きデータの両方を用いて訓練されます。オフラインRLフェーズでは、学習された報酬関数がデータセット内の元の報酬を置き換え、方策を最適化します。

主な貢献

1. VOTPフレームワーク: ビデオ基盤モデルの潜在空間上で最適輸送を利用して、ラベルなしの軌跡ペアに対して自動的に選好ラベルを割り当てる、半教師ありフレームワークの導入。
2. フィードバック効率: わずか数個の手順（例：10回のクエリ）の人間による選好ラベルから、効果的な報酬関数と方策を学習できることを実証し、既存のオフラインPbRL手法と比較してアノテーションの負担を大幅に軽減。
3. 視覚的変動への頑健性: ViFMを活用することで、照明の変化、テクスチャの変化、動的な背景といった視覚的な妨害要素が存在する場合でも、高いパフォーマンスを維持できることを検証。
4. 実世界への適用可能性: 7自由度のSawyerアームを用いた実世界のロボット操作タスク（Lift Banana, Drawer Open）にフレームワークを適用し、最小限の人間による入力で、ベースラインよりも高い成功率を達成。

実験結果

著者らは、移動（D4RL）、操作（MetaWorld）、および実世界のロボットタスクにおいてVOTPを評価しました。

• ベンチマーク性能: D4RLおよびMetaWorldにおいて、VOTPは限られたフィードバック予算の下で、既存の最先端のオフラインPbRLベースライン（P-IQL、SURF、LiRE、FTBを含む）を一貫して上回りました。特筆すべきは、VOTPがD4RLタスクにおいて、「Oracle（オラクル）」ベースライン（ラベルなしデータに対する正解報酬にアクセス可能なモデル）に匹敵する性能を達成したことです。
• 低データ領域: ラベル数を変化させた実験において、VOTPはベースラインと比較して、タスク報酬に達するために著しく少ないラベルを必要としました。door-open タスクでは、わずか10個のラベルを用いたVOTPが、正解報酬を用いて訓練された方策を上回りました。
• アブレーション研究:
  • ViFMs vs. IFMs: ビデオ基盤モデル（S3D、VideoCLIP、InternVideo）は、画像基盤モデル（R3M、CLIP）よりも優れた性能を示し、選好学習における時間的ダイナミクスを捉える重要性が浮き彫りになりました。
  • OT vs. 類似度: OTベースの疑似ラベル生成戦略は、単純な類似度指標（SIM-individual、SIM-mean、SIM-weighted）に依存するベースラインを大幅に上回り、輸送プランによる選好情報の集約の有効性を証明しました。
  • 報酬の相関: VOTPによって学習された報酬関数は、P-IQLと比較して正解報酬とのピアソン相関係数が有意に高く、状態および行動空間のカバー範囲が優れていることを示しました。
• 実機ロボット評価: 実機のSawyerロボットにおいて、VOTPは「Lift Banana」で80%、「Drawer Open」で70%の成功率を達成し、行動模倣（Behavior Cloning, 20-40%）やP-IQL（50%）を上回りました。極めて重要な点として、VOTPは失敗した軌跡に対しても報酬出力を正しく識別しましたが、P-IQLは失敗した挙動に対しても高い報酬を割り当てていました。

意義と主張

本論文は、VOTPがオフライン選好型RLのためのスケーラブルで実用的なソリューションであることを主張しています。事前学習済みのビデオ基盤モデルの表現力豊かな空間と、最適輸送の数学的厳密さを活用することで、本手法は限定的な人間の監督と、広範な報酬のカバレッジの必要性との間のギャップを効果的に埋めています。著者らは、このアプローチが、報酬設計が不可能な複雑な実世界環境へのRLエージェントのデプロイにおいて、視覚的な妨害に対する頑健性を維持しながら、人間の監督の必要性を大幅に削減できると主張しています。

著者らは、事前学習済みViFMから引き継がれる潜在的なバイアスや、非常に大規模なデータセットに対するOTプラン計算の計算コストといった限界についても認めており、近似輸送法に関する今後の研究を示唆しています。しかし、実験の範囲内において、本手法は極めて効果的であることが証明されました。