テクニカルサマリー：Vision Language Modelによるガイダンスを用いた、ポテンシャルベース報酬整形（PBRS）の自動化

問題提起

強化学習（RL）エージェントは、タスク完了時にのみフィードバックが提供される**疎な報酬（sparse rewards）を伴う環境において、大きな課題に直面します。このような中間的なガイダンスの欠如は、探索を妨げ、成功を特定の軌道のどの部分に帰属させるかを困難にします。報酬整形（Reward Shaping）（探索を導くための補助的な信号を追加すること）は一般的な解決策ですが、任意の整形は、エージェントが意図したタスクを解決することなく、補助的な信号を最大化しようとする報酬ハッキング（reward hacking）**を引き起こす可能性があります。

**ポテンシャルベース報酬整形（PBRS）**は、連続する状態間のポテンシャル関数 $\Phi(s)$ の差を報酬に加えることで、理論的に健全な代替案を提供します。PBRSは、元のタスクの最適方策集合を保持することを保証します。しかし、効果的なポテンシャル関数を定義するには、通常、広範な専門知識と手動のエンジニアリングが必要であり、そのスケーラビリティを制限しています。

Vision Language Models (VLMs) を用いて報酬関数を直接学習する最近のアプローチ（例：RL-VLM-F）は、人間による設計の必要性を減らしますが、VLMが真の報酬関数を完全に近似できる能力に依存しています。これはラベルの正確性に対して厳格な要求を課します。VLMの出力におけるエラーは、劣最適な方策を招く可能性があります。さらに、トレーニング中に大規模な最先端VLMを繰り返し呼び出すことは、計算コストの面で極めて困難です。

手法：VLM-PBRS

著者らは、VLMが生成した選好ラベルを用いて、PBRSのためのポテンシャル関数の構築を自動化するフレームワークである VLM-PBRS を提案しています。コアとなる革新性は、PBRSの**方策不変性（policy invariance）**の特性を活用することで、VLMに対する正確性の要求を緩和し、より小さく効率的なモデルの使用を可能にした点にあります。

コアコンポーネント

1. 選好ベースの学習ループ:

   • システムは、方策の改善、データ収集、およびVLMへのクエリを含む反復ループで動作します。
   • データ収集: エージェントは環境と相互作用し、軌跡と画像観測を収集します。
   • VLMへのクエリ: バッファから画像のペア ($\sigma_i, \sigma_j$) をサンプリングします。画像ペアと、目標に関する自然言語による記述を含むプロンプトが構成されます。VLMに対して、どちらの画像が目標をより良く達成しているかを判断するようクエリを送ります。
   • プロンプト構造: プロンプトは、VLMに対して共通要素を特定し、目標に対する差異を記述し、選好を示す機械読み取り可能なラベル ($y \in \{-1, 0, 1\}$) を出力するように求めます。
   • ラベル抽出: 以前のワーク（例：RL-VLM-F）とは異なり、冗長なVLMの出力からラベルを抽出するために第2のLLMコールを使用するのではなく、VLM-PBRSは単一のVLMコールから直接ラベルを抽出することで、計算効率を向上させます。

2. ポテンシャル関数の構築:

   • 収集されたVLMラベルを用いて、損失関数（クロスエントロピーまたは平均絶対誤差）を用いて、選好モデル $r_\psi$ が訓練されます。
   • 訓練されたモデルは、以下の通りポテンシャル関数 $\Phi(s)$ に変換されます：
     $$\Phi(s) = \begin{cases} 0 & \text{if } s \text{ is terminal} \\ \lambda \sigma(r_\psi(s)) & \text{otherwise} \end{cases}$$
     ここで、$\sigma$ はシグモイド活性化関数であり、$\lambda$ は、整形された報酬が正であり、かつ目標報酬よりも低い値に抑えられることを保証するためのスケーリング係数（0.9に設定）です。

3. 報酬整形:

   • 整形された報酬 $R'$ は、$R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$ として計算されます。
   • この整形された報酬は、探索中にRLエージェント（SACを使用）をガイドします。ポテンシャル関数が改善されるにつれて、リプレイバッファ内の報酬も再計算されます。

主要な設計上の選択

• 小型VLM: 本フレームワークは、計算効率の高い小型のオープンウェイトVLM（例：Ovis2-16B、Qwen3-VL-8B）を利用しています。著者らは、これらのモデルはより大規模なモデルよりも正確なラベルを生成できない可能性があるものの、PBRSフレームワークはそのようなノイズに対して堅牢であると主張しています。
• シングルステップ・ラベリング: ラベル生成のために第2のLLMコールを回避することで、計算オーバーヘッドを大幅に削減しています。

主な貢献

1. VLM選好学習のPBRSへの初適用: 本論文は、テキストによる目標記述と視覚的観測のみを必要として、VLMの選好ラベルから直接PBRSのポテンシャル関数を合成する最初のフレームワークを導入しました。
2. 小型VLMの原理的な使用: 著者らは、PBRSの方策不変性の保証が、直接的な報酬モデリングにおける厳格なラベル正確性の要件を緩和することを立証しました。これにより、ラベルにノイズがある場合でも、最適の方策を損なうことなく、より小さく計算効率の高いVLMを使用することが可能になります。
3. 実証的検証: 本手法は Meta-World および Franka Kitchen 環境で検証されており、疎な報酬やナイーブなVLM報酬学習と比較して、サンプル効率と報酬ハッキングに対する堅牢性が向上していることが示されています。

結果

著者らは、VLM-PBRSを、Sparse Rewards（疎な報酬）、Human-Designed Dense Rewards（人間が設計した密な報酬）、および RL-VLM-F（直接報酬学習）の4つのベースラインと比較評価しました。

• サンプル効率: VLM-PBRSは、テストされたすべてのタスク（ボタン押し、ウィンドウ開け、電子レンジ、ライトスイッチなど）において、疎な報酬のベースラインと比較して一貫して学習を加速させました。
• RL-VLM-Fとの比較: RL-VLM-Fは一部のタスクでは疎な報酬を上回りましたが、VLMのラベルエラーが誤ったインセンティブを生み出したため、他のタスク（ボタン押し、トップバーナーなど）では劣最適な方策に収束することがよくありました。対照的に、VLM-PBRSは、PBRSの特性によりエージェントが永久に誤った方向に導かれることがないため、ノイズのあるラベルであっても最適方策への収束を維持しました。
• 人間による設計との性能比較: ボタン押しタスクにおいて、VLMの精度が約59%であったVLM-PBRSは、報酬ハッキングに苦しんだ人間設計の密な報酬ベースラインを上回りました。
• ラベル精度の感度:
  • Oracle（正解）ラベラーを用いた実験により、サンプル効率の向上はラベルの正確性と相関していることが示されました。
  • 精度がチャンスレベル（0.0）を下回る場合でも、VLM-PBRSは疎な報酬のベースラインを下回る性能劣化を起こさず、基礎となるRLの探索に依存していました。
  • VLMの精度がランダムなチャンスに近いタスク（例：引き出し開け）では、VLM-PBRSは疎な報酬に対してわずかな改善を示しましたが、人間設計の密な報酬には及びませんでした。
• アブレーション研究:
  • バッチサイズ: VLMへのクエリバッチあたり20個のラベルを使用することが、パフォーマンスと計算コストのバランスを取る上で十分であることが分かりました。
  • 損失関数: クロスエントロピーと平均絶対誤差（MAE）は同様の性能を示しました。クロスエントロピーがデフォルトとして選択されました。

意義と主張

本論文は、VLM-PBRS が、リソース制約のある環境において報酬整形を自動化するための実用的かつスケーラブルな経路を提供すると主張しています。

著者らは、彼らのアプローチが以下を強調していると述べています：

• 最適性の保持: 直接的な報酬学習とは異なり、VLMのエラーによって劣最適な方策を学習するリスクがありません。
• エンジニアリング負担の軽減: 専門的なポテンシャル関数や密な報酬項を設計する必要がなく、高レベルのテキスト記述のみを必要とします。
• 堅牢性の向上: 任意の報酬整形における一般的な失敗モードである、報酬ハッキングに対して本質的に耐性があります。

この研究は、マルチモーダル基盤モデルが向上するにつれ、VLM-PBRSの汎用性とメリットが自然に増大し、複雑なロボットタスクにおける手作業による報酬エンジニアリングの実行可能な代替手段となることを示唆しています。