技術概要：割引存続性定式化による操作ポリシーのオフライン方策評価

問題定義

本論文は、ロボットの操作ポリシーに対する**オフライン方策評価（OPE）**の課題に取り組む。方策評価はロボットシステムの開発と展開に不可欠であるが、標準的な強化学習（RL）手法は、実世界の操作シナリオにおいて以下の 3 つの特性により重大な障壁に直面する：

1. スパースな報酬： 報酬は通常、タスク完了対失敗という二値であり、密ではないため、中間的な進捗を学習することが困難である。
2. 有限時間範囲による打ち切り： 評価ロールアウトは、しばしば手動によるタイムアウトによって終了される。オフラインデータでは、真に失敗した方策と、単に時間が切れただけでより長い時間を与えられれば成功できたかもしれない方策を区別することが不可能である。これにより打ち切りバイアスが生じ、TD(0) やモンテカルロ法などの標準的手法が方策のパフォーマンスを体系的に過小評価する原因となる。
3. 非単調な進行： 操作ポリシーはしばしば回復行動（例：物体を落として再度掴み直すなど）を示す。これによりタスクの進行が非単調となり、目標への安定した接近を想定する累積報酬の定式化が前提とする仮定に反する。

手法

著者らは、オフライン方策評価を割引存続性問題として再定式化するフレームワークを提案する。期待累積リターンを推定する代わりに、この手法はタスク完了までの「意味的距離」を表す価値関数を学習する。

1. 割引存続性定式化

著者らは、標準的なマルコフ決定過程（MDP）を修正し、報酬関数 $R$ を目標集合 $L$（目標状態）までの距離を符号化する目標関数 $l(s)$ に置き換える。

• 目標関数： $s$ が目標状態であれば $l(s) = -1$、そうでなければ $l(s) = 1$ となる。
• 価値の定義： 状態 $s$ の価値は、すべての可能な将来の軌道にわたって達成される最小の目標値の期待値として定義される：
  $$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$$
• 保守的推定： 楽観的すぎる推定を避けるため、著者らは**保守的（悲観的）**な固定点ベルマン作用素を導出する。収縮写像を誘起するために割引因子 $\gamma$ を導入し、以下の更新則を得る：
  $$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$$
  この定式化により、軌道が失敗（値 1）に遭遇した場合、その値は後方へ伝播するが、目標（値 -1）に遭遇した場合は、その目標までのステップ数を反映する値となる。

2. 2 段階ブートストラップフレームワーク

密な報酬の欠如と打ち切りバイアスの問題に対処するため、著者らは 2 段階アルゴリズムを導入する：

• 段階 1（アンカー計算）： アルゴリズムは「明確な」状態、具体的には目標に到達したエピソード内のすべての状態を特定する。これらの状態とその子孫に対してベルマン作用素を用いて価値推定値を計算する。これらの値は、観測された成功に基づいた「アンカー」として機能する。
• 段階 2（ブートストラップ）： 段階 1 で得られた価値関数 $V_\pi$ を用いて目標関数 $l(s)$ を精緻化する。タイムアウト（失敗）エピソード内の状態について、その状態（または潜在空間内の類似状態）が成功エピソードの状態と重なる場合、その目標値はデフォルトの悲観的値（1）から、成功軌道から導出された楽観的値に更新される。
  • 更新則は以下のようになる：$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$。
  • このメカニズムは、成功シグナルを打ち切りエピソードを通じて後方へ伝播させ、タイムアウトが必然的な失敗を意味するという仮定を上書きする。

主要な貢献

1. 存続性に基づく定式化： 価値を累積リターンではなくタスク進行（存続性）の尺度として解釈する、スパース報酬の操作タスクに対する OPE の新たな再定式化。
2. 打ち切りバイアスの軽減： 観測された成功を活用して、有限時間範囲のオフラインデータに内在する悲観的バイアスを修正する、2 段階のブートストラップ評価アルゴリズム。
3. 理論的保証： 提案された割引ベルマン作用素が収縮写像を誘起し、一意の固定点価値関数の存在を保証する証明。

実験結果

この手法は、ビジョン・言語・アクション（VLA）モデル、拡散ポリシー、人間のデモンストレーションによって生成されたデータセットを用いた 3 つのケーススタディで評価された：

1. LIBERO-Spatial（把持と配置）： VLA ポリシーを用いたシミュレーションタスク。
2. 四角いピンの挿入： 拡散ポリシーを用いたシミュレーションタスク。
3. 布の折りたたみ： 人間の遠隔操作データを用いた Franka Panda アーム上のハードウェアタスク。

ベースライン： この手法は、TD(0)、モンテカルロ法（MC）、分布型モンテカルロ法（MC-D）、およびブートストラップなしの自らの手法のアブレーション（Ours-NB）と比較された。

指標：

• 成功指標： 成功エピソード内のフレームのうち、推定された目標までのステップ数が実際のエピソード長さよりも少ないものの割合。
• 失敗指標： 失敗エピソード内のフレームのうち、推定された目標までのステップ数が標準的なタスク時間範囲を超えるものの割合。
• 複合指標： 上記の算術平均。

知見：

• パフォーマンス： 提案手法は、3 つのタスクすべてにおいて成功指標と複合指標で最良のパフォーマンスを達成し、古典的なベースラインを大幅に上回った。
• 打ち切りバイアス： この手法は打ち切りバイアスを大幅に軽減し、タイムアウトエピソード内の多くの状態が実際には失敗ではなく、回復可能な成功に近い状態であったことを正しく識別した。
• 失敗指標のトレードオフ： この手法は、いくつかのベースラインと比較して失敗指標においてわずかに劣った。著者らは、成功状態と視覚的に類似したタイムアウトエピソード内の状態に対してブートストラップメカニズムが「楽観的」になることが原因であると指摘しており、これは一部の真の失敗を回復可能と誤分類する可能性がある。
• ロバスト性： この手法は、データセットサイズが小さくても（50 エピソードまで）有効であり、画像エンコーダ（SigLIP2、CLIP、DINOv2）の選択に対してほとんど影響を受けなかった。

意義と主張

本論文は、方策評価を存続性問題として再定義し、ブートストラップメカニズムを活用することで、操作タスクにおける非単調なタスク進行を正確に反映する価値関数を学習することが可能であると主張する。主な意義は、実世界のロボットにおいてタイムアウトが一般的である信頼性の高いオフライン評価において不可欠な能力である、方策の失敗とエピソードの打ち切りを区別できる点にある。

著者らは、このアプローチが回復行動を示すポリシーに対して特に効果的であると指摘する。しかし、以下の限界も認めている：

• 成功エピソードと失敗エピソード間の状態の重なりが誤って学習された場合（例：Square タスクのような視覚的手がかりが乏しいタスクなど）、ブートストラップメカニズムは過度の楽観主義につながる可能性がある。
• この手法はデータセットの分布に強く依存しており、その分布外では汎化性能が低下する可能性がある。
• 回復行動を示さないポリシーの場合、ブートストラップメカニズムが伝播させるための「アンカー」が少なくなるため、パフォーマンスが低下する。

本研究は、失敗検出精度においてわずかなトレードオフが生じるものの、成功したタスク進行を捉える能力の大幅な向上により、スパース報酬と有限時間範囲における操作ポリシーの評価にとって優れたツールとなることを結論付けている。