Goal Sets, Not Goal States: Queryable Robot Goals through Goal-Set Hindsight Relabeling

技術要約：ゴール・ステートではなく、ゴール・セットを：事後的なゴール・セット・リラベルリングによる、クエリ可能なロボットのゴール

問題提起
オフライン目標条件付き強化学習（Offline Goal-Conditioned Reinforcement Learning: GCRL）は、コストのかかるオンラインの試行錯誤なしに、収集済みの報酬フリーのデータセット（デモンストレーションやテレオペレーションのログなど）から制御ポリシーを導出することを目指している。この領域における中心的なメカニズムの一つが、Hindsight Experience Replay (HER) である。これは、達成された将来の状態を、軌跡内のより早い段階の遷移に対するゴールとして再ラベル付けするものである。

OGBenchのような標準的なオフラインGCRLベンチマークでは、通常、HERを全状態空間をゴール空間としてインスタンス化する。このアプローチは、成功には将来の全状態ベクトルを再現する必要があるという仮定に基づいている。しかし、多くのロボット操作タスクにおいて、成功は特定の状態変数のサブセット（例：物体の位置）のみに依存しており、他の変数（例：ロボットの関節構成、グリッパーの状態、速度）は「ノイズ（nuisance）」次元である。全状態の一致を強制することで、標準的なHERは人工的な制約を導入し、タスクの成功基準が全状態の射影である場合に、学習目的を過剰に制約してしまう。

手法：ゴール・セット・ハインドサイト・リラベルリング (GS-HER)
著者らは、述語レベルでの一般化であるGoal-Set Hindsight Relabeling (GS-HER) を提案する。達成された状態 $s_{t+k}$ を単一のゴール $g = s_{t+k}$ として扱うのではなく、GS-HERは、クエリによって定義されるゴール・セットの証明書として扱う。

1. クエリによって定義される同値類:
   バイナリのクエリベクトル $q \in \{0, 1\}^D$ は、特定のタスクにおいてどの状態変数が成功を定義するかを指定する。

   • $q_i = 1$: $i$ 番目の座標はアクティブであり、ゴールを定義する。
   • $q_i = 0$: $i$ 番目の座標は、そのクエリにおけるノイズ変数である。

   参照状態 $g$ とクエリ $q$ が与えられたとき、ゴール・セットは同値類 $G(g, q) = \{s' \in \mathcal{S} : q \odot s' = q \odot g\}$ として定義される。成功は、アクティブな座標のみを一致させることで判定され、通常は許容誤差 $\epsilon$ を伴う正規化された二乗距離によって測定される。

2. クエリ条件付きインターフェース:
   GS-HERは、基礎となるオフラインGCRLアルゴリズムの核となる学習目的（例：ベルマン更新、コントラスト損失、または行動クローニング）を変更することなく、条件付き入力の構成を変更する。条件付き入力 $\psi_{GS}$ は次のように構成される：
   $$\psi_{GS}(s, g, q) = [\bar{s}_q, \bar{g}_q, q]$$
   ここで、$\bar{s}_q = q \odot s + (1-q) \odot e_s$ および $\bar{g}_q = q \odot g + (1-q) \odot e_g$ である。$e_s$ と $e_g$ は、無関係な変数をマスクするためのノイズ座標の埋め込み（学習済みまたは固定）である。クエリ $q$ はネットワークに明示的に提供され、これによりモデルは、クエリに基づいて「成功」の概念を適応させる統一されたポリシーを学習できる。

3. リラベルリング・ラッパー:
   GS-HERは、既存のオフラインGCRLアルゴリズムのラッパーとして機能する。訓練中、各遷移に対して参照状態 $g$ がサンプリングされ（基本アルゴリズムに従う）、クエリ $q$ が分布 $p_Q$ からサンプリングされる。その後、遷移はクエリ条件付きのゴール・セットと対応する成功述語を用いてリラベルされる。これにより、単一のモデルが、混合されたゴール意味論（例：全状態、物体位置、エンドエフェクタ・ポーズ）から同時に学習することが可能になる。

主な貢献

1. 目的のミスマッチの特定: 本論文は、ロボットタスクにおいて、全状態のハインドサイト・リラベルリングが、タスクに関連する射影ではなく全状態の一致を求めることで、目的のミスマッチを引き起こすことを特定した。
2. GS-HERの定式化: 著者らは、達成された状態が単一の状態ではなく、ゴール・セット（同値類）への到達可能性を証明するという、述語レベルの一般化としてのGS-HERを定式化した。
3. 実装に依存しないラッパー: GS-HERは、ベクトル状態環境のためのクエリ条件付きリラベルリング・ラッパーとして実装されている。これにより、既存のオフラインGCRLアルゴリズム（行動クローニング、コントラストRL、およびImplicit Q-Learningを含む）が、その基礎となる最適化目的を変更することなく、クエリ可能なゴール意味論を学習することを可能にする。
4. 再利用可能なゴール・インターフェース: 本手法は、ハインドサイト・リラベルリングを再利用可能なインターフェースへと変貌させ、単一の訓練済みチェックポイントが、推論時に複数のゴール述語に応答することを可能にする。

実験結果
著者らは、OGBenchスイート（操作タスク（例：キューブの配置）およびナビゲーションタスク（例：PointMaze, AntMaze）をカバー）において、5つの異なるオフラインGCRLバックボーン（GCBC, CRL, GCIVL, GCIQL, GCDL）を用いてGS-HERを評価した。

• 性能向上: GS-HER（特にランダムな座標ブロックを使用する「Blockwise」バリアント）は、操作タスクにおいて、標準的な全状態HER（HER-Full）を一貫して上回った。例えば、操作タスクの平均において、GS-HERは公式の成功率を24.5%（HER-Full）から55.0%へと向上させ、オラクルである「Task-Focused」ベースライン（HER-Task、固定された事前定義済みの射影を使用）の性能に迫った。
• ノイズ次元のボトルネック: 性能の向上は、全状態HERがノイズ次元によってどの程度ボトルネックを受けているかと強く相関していた。ノイズの少ない環境（PointMazeなど）では、GS-HERはHER-Fullと同等の性能を示し、本手法が過剰制約の問題を特に対処していることを裏付けた。
• 一つのモデル、多くの述語: 「一つのモデル、多くのゴール」の実験において、単一のGS-HERチェックポイントに対し、推論時に様々な述語（例：キューブの位置、キューブのヨー、エンドエフェクタのポーズ、空中にある物体の位置）でクエリを行った。モデルは、再学習なしにこれらの異なる成功基準に適応することに成功した。対照的に、HER-Taskは各述語ごとに再学習を必要とし、HER-Fullは特定の状態変数を無視する述語への汎化に失敗した。

意義と主張
本論文は、GS-HERがオフラインGCRLのリラベルリングの意味論を分離することを主張している。成功の定義（クエリ）を学習アルゴリズムから切り離すことにより、GS-HERは、オフラインのデータセットが柔軟でクエリ可能なゴール仕様をサポートすることを可能にするプリミティブを提供する。

著者らは、本研究は言語や視覚によるオープンエンドなゴール指定を解決するものではないが、ゴール述語を推論時の入力にすることが、オフラインのロボット学習において有用かつ必要なステップであることを示している。これにより、単一のモデルが複数のタスク定義に適合できるようになり、異なるタスク射影のために個別の訓練を実行する必要性を軽減し、ロボット操作においてしばしば意味的に不適切な「正確な状態の一致」への依存を減らすことができる。本手法は、既存のアルゴリズムの核となる数学的目的を変更することなく、その柔軟性を高める補完的なレイヤーとして提示されている。