テクニカルサマリー：Dual Advantage Fields (DAF)

問題提起

オフライン目標条件付き強化学習（GCRL）は、根本的な二重の課題に直面している。すなわち、エージェントはグローバルに長期的到達可能性を推論すること（固定されたデータセットから振る舞いを繋ぎ合わせるために、時間が経過するにつれて状態がどのように接続されるかを推論すること）と、ローカルに作用すること（現在の状態において、どの具体的な行動が目標に対して最も進展をもたらすかを決定すること）を同時に行わなければならない。

近年のデュアル目標表現（値を双線形相互作用 $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$ としてパラメータ化するもの）は、到達可能性に関する強力なグローバルマップを提供するが、直接的な行動の好みを指定するには至っていない。値の曲面（Value Surface）は、ある状態が特定の目標に対してどれほど良好であるかを示すが、複数の行動が同一の価値推定値を持つ同一の状態から派生する場合があるため、本質的に利用可能な行動をランク付けするものではない。既存の手法は、このグローバルな場（Field）からローカルな行動比較信号を抽出することに苦慮することが多く、その結果、局所的に正しい行動（例：把持前の動作）が最終目標への直接的な移動とは異なるようなタスクにおいて、サブオプティマルな性能を示す。

手法：Dual Advantage Fields (DAF)

著者らは、別途目標条件付き行動価値関数（$Q$関数）を学習することなく、双線形デュアル表現の幾何学的特性を利用してローカルなアドバンテージ信号を生成する方策抽出手法として、Dual Advantage Fields (DAF) を提案する。

コア・インサイト

双線形パラメータ化 $V_\theta(s, g) = \psi_\theta(s)^\top \phi_\theta(g)$ の下では、目標埋め込み $\phi_\theta(g)$ は、状態埋め込みに対する値の場の勾配と数学的に等価である：
$$\nabla_\psi V_\theta(s, g) = \phi_\theta(g)$$
これは、目標埋め込みが、目標条件付きの価値が増加する状態表現空間における方向を定義していることを意味する。

メカニズム

DAFは、以下のステップを通じてこのインサイトを運用する：

1. 行動効果モデリング（Action-Effect Modeling）： 行動によって誘発される割引ディスプレイスメント（変位）の特長量変化を予測する行動効果モデル $u_\xi(s, a)$ を学習する：
   $$u_\xi(s, a) \approx \mathbb{E}_{s' \sim P(\cdot|s,a)} [\gamma \psi_\theta(s') - \psi_\theta(s)]$$
2. デュアル・アドバンテージ・スコアリング（Dual Advantage Scoring）： 行動は、予測された特長量ディスプレイスメントと目標埋め込み（価値勾配の方向）の内積によってスコア付けされる：
   $$z_\theta(s, a, g) = u_\xi(s, a)^\top \phi_\theta(g)$$
   このスコアは、その行動が、目標条件付きのポテンシャルを増加させる方向に状態表現を移動させるかどうかを測定する。
3. 方策抽出（Policy Extraction）： DAFスコアの指数によって重み付けされたログ確率を最大化するように、アドバンテージ重み付き回帰（AWR）を用いて方策 $\pi_\omega$ を抽出する：
   $$J(\pi_\omega) = \mathbb{E}_{(s,a,g) \sim D} \left[ \exp(\alpha \cdot z_\theta(s, a, g)) \log \pi_\omega(a|s, g) \right]$$
   実現可能なケースにおいて、このスコアは目標条件付きベルマン・アドバンテージと一致し、標準的なローカル方策改善の保証を提供する。

学習アーキテクチャ

学習ループには以下が含まれる：

• オフラインデータを用いた期待値回帰（Expectile Regression）を用い、悲観的な$Q$推定値と結びついた状態および目標の埋め込み（$\psi_\theta, \phi_\theta$）を学習する。
• 補助的な損失関数を通じて、1ステップの特長量ダイナミクスを追跡するようにディスプレイスメントマップ $u_\xi$ を学習する。
• 連続制御における安定性を確保するため、価値の場とスカラーのデュアルスコアとの間の「アクターフリー（Actor-free）」な結合を用い、脆いmax-$Q$演算子を回避する。

主な貢献

1. 幾何学的解釈： 本論文は、標準的なデュアル目標表現のパラメータ化の下で、目標埋め込みが学習された状態表現に対する目標条件付き値の勾配方向として機能することを実証している。
2. DAFアルゴリズム： 行動効果ベクトルを学習し、目標方向との整合性に基づいて行動をスコアリングする、方策抽出のための新しい手法を導入する。
3. アクターフリーな抽出： 別途目標条件付き$Q$関数を学習することなく、デュアルクリティックの幾何学を利用してオフラインデータから方策を抽出するメカニズム。

実験結果

著者らは、移動、操作、パズルタスクをカバーするOGBenchベンチマークでDAFを評価した。

• 迷路移動（長期的ホライゾン）： humanoidmaze および antmaze (Navigate および Stitch データセット) において、DAFはホライゾン削減ベースライン（例：HIQL, OTA）と比較して競争力のある、あるいは優れた結果を達成した。特に、短い軌道の断片を長いホライゾンの解へと構成する必要がある「Stitch」タスクにおいて、DAFは顕著な成果を示し、ローカルなアドバンテージ抽出が長期的ホライゾンの構造を保持できることを証明した。
• 物体操作（ローカル制御）： cube および scene タスクにおいて、DAFはベースラインを大幅に上回った。cube タスクにおいて、DAFは（最終的な配置目標へ直接移動するのではなく）物体に向かって移動するという「把持前（pre-grasp）」の振る舞いを正しく特定することに成功した。これは、グローバルなサブゴールのみに依存する手法における一般的な失敗モードである。
• パズル再配置： 組合せ的な puzzle タスクにおいて、DAFは強力な性能を示し、目標構成に対するダウンストリームの影響に基づく行動の比較を効果的に処理した。
• 集計指標： RLiable メトリクス（中央値、IQM、平均、最適性ギャップ）を用いて、DAFはあらゆるドメインで集計パフォーマンスを向上させた。これは、制御構造やデータレジーム（ノイズの多いエキスパート vs サブオプティマルなデータ）に関わらず、堅牢であることを示している。

意義と主張

本論文は、Dual Advantage Fields がオフラインGCRLに対する統一的な原理を提供すると主張している。すなわち、グローバルな価値の場は、ローカルなアドバンテージの場とペアになるべきである。目標埋め込みを勾配として解釈することで、DAFはデュアル表現を単なるグローバルな到達可能性マップから、行動選択のためのローカルなコンパスへと変貌させる。

著者らは、このアプローチが、局所的に正しい行動が最終目標への直接的な移動とは異なる場合（例：把持前動作）において特に重要であると強調している。結果は、デュアル表現が単なるグローバルな到達可能性マップとしてだけでなく、方策改善のためのローカルなアドバンテージ信号を抽出するために明示的に利用されるべきであることを示唆しており、従来の階層的または準距離（quasimetric）的なアプローチよりも、多様なオフラインGCRLベンチマークにおいて一貫した高いパフォーマンスを提供している。

また、データセットのカバー範囲に関する限界についても認めている。他のオフラインRL手法と同様に、DAFはデータセットが必要な行動をカバーしていることに依存しており、その性能は、学習されたデュアル表現および行動効果モデルの精度に依存する。