技術要約：ゼロショット・オフポリシー学習 (Zero-Shot Off-Policy Learning: ZOL)

1. 問題設定

本論文は、行動基盤モデル（Behavioral Foundation Models: BFM）のパラダイムにおけるゼロショット・オフポリシー学習の課題に取り組んでいる。BFMとは、ラベルのない報酬フリーの巨大なデータセット上で事前学習されたエージェントであり、テスト時に新たなタスクへ（テキストプロンプト、ゴール、あるいはモーションキャプチャなどを通じて）追加学習なしで適応できる再利用可能な行動バイアスを学習するものである。

しかし、この推論ベースの適応は、オフポリシーおよびオフライン強化学習（RL）に共通する決定的な失敗モードである**分布シフト（distributional shift）**を継承してしまう。

• 不一致（The Mismatch）: 新しいタスク仕様によって誘導された方策は、事前学習データセットにおいて表現が乏しい、あるいは完全に欠落している状態・行動領域（分布外：Out-of-Distribution, OOD）をクエリすることが多い。
• 結果（The Consequence）: 標準的なゼロショット推論（例：報酬投影に基づく潜在ベクトル $z$ の選択）は、価値推定および価値関数の過大評価における系統的な誤差を引き起こす。エージェントは、外挿された価値の下では最適に見えるものの、データによって支持されていない訪問分布を誘発する潜在変数を選択してしまい、その結果、劣悪または安全でない挙動をもたらす可能性がある。
• ギャップ（The Gap）: DICE（DualDICE, OptiDICE）のような既存の解決策はタスク固有の最適化を必要とするが、これは「ゼロショット」という要件に矛盾する。また、ReLAやLoLAのような高速適応手法は、オンライン環境との相互作用やオンポリシーのロールアウトに依存しており、BFMの設定が持つ完全なオフライン性を損なう。

提示されている核心的な問いは、「全種類のBFM誘導型方策に対して、タスクごとのオンライン最適化を行うことなく、最適な定常占有比率を推定できるか？ これにより、オフポリシーの病理を回避しながら高速なテスト時適応を可能にできるか？」 という点である。

2. 手法：ゼロショット・オフポリシー学習 (ZOL)

著者らは、後続測度（Successor Measures: SM）と定常密度比（Stationary Density Ratios）の間の溝を埋める、学習不要なテスト時プロシージャであるZOLを提案している。

理論的洞察

本手法は、後続測度の推定に使用される**前方・後方（Forward-Backward: FB）**フレームワーク（Touati & Ollivier, 2021）から導出された理論的結合に基づいている。

1. 後続測度 (SM): SMである $M^\pi$ は、方策 $\pi$ による割引将来訪問を特徴付ける。FBフレームワークにおいて、後続密度 $m_\pi$ は低ランク分解 $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ を通じて近似される。ここで、$F$ は前方埋め込み、$B$ は後方埋め込みである。
2. 密度比の恒等式: 著者らは、定常密度比 $w_{\pi/\beta} = d_\pi / d_\beta$（方策の訪問分布をデータセットに適合させるために必要な補正係数）が、初期分布 $\rho_0$ の下での期待後続密度に比例することを示す厳密な恒等式（式9）を導出した：
   $$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$$
3. 低ランク推定器: FB近似を恒等式に代入することで、密度比は後方埋め込みの単純な線形関数となる：
   $$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$$
   ここで、$W_{\pi_z}$ は初期分布における期待前方埋め込みである。極めて重要な点は、この推定器がデータのみに基づいていることである。すなわち、データセット $D$ に存在するサンプル $(s, a)$ のみで評価されるため、方策がサポートされていない領域に確率を割り当てることを防ぐ。

アルゴリズム

ZOLは、BFMの事前学習を変更することなく、以下の3ステップで動作する。

1. 事前学習: オフラインデータセット上で標準的なTD誤差目的関数を用いて、FB埋め込み（$F$ および $B$）を学習する。
2. 潜在変数の初期化: 報酬 $r_T$ を持つ新しいタスクに対し、報酬を後方特徴量に投影することで、初期タスク埋め込み $c_T$ を推論する：$c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$。
3. 潜在変数最適化: 正則化された重み付きリターンを最大化するように潜在ベクトル $z$ を最適化する：
   $$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$$
   • 再重み付け (Reweating): 項 $w_{\pi_z/\beta}$ は、監督信号をデータセットがサポートする領域へと再重み付けし、分布シフトを補正する。
   • 正則化:
     • $\chi^2$ ペナルティ：重要度重みの極端な分散を防ぐ。
     • トラストリージョン ($L_{trust}$): 最適化された潜在変数が初期タスク埋め込みから離れすぎないようにし、破滅的なドリフトを防ぐ。
     • 報酬センタリング：定数的な報酬オフセットによって生じる自明な解（例：「何もしない」方策）を防ぐ。

最適化は、初期状態のモンテカルロサンプリングを用いて $W_{\pi_z}$ を推定しながら、$z$ に対して勾配上昇法（Adam）を用いて行われる。これには、初期状態のサンプリング以外の環境相互作用は不要である。

3. 主な貢献

1. 理論的架け橋: 本論文は、前方・後方（FB）後続表現が、オフポリシー補正に必要な定常密度比を暗黙的に含んでいることを示す、新しい理論的結合を確立した。これにより、事前学習されたコンポーネントから直接、最適な補正重みを計算することが可能になる。
2. ZOLアルゴリズム: 密度比による再重み付けを通じてサポート制約を明示的に強制することで、オフポリシーの過大評価と外挿誤差を軽減する、シンプルで学習不要かつ相互作用不要なテスト時適応手法を提案した。
3. 実証的検証: ZOLは多様なベンチマーク（ExORL, OGBench, SMPL Humanoid）で評価されており、長期間のタスクや高次元のタスクにおいて、特に堅牢性とリターンにおいて、最先端のゼロショット・ベースライン（FB, HILP, TD-JEPA）やオンライン適応手法（LoLA, ReLA）を一貫して上回る性能を示した。
4. アブレーションと分析: 最小限の2D玩具例を提供し、標準的なゼロショット推論がサポートバイアスによって失敗する一方で、ZOLが占有率を整合させることでタスク構造を正常に回復できることを示した。

4. 実験結果

著者らは3つのベンチマークでZOLを評価した：

• ExORL (Deep-Mind Control Suite): ZOLは、Walker, Cheetah, Quadruped, PointMassの各ドメインにおいて、ベースラインに対して一貫した向上を示した。特に、長期間のタスクや高次元ドメイン（例：Quadruped）において顕著な改善を示し、環境のロールアウトを必要とせずにLoLAやReLAといったオンライン手法を上回った。
• OGBench (長期間ゴール条件付きRL): 時間的なスティッチング（例：AntMaze, Cube manipulation）を必要とするタスクにおいて、ZOLはFBや他のベースラインと比較して優れた成功率を達成した。完全にオフラインで動作しながら、オンライン手法（LoLA/ReLA）と同等またはそれ以上の性能を発揮した。
• SMPL Humanoid (モーション・トラッキング): 事前学習されたFB-CPRモデルを用い、ZOLはAMASSデータセットにおけるモーション・トラッキングの性能を向上させ、ベースラインのFB-CPR推論よりも大幅に優れた方策を見出した。

すべてのベンチマークにおいて、ZOLはハイパーパラメータの選択に対して堅牢であり、最小限のチューニングで動作することが示された。

5. 重要性と主張

本論文は、オフポリシー学習とゼロショット適応の分野を橋渡しすることを主張している。その主要な意義は、堅牢なゼロショット適応には、必ずしも高価なオンライン相互作用やタスクごとの最適化を必要としないことを示した点にある。

• 推論ギャップの軽減: 著者らは、BFMにおける性能の差は、モデルの表現能力の問題ではなく、推論プロセスの劣悪さに起因すると主張している。ZOLは、適応プロセスを事前学習の分布内に留めることで、この問題に対処する。
• 学習不要の適応: ファインチューニングやオンライン・ロールアウトを必要とする手法とは異なり、ZOLは既存のFB構造を活用して、テスト時に分布シフトを補正する「プラグアンドプレイ」のソリューションを提供する。
• 理論的正当性: 本研究は、FB表現がなぜオフポリシー補正に適しているのかについて、ヘリスティックな適応を超えた、原理的な正当性を与えている。

限界事項: 著者らは、ZOLが学習されたFB分解の表現バイアスを継承することを認めている。もし密度比の推定が不正確であったり、あるいはダウンストリームのタスクが厳密にサポート外の挙動を必要としたりする場合、本手法の保守的な性質（サポート制約の強制）が性能とのトレードオフになる可能性がある。今後の方向性としては、不確実性を考慮した補正や、部分観測ドメインへの拡張が挙げられる。