技術要約：オフポリシー強化学習におけるアッパー・エクスペクタイル多段階Q学習

問題提起

オフポリシー・バリューベース強化学習（RL）は、事前の方策や人間が収集したログ経験から、改善された方策を学習することを目的としている。一方で、マルチステップ・リターン（nステップTD）は、有効なブートストラップの連鎖を短縮することで報酬の伝播を加速させるが、オフポリシー設定においては重大な課題を導入する。それは**悲観的バイアス（pessimistic bias）**である。

標準的なnステップTDでは、状態・行動ペア $(s_t, a_t)$ に対するターゲットが、ターゲット方策ではなく行動方策 $\pi_\beta$ によって生成された後続のログ行動 $a_{t+1:t+n-1}$ の報酬を含んでいる。これにより、初期の決定の評価が、その後の劣った継続（suboptimal continuations）と結合してしまう。不均質なオフラインデータにおいて、これは $n$ のホライゾンとともに増大する系統的な悲観的バイアスを誘発し、長期間のホライゾンにおける性能を低下させる可能性がある。

既存の解決策には限界がある：

• 重要度サンプリング（IS）の変種（例：Retrace, V-trace）： 行動の尤度を必要とするが、これらは表現力豊かな生成方策（拡散モデルやフロー・マッチング・モデルなど）に対しては計算が困難であったり、利用できなかったりする場合が多い。
• ロングホライゾンQ学習（LQL）： トラジェクタリ・レベルの最適性不等式を用いて価値推定を制約する。効果的ではあるが、トラジェクタリ内の複数の位置でクリティックを評価し、ペアワイズの制約を構築する必要があり、計算オーバーヘッドが増大する。

著者らは問いかける：標準的なnステップ更新で実行される2回のクリティック評価のみを用いて、オフポリシー・バイアスを低減しつつ、nステップ・バックアップの迅速な伝播を維持できるか？

手法：エクスペクタイルnステップQ学習（ENQ）

本論文では、標準的なnステップTDの対称的な二乗TD誤差を、**非対称なエクスペクタイル損失（asymmetric expectile loss）に置き換えたエクスペクタイルnステップQ学習（ENQ）**を提案する。

コアメカニズム

二乗TD残差を最小化する代わりに、ENQは行動値誤差に対する非対称なエクスペクタイル損失 $\ell_\tau$ を最小化する：
$$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$$
ここで $\tau \in (0, 1)$ はエクスペクタイル・レベルである。

• ターゲットの構築： 長さ $n$ のセグメントに対し、ターゲット $Y_{t,n}$ は部分リターン $G_{t:t+n}$ と、状態 $s_{t+n}$ におけるブートストラップ値の和として構築される：
  $$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$$
  ここで $\bar{Q}^\rho_\theta$ は、ターゲット・クリティックの保守的なアンサンブル平均である。
• 損失関数： クリティック $Q_\theta$ は、$(s_t, a_t)$ に条件付けられたこれらのnステップ・ターゲットの $\tau$-エクスペクタイルに適合するように訓練される：
  $$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$$
  ここで $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$ である。

主要な設計上の選択

1. 非対称な重み付け： $\tau > 0.5$ の場合、正の残差（過小評価）には重み $\tau$ が与えられ、負の残差（過大評価）には重み $1-\tau$ が与えられる。これにより、クリティックはログされたnステップ・ターゲット分布の上側裾（upper tail）を追跡するように強制され、劣った行動方策によって引き起こされる不適切な継続を実質的に無視しながら、マルチステップの報酬信号を保持する。
2. 最小限のオーバーヘッド： LQLとは異なり、ENQは初期のペア $(s_t, a_t)$ と最終的なブートストラップ状態 $s_{t+n}$ のみのクリティック評価を行う。中間的な評価、行動の尤度、またはトラジェクタリ・レベルのペアワイズ・ペナルティを必要としない。
3. ハイパーパラメータ： 標準的なバックアップ・ホライゾン $n$ に加え、メソッド固有のハイパーパラメータとしてエクスペクタイル・レベル $\tau$ のみが導入される。

理論的貢献

本論文は、ENQ演算子 $T^n_\tau$ に関する厳密な理論的分析を提供している：

1. 縮小写像特性（Contraction Property）： ENQ演算子が任意の $\tau \in (0, 1]$ に対して $\gamma^n$-縮小写像であることを証明しており、反復によって到達可能な一意の有界固定点 $Q^n_\tau$ の存在を保証している。
2. 決定論的ダイナミクス分析：
   • バイアス分解： 決定論的ダイナミクスの下では、標準的なnステップTD（$\tau=0.5$）の悲観性は、介在するログ行動の割引された劣最適性ギャップの総和として正確に分解される。
   • $\tau=1$ における最適性： $\tau=1$ のとき、演算子のバイアスは、カバーされているイン・サポートのペア（行動方策が最適な継続に対して正の確率を置いているペア）において消失する。固定点 $Q^n_1$ は、構成上、LQLが $n, 2n, \dots$ の間隔で使用する下限不等式を満たす。
   • 単調性： 固定点 $Q^n_\tau$ は $\tau$ に関して非減少であり、最適値関数 $Q^*$ によって上方から抑えられている。
3. 確率的ダイナミクス分析：
   • 演算子のバイアスは、ホライゾンに依存しないノイズ定数を持つ二側境界を持つ。バイアスは、行動方策のドリフト（悲観性）によって下限が抑えられ、リターンの分散とエクスペクタイル・レベル $\tau$ に依存する項によって上限が抑えられる。
   • 演算子のバイアスが確率的ダイナミクス下でも非正（悲観的）であることを保証するための「安全な」閾値 $\tau_{safe}$ が導出されている。

実験結果

著者らは、操作およびナビゲーション領域をカバーする OGBench と RoboMimic の 27個のタスクインスタンス においてENQを評価した。

設定

• ベースライン： 1ステップTD、標準的なnステップTD、およびLong-Horizon Q-learning (LQL) と比較した。
• 構成： すべてのタスクにおいて、タスク固有のチューニングなしで $\tau = 0.8$ および $n=4$ を固定で使用した。
• 方策抽出： Flow Q-Learning (FQL) およびアクション・チャンク化されたバリアントを用いて評価した。

主な知見

1. パフォーマンス： ENQは、LQLとの5つの比較のうち 4つ で、より高い集計平均成功率を達成した。特に cube-triple、humanoid-md、antmaze-giant のような複雑なドメインで顕著な利得が見られた。
2. スループット： ホライゾンとバッチサイズを一致させた制御されたプロファイリング研究において、ENQはLQLよりも 1.27倍から1.77倍高い訓練スループット を示した。これは、ENQが（トラジェクタリ内の複数の点ではなく）開始状態と終了状態のペアのみのクリティック評価を必要とすることに起因する。
3. アンサンブルのスケーリング： クリティックのアンサンブルサイズを $K=2$ から $K=10$ に増やすスケーリング実験において、ENQはLQLよりも有意に恩恵を受け、cube-triple においてLQLの59.1%に対し78.0%の成功率に達した。
4. アブレーション解析：
   • エクスペクタイル・レベル： 上側エクスペクタイル（$\tau > 0.5$）は、一般に、対称的なベースライン（$\tau=0.5$）よりも優れた性能を示した。最適な $\tau$ は、ホライゾン $n$ とともに増加する傾向があった。
   • 配置： エクスペクタイル損失を直接行動値誤差に適用する（ENQ）ことは、補助的な状態値関数を通じて非対称性をルーティングするnステップIQLスタイルのベースラインを大幅に上回った。
   • 堅牢性： 高い確率的ノイズ（$\sigma=0.25$）の下でも、ENQは（LQLの5.4%、標準的なnステップTDの48.4%に対し）優れた性能（59.0%の成功率）を維持した。

意義と主張

本論文は、ENQが既存のオフポリシー・マルチステップ手法に対するシンプルで柔軟、かつ計算効率の高い代替案であることを主張している。その意義は以下の点にある：

• 尤度を使用せずに悲観性を低減： 現代的な生成方策クラスと互換性を持たせるため、行動の尤度や重要度重みを使用することなく、劣ったログ行動によって誘発されるバイアスを軽減する。
• 計算効率： トラジェクラリ・レベルの制約や中間的なクリティック評価を回避することで、LQLのような制約ベースの手法よりも高い訓練スループットを実現する。
• 理論的根拠： エクスペクタイル・レベル $\tau$ と悲観的バイアスの低減との間の明確な理論的関連性を提供し、$\tau=1$ の固定点が、より単純な演算子を通じてLQLが課すものと同様の最適性不等式を満たすことを示している。

著者らは、ENQが対称的なnステップTDの競争力のあるドロップイン・リプレースメント（そのまま置き換え可能な手法）であり、オフポリシー強化学習における報酬伝播の速度とバイアス低減を効果的に両立させるものであると結論付けている。