技術的概要：長視野 Q ラーニング（LQL）

問題定義

オフポリシー、値ベースの強化学習（RL）、特に Q ラーニングは、古いポリシーや他のエージェントによって収集されたデータを含む、任意の経験から学習できるため、理論的に魅力的です。しかし、実際には、ブートストラッピングによる長視野学習は脆弱です。後続の状態における推定誤差は、時間的差分（TD）更新を通じて逆方向に伝播し、時間とともに累積して学習を不安定化させます。

一般的な緩和策には、マルチステップ目標（例えば、$n$ ステップリターンや$\lambda$-リターン）が含まれます。これらは、より長い視野にわたって観測された報酬を取り込むことで、単一ステップのブートストラッピングへの依存を軽減します。しかし、オフポリシー設定において、$n$ ステップ目標は新たな緊張関係をもたらします。すなわち、それらは暗黙的に、エージェントがログ記録された軌道の生成元である行動ポリシーに従い、その後の$n$ ステップを継続すると仮定しています。ログ記録された行動が最適でない場合、その結果生じるバックアップは悲観的または偏ったものとなり、学習中の改善されたポリシーの可能性を捉え損ないます。このオフポリシーバイアスは、$n$ が増加するにつれて$n$ ステップ TD のパフォーマンスを低下させる傾向があり、特にスパースな報酬と長い視野を持つタスクにおいて顕著です。

手法：長視野 Q ラーニング（LQL）

著者は、標準的な$n$ ステップ目標に内在するオフポリシーバイアスを導入することなく、累積する TD 誤差に対する原理的な「バックストップ」を提供するように設計された**長視野 Q ラーニング（LQL）**を提案します。

核心的洞察：最適性不等式

LQL は、最適価値関数の基本的な性質に基づいています。すなわち、実現された行動の任意の系列は、同じ開始状態から期待される最適ポリシーの達成可能な値の下限を提供します。具体的には、直ちに最適に行動することは、ある期間任意の観測された行動の系列にコミットし、その後最適に行動することよりも（期待リターンにおいて）悪くなるべきではありません。

著者はこれを軌道における最適性不等式として形式化します。状態$s_i$から$s_j$（ただし$j > i$）までの軌道セグメントについて：

1. 下限: $s_i$における観測された行動の値は、$i$から$j$までの観測された報酬の合計と、将来の状態$s_j$における最適行動の割引値の合計以上でなければなりません。
2. 上限: 早期の状態$s_i$における最適行動の値は、$i$から$j$までの観測された報酬の合計と、$s_j$における観測された行動の割引値の合計以上でなければなりません。

アルゴリズム的実装

LQL は、標準的な 1 ステップ TD 損失に、これらの不等式から導出された非対称ヒンジペナルティを追加します。

• 下限（LB）ペナルティ: 現在の推定値$Q_\theta(s_k, a_k)$が、軌道セグメントの実現リターン$G_{k:\ell}$と将来の状態$s_\ell$におけるブートストラップ値の合計よりも低い場合、$Q_\theta(s_k, a_k)$を上方に押し上げるためにペナルティが適用されます。
• 上限（UB）ペナルティ: 現在の推定値$Q_\theta(s_k, a_k)$に先行する報酬を組み合わせることが、より早期の状態$s_i$で最適に行動することで達成可能なリターンよりも高いリターンを意味する場合、$Q_\theta(s_k, a_k)$を下方に押し上げるためにペナルティが適用されます。

主要な効率性の特徴: 決定的なことに、LQL はこれらのペナルティを、標準的な TD 更新中に既に生成されたネットワーク出力（すなわち、$Q_\theta(s, a)$とターゲットネットワーク値$Q_{\bar{\theta}}(s, a^*)$）のみを使用して計算します。これは、標準的な Q ラーニングに対して追加のネットワークを必要とせず、追加のフォワードパスも不要です。この手法はリプレイバッファから軌道をサンプリングし、軌道全体にわたってこれらのヒンジ損失を集約します。

主要な貢献

1. 原理的なバックストップ: LQL は、時間的に遠く離れた状態間の値の不一致を検出・修正するメカニズムを導入し、オフポリシー学習における累積誤差問題に直接対処します。
2. 計算効率: 最適性不等式に依存する先行研究（Optimality Tightening など）とは異なり、LQL は既存の TD ネットワーク出力を再利用することで、追加のフォワードパスや補助ネットワークの計算オーバーヘッドを回避します。
3. 軌道長とのスケーラビリティ: この手法は軌道長をスケーリング軸として扱います。TD におけるバッチサイズのスケーリングが過学習やパフォーマンス低下をもたらす可能性があるのに対し、LQL における軌道長の増加は一貫してパフォーマンスを向上させます。
4. 互換性: LQL はポリシー抽出メカニズムに依存せず、さまざまなアクターアーキテクチャ（ガウス、フローベース、アクションチャンキング）と組み合わせることができます。

実験結果

著者は、長視野を持つロボットナビゲーションおよび操作を含むOGBench、および人間型ロボット操作を含むRoboMimicなど、一連のオンラインおよびオフラインからオンラインへのベンチマークで LQL を評価しました。

• ベースラインとのパフォーマンス比較: 4 つの異なるポリシー抽出ファミリー（Best-of-N、フロー Q ラーニング、ガウス、アクションチャンキング）全体において、LQL は 1 ステップ TD および長さ一致の$n$ ステップ TD を一貫して上回りました。
• 長視野タスクでの成功: 最も困難なタスクであるhumanoidmaze-giant（スパースな報酬、数千ステップ）において、1 ステップ TD はどのタスクも解決できませんでした（成功率 0%）。標準的な$n$ ステップ TD は部分的な改善を示しましたが、$n$ が 4 を超えると著しく低下しました。これに対し、軌道長$L=64$の LQL は**75.7%**の平均成功率を達成し、2 つのタスクでほぼ完璧な成功率（>97%）を記録しました。
• 安定性: LQL は値推定において優れた安定性を示しました。1 ステップ TD はしばしば「暴走」する過大評価（Q 値が極端な大きさまで発散する）に苦しむのに対し、LQL は Q 値を解析的に有効な範囲内に保ち、発散を防ぎました。
• 頑健性: LQL は、期待値における不等式からの理論的バイアスが問題を引き起こす可能性が予想される確率的環境においても、パフォーマンスを維持しました。
• オーバーヘッド: この手法は、標準的な TD と比較して、実行時間のコストを無視できるほど僅かに増加させました（更新あたりの平均 4.7% の遅延）。

意義と主張

本論文は、LQL が、オフポリシー学習、ブートストラッピング、関数近似という「致命的な三つ組」に対する実用的な解決策を提供すると主張しています。具体的には、マルチステップ目標が有するオフポリシーバイアスを継承することなく、長視野の整合性チェックを提供します。

著者は、2 つのより広範な含意を強調しています。

1. 情報吸収: LQL は、$n$ ステップ目標を制限するオフポリシーバイアスなしに、非常に長い軌道からの情報を吸収する道筋を提供します。
2. スケーリング軸: 軌道長は、標準的な TD 学習におけるバッチサイズのスケーリング時に観察される病理的な劣化を回避する、深層値ベース RL にとって viable なスケーリング軸として浮上します。

この研究は理論的限界について控えめであり、最適性不等式は期待値におけるステートメントであるため、単一サンプルを通じて近似された場合、確率的環境において理論的バイアスを導入することを認めています。しかし、実験結果と理論的境界は、このバイアスが有界であり、実際のパフォーマンスに実質的な害を与えないことを示唆しています。