技術要約：Endpoint Replay: 深層強化学習における最新性バッファの圧縮

問題提起

深層強化学習（DRL）アルゴリズム、特にDQN、SAC、DreamerV3のようなオフポリシー手法は、サンプルの相関を排除し、困難な探索のためのデータを保持し、希薄な報酬を伝播させるために、大規模な経験リプレイバッファ（通常100万遷移）に大きく依存している。これらは効果的である一方、膨大なストレージコストと計算オーバーヘッドを引き起こす。

バッファサイズを削減しようとする従来の試みは、以下の点に焦点を当ててきた：

1. 継続的RL（Continual RL）： 非定常なタスクを追跡するためにバッファを圧縮するが、長期的な保持を犠牲にすることが多い。
2. ストリーミング/生成的手法： バッファを完全に排除するか、生成モデルを使用するが、これらはシミュレーションバイアスや不安定性を導入する可能性がある。
3. コアセット構築： 代表的な遷移を選択する（例：リザーバーサンプリング）。これによりデータを要約する。

本論文が取り組む中心的な問題は、元の大規模なバッファの性能上の利点を維持しながら、コアセットを1桁から2桁（10倍から50倍）圧縮できるかどうかである。著者らは、既存のコアセット手法における、これまで認識されていなかった重要な失敗モードを特定している：**アンカーされていないブートストラップ・ターゲット（unanchored bootstrap targets）**である。コアセットが孤立した非連続な遷移で構成されている場合、ブートストラップ・ターゲット（次の状態と行動のペア）がコアセット内に存在しないことが多い。その結果、これらのターゲットに対する価値推定はバッファ内の遷移によって決して更新されず、不正確でアンカーされていないターゲットが価値関数を破壊してしまう。

手法：Endpoint Replay

著者らは、小さな最新性バッファと、「連鎖された（chained）」$n$ステップ遷移によって構築された大きなコアセットバッファを維持することで、経験を圧縮する手法であるEndpoint Replayを提案している。

1. 連鎖された$n$ステップ遷移（アンカリング）

孤立した遷移 $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$ を保存する代わりに、Endpoint Replayは「ジャンプする」遷移からなるコアセットを構築する。データが小さな最新性バッファ（$D_r$）から押し出される際、$n$ステップのシーケンスへと集約される。

• メカニズム： 「ラグバッファ（lag buffer）」が最新性バッファから$n$個の遷移を蓄積する。バッファが満杯になるか、あるいは終了時に、単一の遷移として $n$ ステップの収益 $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ と $\gamma^n$ を計算し、$(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$ を保存する。
• アンカリング： 極めて重要な点として、ある遷移の終点 $(s_{t+n}, a_{t+n})$ が、次の遷移の開始点として機能する。これにより、すべてのブートストラップ・ターゲットが「アンカー（固定）」される。つまり、ターゲットはコアセット内の別の遷移における開始状態として存在するため、学習中に必ず更新される。これにより、単純なコアセットサンプリングで見られるアンカーされていないターゲットの問題が解消される。

2. Expectile Sarsa 更新

$n$ステップのターゲットを使用することは、新たな課題である**悲観的バイアス（pessimistic bias）**をもたらす。オフポリシー設定では、$n$ステップの収益は、古い（潜在的に最適ではない）方策によって生成された軌跡から計算される。最大アクション値（$\max_a Q$）を用いた標準的な$n$ステップ更新は過度に楽観的またはバイアスがかかる可能性があり、一方で標準的なSarsa更新（実際に取られた行動 $a_{t+n}$ を使用）は、古い方策が最適でない場合に悲観的になる可能性がある。

これを軽減するために、著者らは$n$ステップ Expectile Sarsaを導入している：

• 損失関数： 標準的な二乗誤差損失を、パラメータ $\tau \in (0, 1)$ を持つ**エキスタイル損失（expectile loss）**に置き換える。
• メカニズム： エキスタイル損失 $u$ は、下方への偏差（$1-\tau$ で重み付け）と上方への偏差（$\tau$ で重み付け）のバランスを取る。$\tau > 0.5$（例：$\tau=0.7$）に設定することで、更新は高い収益に焦点を当て、分布外のアクションをクエリすることなく、データセット内のアクションシーケンスに対して最大化を行う。
• Q学習 vs Sarsa： 更新には、$\max_a Q(s_{t+n}, a)$ ではなく、実際に取られたエンドポイントのアクション ($a_{t+n}$) を使用する。これにより、アクションもデータセットの分布内に「アンカー」されることが保証される。

3. アルゴリズム構成

システムは2つのバッファ構成を利用する：

• 最新性バッファ ($D_r$)： 直近の $j$ 個の遷移（例：10k）を保存する。標準的なDouble DQN (DDQN) 更新を用いて更新される。
• コアセットバッファ ($D_c$)： 圧縮された$n$ステップ遷移（例：90k）を保存する。$n$ステップ Expectile Sarsa 損失を用いて更新される。
• サンプリング： 新鮮なデータからの学習を優先するため、最新性バッファから高い割合（例：$D_r$ と $D_c$ の比率 7:1）でミニバッチをサンプリングする。

主な貢献

1. Endpoint Replay アルゴリズム： 小さな最新性バッファと、Expectile Sarsa で更新される連鎖された $n$ ステップ遷移のコアセットを組み合わせた、バッファ圧縮手法。これは、10倍から50倍少ないストレージで、大規模なバッファと同等の性能を実現する。
2. アンカーされていないターゲットの特定： 孤立したコアセットの遷移が、アンカーされていないブートストラップ・ターゲットを招き、価値関数の崩壊を引き起こすことを形式的に特定し、実証した。また、$n$ステップの連鎖がすべてのブートストラップ状態を更新することを保証することで、この問題を解決することを証明した。
3. $n$-step Expectile Sarsa の理論的分析：
   • $n$ステップのエキスタイル・アクション値を定式化し、関連するベルマン演算子が（$n \ge 1$ において）縮小写像であることを証明し、収束を保証した。
   • 方策反復が決定論的なダイナミクス下で最適方策に収束することを証明した。
   • $n$ステップのエキスタイル値の順序関係を確立し、より長いホライゾンがより保守的な推定値をもたらすことを示した。

実験結果

著者らは、Pinball環境および12個のAtari 2600ゲームでEndpoint Replayを評価した。

• Pinball： 50倍小さいバッファ（合計10k vs 標準の500k）を用いたEndpoint Replayは、大規模な最新性バッファ（1M）と同等の性能を示し、同サイズの小さなバッファやリザーバーサンプリングによるコアセット、およびMeDQNを大幅に上回った。
• Atari 2600：
  • 10倍圧縮 (100k バッファ)： Endpoint Replayは、同サイズの小さなバッファやリザーバーコアセットを上回り、標準的な1Mのバッファ・ベースラインと同等またはそれをわずかに上回る性能を示した。
  • 50倍圧縮 (20k バッファ)： Endpoint Replayは、すべての小さなバッファ・ベースライン（1ステップおよび10ステップ）を上回り、12ゲーム中5ゲームで大規模バッファの性能に匹敵した。
• アブレーション研究：
  • アンカリング： 連鎖（アンカーされていない状態）を取り除くか、アクションのアンカリング（Sarsaの代わりにDDQNを使用）を解除すると、性能が著しく低下した。
  • エキスタイル損失： エキスタイル損失を標準の二乗誤差に置き換えた場合（バイアス補正を削除した場合）、性能が低下した。これは、$n$ステップのターゲットにおけるエキスタイル更新の必要性を裏付けている。

意義と主張

本論文は、Endpoint Replayが、ストレージ効率と学習性能の間のトレードオフをうまく解決していると主張している。著者らは、「アンカーされていないブートストラップ・ターゲット」の問題を特定することで、単純なコアセット選択だけでは不十分であることを示している。彼らの解決策――$n$ステップの連鎖によるエンドポイントのアンカリングと、エキスタイル損失によるバイアス補正――により、メモリ使用量を大幅に削減しながら、大規模なバッファの利点（長期ホライゾンのクレジット割り当てと探索）を維持することが可能となる。

著者らは、本手法が低確率性（low stochasticity）に対しては堅牢であるが、エキスタイル損失が環境の確率性を追うのではなくアクションシーケンスを追うように設計されているため、最適方策への収束という理論的保証は厳密には決定論的なダイナミクスの下で成立することを注記している。この研究は、大規模なリプレイバッファが提供する安定性とサンプル効率を犠牲にすることなく、よりリソース効率の高いDRLへの道を示唆している。