技術要約：スライス型ダイバージェンスを用いた多変量分布的強化学習

問題設定

分布的強化学習（Distributional Reinforcement Learning; DRL）は、期待値のみをモデル化する古典的な強化学習とは異なり、リターンの全分布をモデル化する。これにより、理論的および経験的な利点が得られる。しかし、DRLを多変量設定（報酬が $d$ 次元のベクトルである場合、$d > 1$）へと拡張することは、依然として大きな課題である。

既存のアプローチには、主に以下の3つの制限がある：

1. 計算の困難性： ワッサースタイン距離のような一般的な指標は、高次元において高い計算コスト（通常、最適輸送ソルバーにおいて $O(n^3 \log n)$）と、周囲の次元に依存する劣悪な統計的収束レートに直面する。
2. 縮小性の保証の欠如： スカラー型のDRLでは、ベルマン作用素の下で確立された縮小結果が存在するが、一般的な行列割引（割引因子が状態・行動依存の行列 $\Gamma(s, a) \in \mathbb{R}^{d \times d}$ である設定）を伴う多変量設定では、厳密な縮小の保証が欠けている。既存の手法は、異方性（非一様）な割引の下では縮小に失敗することが多い。
3. 確率的学習における勾配バイアス： 多くのダイバージェンス、特にワッサースタイン距離は、ベルマンターゲットが単一のサクセッサーからサンプリングされたものである場合（標準的なTD学習）、不偏サンプル勾配特性 (U) を満たさない。これにより、勾配にバイアスが生じ、分布の一致が最適ではなくなる。

手法：スライス型分布的強化学習 (SDRL)

著者らは、ランダムな射影（スライシング）を通じて、扱いやすい1次元のダイバージェンスを多変量のリターン分布へと持ち上げるフレームワークであるスライス型分布的強化学習 (Sliced Distributional Reinforcement Learning; SDRL) を導入する。

コアメカニズム

高次元のダイバージェンスを直接計算する代わりに、SDRLは多変量分布をランダムな方向 $\theta \in S^{d-1}$ に投影し、その次元におけるベースとなるダイバージェンス $\Delta$ を計算して、それらを集約する。

• 一様スライシング (Uniform Slicing): $L$ 個のランダムな方向に対してベースのダイバージェンスを平均化する：
  $$S\Delta_p^p(\mu, \nu) = \int_{S^{d-1}} \Delta^p((P_\theta)_\#\mu, (P_\theta)_\#\nu) d\sigma(\theta)$$
• 最大スライシング (Max-Slicing; MSDRL): 一般的な行列割引に対してより強い縮小保証を得るために、最も識別力の高い方向を最適化する：
  $$MS\Delta(\mu, \nu) = \sup_{\theta \in S^{d-1}} \Delta((P_\theta)_\#\mu, (P_\theta)_\#\nu)$$

このフレームワークは、幅広いベース・ダイバージェンスをサポートしており、具体的にはワッサースタイン ($W_p$)、クラメール距離 ($C_2$)、および最大平均偏差 (MMD) を分析対象としている。

理論的貢献

本論文は、SDRLの厳密な理論的基礎を確立している：

1. 計量特性： ベースのダイバージェンスが計量であれば、一様スライシングと最大スライシングの両方が計量の公理を保持することを証明する。
2. 縮小性の保証：
   • 一様スライシング： ベースのダイバージェンスが並進非拡大性、スケール縮小性、および混合 $p$-凸性を満たす場合、共有スカラー割引 ($\Gamma = \gamma I$) の下でのベルマン縮小を証明する。
   • 最大スライシング： 一般的な高密度行列割引（異方的な更新）に対する新しい縮小結果を導入する。最大スライシングは、一様スライシングや標準的なMMDが縮小に失敗することが多い設定においても、割引行列の演算子ノルムの下で縮小を生じさせることを証明する。
3. サンプル複雑性： 一様スライシングが、ベースとなる1次元のダイバージェンスから次元に依存しない収束レートを継承し、次元の呪いを回避することを実証する。最大スライシングのレートは次元に対して多項式的にスケールする（$O(d \log n / n)$）。これは、正確な高次元最適輸送よりも大幅に優れている。
4. 勾配バイアスの分析：
   • 一様スライシング： ベースのダイバージェンスが特性 (U) を満たす場合、それを保持する。これにより、スライス型クラメールおよびスライス型MMDは、標準的な単一サンプルTDブートストラップリングと互換性を持つ。
   • 最大スライシング： 最大化ステップによって導入される選択バイアスのため、特性 (U) を満たさない。選択される方向は特定のサンプルバッチに依存するため、標準的なTD設定において勾配にバイアスが生じる。

実験結果

著者らは、タブラーな連鎖MDP、ピクセルベースの迷路環境、およびAtariゲームのサブセットの3つのベンチマークでSDRLを評価している。

1. 連鎖環境 (方策評価):

   • 単一サンプルTD（標準的なブートストラップ）と近完全TD（明示的な混合構成）を比較する。
   • 知見： 特性 (U) を満たす目的関数（例：スライス型クラメール、スライス型MMD）は、単一サンプル領域において正確な分布的一致を達成する。特性 (U) を満たさない目的関数（例：スライス型ワッサースタイン、最大スライス型変種）は、完全な混合ターゲットを使用しない限り、著しく精度が低下する。
   • 最大スライシング： 選択バイアスが消失する退化した1次元の場合には良好に動作するが、一般的な多変量設定における単一サンプルTDの下では失敗する。

2. ピクセルベースの迷路 (方策評価):

   • モンテカルロ・リターンとクリティックの予測との間の経験的ワッサースタイン-2距離を用いて、分布的精度を評価する。
   • 知見： スライス型クラメールとスライス型MMDは、非スライス版と同等の性能を示し、単一サンプルTD領域においてスライス型ワッサースタインを大幅に上回る。これは特性 (U) の重要性を裏付けている。

3. Atariゲーム (制御):

   • 分解された多次元報酬に対する制御性能を評価する。
   • 知見： (U) を満たす目的関数は正確な分布推定を提供する一方で、スライス型ワッサースタイン-2は、分布の一致度や勾配のバイアスが悪いにもかかわらず、驚くべきことに強力な制御性能を達成した。これは、制御においては、正確な分布の推定よりも、リターンの期待値を正確に推定することの方が重要である可能性を示唆している。

意義と主張

本論文は、計算の実行可能性と理論的保証を維持しながら、多変量設定へDRLを拡張するための原理的なフレームワークを提供すると主張している。

• 実用的な推奨事項： 著者らは、スライス型クラメールを多変量分布学習の強力なデフォルトとして推奨している。これは計算効率が高く（$O(n \log n)$）、不偏勾配特性を満たし（標準的なTD学習を可能にする）、標準的な等方的設定における縮小保証を提供する。
• 理論的洞察： 本研究は、異なるダイバージェンスの選択におけるトレードオフを明確にしている。最大スライシングは、一般的な行列割引の下での縮小問題を解決する一方で、標準的な単一サンプルTDには不適切な、勾配バイアスを導入することを明らかにしている。
• 未解決の課題： 本論文は、一般的な異方的割引の下で（ノルムの意味において）証明可能な縮小性を持ち、かつ不偏サンプル勾配特性を満たし、かつ計算可能な推定を提供するダイバージェンスを見つけることは、依然として未解決の問いであると結論づけている。

要約すると、SDRLは多変量DRLへのスケーラブルで理論的根拠に基づいたアプローチを提供しており、標準的な強化学習パイプラインにおいてはスライス型クラメールが最も堅牢な実用的選択肢として浮上している。