技術要約：カテゴリカル・クリティックのためのサポート学習

問題提起

アクター・クリティック型の深層強化学習（RL）において、価値関数は伝統的に、ブートストラップされたターゲットに対する平均二乗誤差（MSE）を最小化する回帰タスクとして訓練される。分布型強化学習（Distributional RL）は、リターンの全確率分布をモデリングする代替案を提示する。最近の手法であるGaussian Histogram Loss（HL-Gauss）は、スカラーのベルマン・ターゲットを、事前に定義されたビン集合上のガウス平滑化されたカテゴリカル・ターゲットとしてエンコードすることで、価値推定を分類問題へと再構成している。

しかし、HL-Gaussや同様のヒストグラムベースの手法は、決定的な制限に直面している。それは、サポート区間 $[\nu_{min}, \nu_{max}]$ を事前に定義しなければならないという点である。強化学習におけるターゲット値は非定常かつ確率的であり、初期の探索的方策によって誘発されるリターンの範囲は、収束した方策によるものとは大きく異なる場合がある。固定された区間は、以下のトレードオフを生じさせる：

• 狭すぎる場合： 端点の切り捨て（truncation）が発生し、有益な極端なリターンが破棄され、切り捨てバイアスが導入される。
• 広すぎる場合： 固定されたビンの表現解像度が希釈され、学習信号が弱まり、量子化バイアスが導入される。

現在の文献では通常、十分な広さを持つ静的な区間を想定しているが、これは特定のタスクや訓練フェーズにおいて最適とは限らない。すべての訓練過程における方策に対して最適となる単一の固定区間は存在しない。

手法：動的サポート端点学習（DySEL）

著者らは、サポート区間の下限と上限を事前に割り当てるのではなく、動的に学習するアルゴリズムである**Dynamic Support Endpoint Learning (DySEL)**を提案する。

理論的基礎

核心となる理論的洞察は、平均二乗ベルマン誤差（MSBE）がHL-Gauss損失によって上界（upper bound）を持つということである。この上界のタイトさ（tightness）は、サポート区間の絶対値と直接相関している。具体的には、この上界には $\max(|\nu_{min}|, |\nu_{max}|)^2$ （絶対的な幅）に比例する項と、分布一致項（KLダイバージェンスに関連）が含まれる。

• 緊張関係（Tension）： 上界を最小化するには狭いサポートが必要であるが（上界をタイトにするため）、切り捨てバイアスを最小化するには広いサポートが必要である（全確率質量 $Z$ を捉えるため）。

制約付き最適化としての定式化

この緊張関係を解決するために、著者らは問題を制約付き最適化タスクとして定式化する：

1. 目的： 高い解像度とタイトな理論的上界を維持するために、サポートの幅を最小化する。
2. 制約： サポート区間がターゲット分布の十分な確率質量（漏れた質量 $1-Z$ を最小化すること）を捉えることを保証する。

著者らは、これをラグランジュ乗数 $\lambda$ を用いた敵対的なmin-maxゲームへと変換する。最終的な目的関数 $L(\theta, \phi, \lambda)$ は、以下の3つのコンポーネントで構成される：

• 幅のペナルティ： $\alpha \cdot \max(|\nu_{min}|, |\nu_{max}|)$。過度な幅に対してペナルティを課す。
• クロスエントロピー損失： 標準的なHL-Gauss分類損失。
• 質量制約： $\lambda \cdot ((1 - Z) - \epsilon)$。ここで $Z$ はカバーリング質量（サポート上の切断ガウス分布の積分）である。

パラメータは以下のように更新される：

• $\theta, \phi$（クリティックおよびサポート・ネットワーク）：ラグランジアンを最小化する。
• $\lambda$（ラグランジュ乗数）：カバーリング制約を強制するために、ラグランジアンを最大化する。

このアプローチにより、ニューラルネットワークは必要に応じてサポートを自動的に拡張して「漏れた」質量を捕捉できる一方で、幅のペナルティが無限の拡張を防ぐことが可能となる。

主な貢献

1. 理論的上界： 著者らは、MSBEがHL-Gauss損失によって上界を持つこと、そしてその上界のタイトさがサポート区間の絶対値と相関していることを示した。これが、最も狭い実行可能なサポートを探索する動機付けとなっている。
2. 動的サポートの定式化： 動的なサポート学習を制約付き最適化問題として定式化することで、事前定義された区間に依存することを排除し、上界のタイトさと分布のカバー率のバランスを実現した。
3. 敵対的min-max目的関数： 確率質量被覆を強制するためのラグランジュ乗数を用いた、扱いやすい学習目的関数を導出した。これにより、ネットワークがサポートを適応的に拡張または収縮させることが可能となった。
4. 実証的検証： 本手法は連続制御タスクで評価され、固定サポートのHL-Gaussベースラインと同等の性能を示し、特定のタスク（特にヒューマノイドタスク）においてはそれらを上回る性能を示した。これには、手動での区間チューニングが不要である。
5. 適応の証拠： 動的に適応されたサポートは、いかなる単一の固定サポートよりも優れた性能を示すという証拠を提示している。なぜなら、すべての訓練過程における方策に対して最適となる単一の固定区間は存在しないからである。

実験結果

著者らは、DeepMind Control Suiteの11のタスクを用いて、TD3+DySELをTD3およびTD3+HL-Gauss（固定サポート $[-100, 100]$）と比較評価した。

• パフォーマンス： TD3+DySELは、ほとんどのタスクでTD3+HL-Gaussと同等の性能を示したが、ヒューマノイドタスク（例：humanoid-run, humanoid-stand）では大幅な性能向上を示した。著者らは、これを動的に学習された区間が提供するより細かい粒度のおかげであると考えており、固定サポートによって隠されてしまう微細なリターンの変動をクリティックが識別できるようになったためである。
• サポートの進化： 学習されたサポート区間には2つの挙動が見られた：
  • 安定型： 一部のタスク（例：finger-turn_hard）では、すぐに安定した区間に収束した。
  • 適応型： 他のタスク（例：cheetah-run, humanoid-run）では、訓練が進むにつれて徐々に拡大した。
• アブレーション研究： 幅のペナルティを取り除くと、サポートは（クロスエントロピー損失を悪用して）無限大へと発散した。一方で、質量制約を取り除くと、拡大を必要とするタスクにおいて不十分な被覆が生じた。両方のコンポーネントが安定性に不可欠であることが確認された。
• 固定ベースラインとの比較： DySELから得られた最終的な学習済みサポート区間を、バニラのHL-Gaussの固定入力として使用した場合、一部のタスクでは性能が向上したが、動的な拡大を必要とするタスクではDySELの性能には及ばなかった。これは、適応メカニズムの必要性を裏付けている。

意義と主張

本論文は、DySELが分類ベースの価値学習における根本的な限界、すなわち静的で手動選択されたサポート区間への依存に対処していると主張している。動的なサポート学習を制約付き最適化問題として定式化し、理論的にMSBEをサポート幅に関連付けることで、著者らは以下の手法を提供した：

• ハイパーパラメータ・チューニングの自動化： サポート区間を手動で指定したりスケジューリングしたりする必要性を排除する。
• 安定性と性能の向上： 固定サポートのベースラインと同等、あるいは（特にヒューマノイド制御のような複雑で高次元の環境において）それを上回る、安定したサポート区間の適応を実現する。
• 理論的正当性： 動的な適応が、固定サポートよりもベルマン誤差に対してよりタイトな上界をもたらすことを示す理論的枠組みを提供する。

著者らは、鞍点最適化（saddle-point optimization）がデュアル学習率に対して敏感であることや、現在の学習されたサポートが対称であることなどの限界についても認めている。また、今後の課題として、非対称サポート、適応的なガウス $\sigma$、およびDM-Control以外のより広範なベンチマークの探索を挙げている。