論文「Hamiltonian Actor-Critic (HAC): Pontryagin 法に基づくモデルベース強化学習」の技術的サマリー

本論文は、モデルベース強化学習（MBRL）における価値関数推定の誤差蓄積問題を解決するため、ポントリャーギンの最大原理（PMP）に基づいた新しいアルゴリズム**「Hamiltonian Actor-Critic (HAC)」**を提案するものです。HAC は、従来のアクター・クリティック法における明示的なクリティック（価値関数）の学習を排除し、学習されたダイナミクスモデルと報酬に基づいて定義される「ハミルトニアン」を直接最適化することで、サンプル効率、収束速度、および分布外（OOD）への頑健性を大幅に向上させます。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

背景

深層強化学習（DRL）は高い性能を示すものの、サンプル効率と汎化性の課題が残っています。モデルベース RL（MBRL）は、環境のダイナミクスモデルを学習し、それを基に方策を最適化することでサンプル効率を向上させる有望なアプローチです。

既存手法の限界

従来の MBRL におけるアクター・クリティック法（例：MVE: Model-Based Value Expansion）は、学習されたモデルを用いた多ステップロールアウト（想像上の遷移）をクリティックのターゲット値生成に利用します。しかし、以下の問題に直面しています。

• 誤差の蓄積: 学習されたダイナミクスモデルには誤差が含まれており、ロールアウトが長くなるほどこの誤差が蓄積（コンパウンディング）し、価値推定が不正確になります。
• クリティックのバイアス: 誤った価値推定が方策（アクター）を誤った方向へ誘導し、さらにモデルの誤差を拡大させる悪循環（自己増幅フィードバックループ）が生じます。
• ロールアウトホライズンの選択: 誤差を減らすために短いホライズンを選ぶと長期的な情報が欠如し、長いホライズンを選ぶと誤差が蓄積するトレードオフが存在します。
• OOD への脆弱性: 学習データ分布から外れた状態（Out-of-Distribution）において、クリティックの推定値が不安定になり、制御性能が劣化します。

2. 提案手法：Hamiltonian Actor-Critic (HAC)

HAC は、最適制御理論の**ポントリャーギンの最大原理（PMP）**を強化学習の枠組みに統合し、クリティックネットワークを不要にするアプローチを採用しています。

核心的なアイデア

• 価値関数の排除: 従来のクリティック $Q(s, a)$ を学習する代わりに、PMP に基づいて定義されるハミルトニアン $H(s, a, \lambda)$ を直接最小化します。
• ハミルトニアンの定義: 学習されたダイナミクスモデル $\hat{f}$ と報酬関数 $r$ が与えられた場合、ハミルトニアンは以下の式で定義されます。
  $$H(s_t, a_t, \lambda_{t+1}) = c(s_t, a_t) + \lambda_{t+1}^T f(s_t, a_t)$$
  ここで、$c$ はコスト（負の報酬）、$\lambda$ は共役変数（costate）です。
• 共役変数の計算: 共役変数 $\lambda_t$ は、PMP の条件に基づき、終端から逆方向に再帰的に計算されます（バックワード・パス）。
  $$\lambda_t = \nabla_{s_t} H(s_t, a_t, \lambda_{t+1})$$
  これにより、価値関数の近似が不要になり、モデルの誤差が価値推定に直接蓄積するリスクが低減されます。

技術的工夫：解析的ヤコビアン

共役変数の計算には、ダイナミクスモデルのヤコビアン（状態に対する微分）が必要です。自動微分（Autograd）を直接使用すると計算グラフの再利用によるエラーや計算コストの増大が課題となります。

• 解決策: 著者は解析的ヤコビアン手法を提案しました。ReLU 活性化関数を持つニューラルネットワークの構造を利用し、活性化行列（対角行列）を明示的に計算することで、計算グラフを介さずに効率的かつ正確にヤコビアンを算出します。これにより、トレーニングの計算コストを削減しています。

アルゴリズムの概要

1. ロールアウト生成: 現在の方策 $\pi_\theta$ と学習済みモデル $\hat{f}$ を用いて、$K$ ステップの想像上の軌道（ロールアウト）を生成します。
2. 共役変数の計算: 終端状態から逆方向に、解析的ヤコビアンを用いて共役変数 $\lambda$ を再帰的に計算します。
3. ハミルトニアンの計算: 各ステップでハミルトニアンを計算し、これを「負のクリティック値」と見なします。
4. 方策の更新: 方策 $\pi_\theta$ を、生成された軌道上のハミルトニアンの平均を最小化するように更新します（勾配降下法）。

3. 主要な理論的貢献

収束保証

• 標準的な活性化関数（ReLU など）とリプシッツ連続性の仮定の下で、HAC の方策更新が局所最適解に収束することを証明しています（Theorem IV.2）。

クリティック推定誤差のより tight な上界

• 理論的比較: 提案手法 HAC と既存の MVE 法を比較し、特定の条件（二次関数型の報酬、線形/定数/二次関数型の終端報酬）において、HAC のクリティック推定誤差の最大値が MVE よりも小さくなることを証明しました（Theorem IV.4）。
• ハミルトニアンの保存則: 最適制御問題においてハミルトニアンが時間に対して一定であるという性質（ハミルトニアンの保存則）を利用することで、ロールアウト中の誤差蓄積を回避し、単一時点での誤差評価で十分であることを示しました。これが MVE の累積誤差よりも優れている理由です。

4. 実験結果

HAC は、オンラインおよびオフラインの両方の設定において、連続制御ベンチマーク（LQR, Pendulum, MountainCar, MuJoCo の Swimmer, Hopper）で評価されました。

性能評価

• 制御性能: オンライン RL およびオフライン RL の両方で、DDPG、SAC、MVE-DDPG、および最先端のオフライン RL 手法（IQL, MOPO）と比較して、同等かそれ以上の制御性能を達成しました。
• サンプル効率: 収束が速く、特にオフライン設定では限られたデータセットから高品質な方策を学習できました。
• OOD への頑健性: 初期状態をシフトさせた分布外（OOD）条件下でも、MVE-DDPG が不安定になるのに対し、HAC は安定した軌道生成を維持しました。これは、クリティック推定誤差が小さいことが直接的に頑健性の向上につながっていることを示しています。

計算効率

• アンサンブル手法（複数のクリティックを使用）を用いて MVE-DDPG の性能を HAC 並みに向上させるには、計算コストが大幅に増加することが示されました。一方、HAC は単一のモデルと解析的ヤコビアンを用いることで、高い性能を維持しつつ計算効率を確保しています。

5. 意義と結論

本論文の提案する HAC は、モデルベース強化学習における以下の重要な課題を解決しました。

1. 価値関数学習の不要化: 誤差蓄積の主要因であるクリティックの近似学習を排除し、理論的に正当なハミルトニアンを直接最適化することで、推定誤差を低減しました。
2. 理論と実践の統合: ポントリャーギンの最大原理という古典的な最適制御理論を、深層強化学習のフレームワークにシームレスに統合し、収束保証と誤差 bound の改善を理論的に示しました。
3. 実用的な優位性: オンライン・オフライン問わず、高いサンプル効率と分布外状態への頑健性を示し、実世界の制御タスクへの適用可能性を高めました。

結論として、HAC は従来のアクター・クリティックフレームワークに対する、より原理的かつ効率的な代替手段として確立されました。特に、モデルの誤差が価値推定に与える悪影響を最小限に抑えたい場合や、限られたデータで学習を行う必要がある場合に極めて有効です。