技術的サマリー：行動一貫性を持つ深層強化学習

問題定義

強化学習（RL）アルゴリズムは、独立したトレーニング実行間において高い分散を示すことが頻繁にある。最終的なパフォーマンス指標（リターン）は類似しているように見える場合でも、基盤となる方策は、その行動分布において著しく分岐することが多い。この一貫性の欠如は、多数のシードにわたる平均化を必要とする科学的評価、および、同一条件が質的に異なる行動をもたらす場合、報酬設計、デバッグ、安全性検証などの反復プロセスが信頼できなくなる実用的な展開において、課題を提起する。既存の研究は、この変動性を平均化して除去すべきノイズとして扱う傾向が強く、明示的に制御すべき特性として扱ってきたわけではない。

手法

理論的基盤

著者らは、高性能でありながら独立した実行間で分布的に類似した方策を学習する目的である**行動一貫性 RL（BRL）**を形式化した。核心的な理論的洞察は、最大エントロピー（MaxEnt）RLに依存している。方策を共通の事前分布（具体的には、MaxEnt における一様事前分布）に対して正則化することで、方策空間が制約される。

論文は、方策の発散とQ 関数の不一致との間の理論的リンクを確立している：

1. 定理 4.1：ボルツマン方策において、温度パラメータ $\alpha(s)$ を 2 つの Q 値ベクトル間の点ごとの不一致（$\|Q^{(1)} - Q^{(2)}\|_\infty$）に比例するように設定した場合、誘導される方策間のカルバック・ライブラー（KL）発散是有界となる。具体的には、$\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ と設定することで、$D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$ が保証される。
2. 定理 4.2：この不一致スケーリング温度を用いたソフト価値反復により、結合された実行は、最適の正則化されていない Q 関数の近傍に収束し、その誤差 bound は温度下限 $\alpha_{min}$ と初期不一致によって制御される。

実用的アルゴリズム：Q 値期待不一致（QED）

他の独立した実行から Q 関数に直接アクセスすることは非現実的である。これを解決するため、著者らは、クロス実行の不一致に対する単一実行のプロキシとして機能する**Q 値期待不一致（QED）**を提案する。

• ダブルクリティック・プロキシ：QED は「ダブル Q」のトリックを活用し、並列にトレーニングされる 2 つのニューラルネットワーククリティック（$Q_{\theta_1}, Q_{\theta_2}$）を利用する。著者らは、単一実行内のこれら 2 つのクリティック間の不一致が、2 つの独立した実行間に存在するはずの不一致の代表的なプロキシとして機能すると仮定している。
• 期待値集約：すべての行動に対する最大化の敵対的な性質（分布外行動における外挿エラーを強調する可能性がある）を回避するため、QED は、現在の方策からサンプリングされた行動に対する 2 つのクリティック間の絶対差の**上位期待値（upper expectile）**を計算する。
• 適応的温度：温度 $\alpha_{QED}(s)$ は、この期待値不一致に基づいて動的に調整される：
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  ここで、$e\Delta(s)$ は期待値不一致、$k$ はトレードオフを制御するハイパーパラメータ、$d$ は行動次元である。
• オフポリシー不安定性への対処：論文は、エントロピーを単純に増加させることがオフポリシー外挿エラーを増幅し、トレーニングの崩壊を招く可能性があると指摘している。これを緩和するため、QED は分布シフトを処理するように特別に設計されたアルゴリズム、すなわちSAC-LN（レイヤー正規化付きソフト・アクター・クリティック）およびMAD-SAC（モデル拡張データ SAC）の上に評価される。

主要な貢献

1. BRL の形式化：行動一貫性 RL の設定を導入し、リターン最大化と並んで行動の一貫性を中核的な目的として位置づけた。
2. 理論的関連性の証明：MaxEnt RL における方策の発散とクリティックの不一致との関係を証明し、不一致によって温度をスケーリングすることで方策間の KL 発散を制約できることを示した。
3. オフポリシー課題の特定：高エントロピー MaxEnt RL がオフポリシー外挿エラーを悪化させ、安定したベースアルゴリズムで管理されない場合、機能的な方策の崩壊を招く可能性を明らかにした。
4. QED アルゴリズムの提案：クロス実行の行動一貫性を誘発するために、単一実行のクリティック不一致を利用する適応的エントロピー調整のための実用的な手法 QED を提案した。

実験結果

著者らは、dm_controlスイートからの 18 の連続制御タスクにおいて、タスクあたり 10 個のランダムシードを用いて QED を評価した。

• 発散の削減：QED は、標準的なエントロピー調整（例：ターゲットエントロピー付き SAC）と比較して、対称 KL で測定されたペアワイズ方策発散を2 桁削減した。
• パフォーマンスの維持：ほとんどの場合、QED は競争力のある正規化リターンを維持した。非常に低い KL 発散の場合、アルゴリズムが Q 関数の不確実性を減らすために探索を長く行うことによるサンプル効率の一時的な低下に起因し、リターンがわずかに減少（最大 5%）することが観察された。
• 分散の削減：MAD-SAC ベースラインにおいて、QED はリターンの分散（95% ブートストラップ信頼区間の幅で測定）を約**50%**削減した。
• 行動の一貫性：定性的な可視化（例：cheetah_run）と定量的指標（累積 L2 行動距離）は、標準的なトレーニングが異なる行動モード（例：異なる跳躍または歩行パターン）をもたらすのに対し、QED は実行間で視覚的かつ統計的に類似した行動を持つ方策を生成することを確認した。
• 高分散タスク： notorious に不安定な hopper_hop タスクにおいて、QED はパフォーマンスを向上させただけでなく、すべてのトレーニング実行が同一のパフォーマンスレベルに収束するように整合させ、ベースラインが高分散を示したのに対し、これを解消した。

意義と主張

本論文は、行動の一貫性を制御することが、RL システムの安定性と再現性にとって可能かつ有益であると主張している。変動性を平均化すべきノイズとしてではなく、制御すべき明示的な特性として扱うことで、著者らは行動の一貫性が、スケーラブルで信頼性の高い RL にとって欠落している要素であると示唆している。

その意義は、より信頼性の高い以下の点にある：

• 科学的評価：真のアルゴリズム的改善を検出するためのシードにわたる大規模な平均化の必要性を減らす。
• 展開：報酬調整や安全性検証などの反復プロセスが、確率的な独自性によって混乱されないことを保証する。
• デバッグ：アルゴリズム的失敗とランダムな分散との区別を容易にする。

著者らは、この手法が収束に時間を要する可能性のある点ごとの Q 推定に依存していること、および高次元タスクでは性能と類似性の間のトレードオフがより顕著になることなど、特に限界を控えめに指摘している。彼らは結論として、QED は安定性への原理的なアプローチを提供するが、長期的な一貫性、および有効な行動戦略における多様性と均一性のバランスに対処するための将来の研究が必要であると述べている。