技術要約：説明可能な強化学習のためのSHAP誘導型カーネル・アクター・クリティック（RSA2C）

1. 問題提起

アクター・クリティック（AC）法は強化学習（RL）の基礎となる手法であるが、解釈性の低さが課題となっている。標準的なACアーキテクチャは状態特徴量を一様に扱うため、個々の状態次元が報酬に与える異種的な影響を明らかにすることができない。既存の説明可能な強化学習（XRL）手法は存在するものの、それらは主に事後的なもの（学習済みのポリシーを分析するだけで、学習自体には介入しない）か、あるいは粗い粒度の内在的なもの（決定木や記号的ポリシーなど）である。決定的なことに、学習ループに直接組み込んで方策の更新を導くことができる「次元レベルの属性（アトリビューション）」を提供する手法はほとんど存在しない。

さらに、属性メカニズムをACに統合することには、2つの根本的な課題がある：

1. 属性の信頼性： 属性を用いてクリティックの関数形式を変更することは、適合関数近似の整合性を損ない、ベルマン演算子の縮小特性を乱す可能性がある（特にカーネル辞書が進化する場合）。
2. 最適化の安定性： RLの状態は、ノイズ、確率的ダイナミクス、および分布の変化によって摂動を受けることが多い。属性に敏感な手法は、適切に正則化されない限り、偽相関に対して脆弱であり、属性値の不安定さが近似誤差を増幅させ、脆い学習ダイナミクスを招く恐れがある。

核心となる研究課題は、状態の摂動に対しても安定性を維持しつつ、オンラインで状態属性を計算できる、効率的で証明可能な属性認識型ACアルゴリズムをどのように設計するかである。

2. 手法：RSA2C

著者らは、**RKHS-SHAPに基づく高度なアクター・クリティック（RSA2C）**を提案する。これは、属性認識型かつ2タイムスケールのACアルゴリズムである。RSA2Cは、近似線形依存（ALD）法によって維持される疎な辞書によって制御される、再生核ヒルベルト空間（RKHS）内に構成された3つのコンポーネントで構成される。

2.1. アーキテクチャ

• 高度なアクター（Advanced Actor）： オペレータ値カーネル（OVK）を用いたベクトル値RKHS内に構成される。このカーネルはマハラノビス重み付きガウスカーネル $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$ であり、重み行列 $W = \text{diag}(\tilde{\phi})$ は状態特徴量の属性（$\phi_i$）に基づいて動的に調整される。これにより、方策は状態次元の重要度に基づいて適応的に重み付けを行うことが可能になる。
• 価値クリティック（Value Critic）： 独自の辞書を持つスカラーRKHS内に存在する。TD学習を用いて価値関数 $V(s)$ を推定する。重要な点として、循環依存を防ぎ、属性計算のための安定したベースラインを確保するために、価値クリティックはSHAPスコアによる重み付けは行われない。
• アドバンテージ・クリティック（Advantage Critic）： アクターの辞書を共有するスカラーRKHS内に存在する。「適合特徴量（compatible features）」（$\nabla \log \pi$ と整合したもの）を用いてアドバンテージ関数 $A(s, a)$ を推定し、低分散な方策勾配を保証する。

2.2. RKHS-SHAPの統合

モンテカルロサンプリング（計算コストが高い）を使用する代わりに、RSA2CはRKHSフレームワーク内の**カーネル平均埋め込み（KME）および条件付き平均埋め込み（CME）**を用いて、SHAP値を解析的に計算する。

• オンマニフォールド（観測的）： KMEを用いて経験的な状態分布上で平均化を行い、属性が環境と整合した構成を反映するようにする。
• オフマニフォールド（介入的）： 特徴量の連合（coalitions）を、データの幾何学的構造を尊重しながら条件付けるためにCMEを使用し、無効な状態を生成することなく特徴量を探索する。

これらの計算されたSHAP属性は、マハラノビス・ゲーテッド重みに変換される。これらの重みは、アクターの勾配更新とアドバンテージ・クリティックのターゲットを変調し、次元レベルの重要度信号を最適化のダイナミクスに直接注入する。

2.3. 2タイムスケール・メカニズム

RSA2Cは2つのタイムスケールで動作する：

• 高速タイムスケール： 価値クリティックが迅速に更新され、安定した価値推定とSHAP属性を提供する。
• 低速タイムスケール： アクターとアドバンテージ・クリティックはより低速に更新され、クリティックからの安定した属性を利用して方策の改善を導く。

3. 主な貢献

1. カーネル化された2タイムスケール・アクター・クリティック： RKHS内にアクターと2つのクリティックを組み込んだRSA2Cの導入。これは、OVKを用いたマハラノビス重み付きのベクトル値方策をモデル化し、状態次元間の相関を符号化することで、RKHS-SHAPを介して状態特徴量の適応的な重要性を注入するというユニークな手法である。疎な辞書の使用により、計算量は辞書サイズに対して線形となり、オンラインRLへの適用に適している。
2. 状態属性から学習信号へ： 本手法は、KME（オンマニフォールド用）とCME（オフマニフォールド用）の2つの経路を通じて、価値クリティックからSHAPを計算する。これらの信号はゲート化され、アクターとアドバンテージ・クリティックに注入されることで、事後的な説明のみに頼ることなく、効率性と内在的な解釈性を両立させている。
3. グローバルな非漸近的収束： 著者らは、状態の摂動下におけるRSA2Cのグローバルな収束境界を導出した。学習ギャップは、摂動誤差（ノイズに対する安定性を定量化）と収束誤差（効率性を定量化）に分解される。摂動誤差はさらに、属性誘発項と方策学習項に分割され、アルゴリズムの堅牢性を示している。
4. 実証的検証： 3つの連続制御環境（Pendulum-v1, BipedalWalker-v3, Ant-v5）における広範なシミュレーションにより、RSA2Cが深層RLのベースライン（SAC, PPO）と比較して、大幅に低い計算オーバーヘッド（FLOPs）で競争力のあるリターンを達成し、優れた安定性と解釈可能な特徴属性を維持することが示された。

4. 結果

• 効率性： 連続制御タスクにおいて、RSA2Cのバリアント（KMEおよびCME）は、アブレーション（SHAPなしのAdvanced AC、一様SHAP）や従来のRKHS-ACよりも高いリターンへと収束する。SACのような深層RL手法は高次元タスク（例：Ant-v5）でより高い漸近的リターンに達する場合があるが、RSA2Cは低次元タスクにおいて、大幅に少ないFLOPsと実行時間（特にCPU上）で同等または優れた性能を達成する。
• 安定性： 状態の摂動（平均ゼロのノイズ、分散の変化を含む）の下で、RSA2CのバリアントはRKHSベースの手法の中で最も安定した性能を示す。平均リターンの低下はノイズが増加しても緩やかであり、属性を学習しない手法（Advanced AC, RKHS-AC）が大幅な性能低下を招くのに対し、RSA2Cは頑健である。また、RSA2CはPPOなどの深層RLベースラインに対しても安定性で優れており、例えばPPOは高ノイズ下で性能が著しく悪化するが、RSA2Cは堅牢性を維持する。
• 解釈性： ビースワームプロットとヒートマップによる可視化は、RSA2Cが物理的なダイナミクス（例：Pendulumタスクにおける角度、角速度、トルクの区別）に沿った意味のある特徴貢献を捉えていることを確認している。条件付き依存関係をモデル化するRSA2C-CMEは、RSA2C-KMEと比較して、よりバランスが取れ、時間的に適応的な属性を生成する。

5. 意義と主張

本論文は、RSA2Cが、状態特徴の重要性をOVKベースの方策におけるマハラノビス距離へと変換する原理的なメカニズムを提供し、それによって内在的な解釈性を備えたサンプル効率の高い学習を強化することを主張している。

• 理論的保証： 本研究は、状態の摂動下におけるグローバルな非漸近的収束保証を確立しており、これは、2タイムスケールのRKHS強化型ACにおける非漸近的保証がこれまで未解決であったという点で重要な貢献である。
• 堅牢性： 学習された属性が、確率的な乱数に対するネットワーク更新を安定させるために極めて重要であることを実証しており、固定重みや非属性ベースラインを凌駕している。
• 限界： 著者らは、RKHS表現の拡張性が高次元の連続制御タスク（例：105次元の状態を持つAnt-v5）において制限される可能性があることを謙虚に認めている。これは、RBFカーネルを用いた線形RKHSの表現能力が、深層ニューラルネットワークと比較してボトルネックになる可能性があるためである。また、メモリ使用量はタスクの複雑さと学習ホライゾンとともに増大する。

要約すると、RSA2Cは、次元レベルのSHAP属性をカーネル化された学習ループに直接統合することで、高パフォーマンスなRLと説明可能性の間の溝を埋め、連続制御のための安定、効率、かつ理論的に裏付けられたアプローチを提供している。