技術的サマリー：単一タイムスケール連合アクター・クリティックによる協調的かつパーソナライズされた方策学習

問題定式化

本論文は、環境の不均一性（environmental heterogeneity）下における連合強化学習（FRL）における「協調的かつパーソナライズされた方策学習」の課題に取り組む。現代の多くの応用、例えば具現化 AI（Embodied AI）では、エージェントは異なる遷移カーネル（$P^k$）と報酬関数（$R^k$）を特徴とする個別の環境で動作する。

既存のアプローチは通常、以下の 2 つのカテゴリに分類される：

1. 不均一性の無視：すべてのエージェントに対して単一の共有方策を学習するアプローチ。これは、学習信号の不一致により、性能の低下を招くことが多い。
2. 協調の放棄：完全に独立した局所方策を学習するアプローチ。これにより、協調によるサンプル効率の向上を見捨てることになる。

パーソナライズされた連合学習（PFL）は教師あり学習において成功を収めているが、その FRL への応用は未だ十分に探求されていない。具体的には、マルコフ的サンプリング（時間的に相関したデータ）および不均一な遷移カーネルの下での「パーソナライズされたアクター・クリティック（AC）手法」を扱う理論的枠組みが不足している。先行研究は、価値ベースの手法、共通方策、または独立同分布（i.i.d.）データを仮定するものに焦点を当てることが多く、単一タイムスケール設定における方策更新と不均一なマルコフノイズの結合ダイナミクスを捉えきれていない。

手法：pFedAC

著者は、単一タイムスケールパーソナライズ連合アクター・クリティックアルゴリズムであるpFedACを提案する。中核的なアーキテクチャの革新は、共有線形部分空間表現とパーソナライズされた局所ヘッドの組み合わせにある。

モデル構造

エージェント $k$ の価値関数は、以下のように近似される：
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
ここで、

• $\phi(s) \in \mathbb{R}^d$ は既知の特徴マップである。
• $B \in \mathbb{R}^{d \times r}$ は、すべての $K$ 個のエージェントに共有される共通の正規直交部分空間であり、価値関数の基盤構造を表す。
• $\omega^k_\theta \in \mathbb{R}^r$ は、各エージェント $k$ に固有の局所ヘッドパラメータであり、パーソナライズを可能にする。

アルゴリズムのメカニズム

アルゴリズムは、ラウンド $t = 0, \dots, T-1$ で動作し、各エージェントごとに 3 つの結合更新ステップを行った後、サーバー集約ステップが行われる。

1. クリティック更新（局所ヘッドと部分空間）：

   • エージェントは、利得関数を推定するために局所的な**TD($L$)**更新を実行する。
   • TD 誤差 $\delta^k_{t,L}$ を用いて、エージェントは局所ヘッド $\omega^k_t$ と共通部分空間推定値 $B_t$ を更新する。
   • $B_t$ の更新には、正規直交性を維持するために射影確率勾配ステップに続いてQR 分解を行うことが含まれる。この射影は、不均一なノイズが存在する際の摂動増幅を制御する上で極めて重要である。

2. アクター更新（方策）：

   • クリティック更新で用いられる極限状態分布と、方策勾配で用いられる割引状態訪問分布との間の不一致を緩和するため、著者は遷移カーネル $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$ を持つコンパニオン MDPを採用する。
   • エージェントはこの補助連鎖から軌道をサンプリングして方策勾配を計算し、マルコフ的サンプリング下でのより正確な勾配推定を確保する。

3. 集約：

   • エージェントは更新された部分空間推定値 $\bar{B}_{t+1}$ をサーバーに送信する。
   • サーバーは平均 $\bar{B}_{t+1}$ を計算し、QR 分解を実行して、更新された正規直交基底 $B_{t+1}$ をすべてのエージェントにブロードキャストする。

主要な貢献

1. 連合 RL における初のパーソナライズ AC

本論文は、連合設定におけるパーソナライズされたアクター・クリティック学習を可能にする最初のアルゴリズムを提示する。共有方策や価値関数に焦点を当てた先行研究とは異なり、pFedAC は明示的に共有表現を学習しつつ、エージェント固有の方策コンポーネントを維持する。

2. 有限時間収束解析

著者は、マルコフ的サンプリングおよび不均一な遷移カーネルの下でのアルゴリズムの有限時間収束保証を確立する。この解析は、3 つの密接に結合した誤差ダイナミクスを同時に追跡する新規の結合線形近似枠組みを導入する：

• 局所ヘッド推定値（$\omega^k$）の誤差。
• 共有部分空間推定値（$B$）の誤差。
• 方策勾配（アクター）の誤差。

収束率：
本論文は以下を証明する：

• クリティック誤差は、$\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$ の速度でゼロに収束する。
• 方策勾配ノルムは、$\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$ の速度でゼロに収束する。

ここで、$T$ はラウンド数、$K$ はエージェント数、$\gamma$ は割引因子である。記号 $\tilde{O}$ は多対数因子と問題依存定数を隠す。

3. 線形スケーリング

結果は、エージェント数 $K$ に対して線形スケーリング（linear speedup）を示す。これは、不均一なマルコフ軌道の存在下であっても、ターゲット精度に到達するために必要なサンプル複雑性を、連合システムにエージェントを追加することで比例的に削減できることを意味する。

4. 解析における技術的革新

これらの結果を達成するために、著者はいくつかの新しい解析ツールを開発した：

• QR 分解の摂動解析：不均一なマルコフノイズが存在する QR 分解ステップによって引き起こされる歪みを境界付ける新しい解析。
• 条件付き混合議論：方策更新とマルコフ的サンプリングの結合を処理する技術。具体的には、マルコフ的サンプリング下での関数評価と、時間的に固定された方策下での関数評価との間の不一致を特徴づける。
• 幾何構造の活用：共有部分空間と主角度距離の幾何学的性質を利用し、局所ヘッド誤差と部分空間推定誤差の相互作用を制御する。

実験結果

著者は、この枠組みを近接方策最適化（PPO）内で具体化し、FedPer PPOを作成した。そして、アクションマップの不均一性（エージェントがダイナミクスを共有するが、異なるアクションマッピングを持つ場合）を持つ連合Hopper-v5ベンチマークで評価を行った。

• 性能：FedPer PPO は、Single PPO（独立して学習）およびFedAvg PPO（標準的な連合平均）を大幅に上回った。「6-UNIQUE」設定（すべてのエージェントが固有のアクションマップを持つ場合）において、FedPer は Single PPO に対して2.63$\times$、FedAvg PPO に対して3.78$\times$の改善を達成した。
• 転移学習：学習された共有「トランク」（部分空間 $B$）は、転送可能な基盤であることが示された。トランクを固定し、新しいヘッドのみをダウンストリームタスク（分布外バリエーションを含む）で学習させた場合、モデルはバニラタスクでのゼロから学習した場合と比較して5.42$\times$、OOD タスクでは3.50$\times$の性能を達成した。

意義と主張

本論文は、pFedAC が不均一な FRL 環境における協調とパーソナライゼーションの間のギャップを成功裡に埋めたと主張する。共有線形部分空間を活用することで、エージェントは局所環境の特性への適応性を犠牲にすることなく、集合的な学習の恩恵を受けることができる。

著者は明示的に、収束率が線形スケーリングを示す一方で、割引因子 $(1-\gamma)$ への依存性は最適ではない可能性があり、特に近似的に割引されていない領域（$\gamma \to 1$）において顕著であると指摘している。彼らは、この依存性を改善することを将来の重要な研究方向として特定し、マルコフ構造のより鋭い解析や分散低減技術がさらなる改善をもたらす可能性を示唆している。

要約すると、この研究は、パーソナライズされた連合アクター・クリティック手法に対する厳密な理論的基盤と実証的検証を提供し、複雑で不均一なシステムにおけるスケーラブルで協調的かつ適応的な強化学習の重要なニーズに対応するものである。