技术摘要：通过单时间尺度联邦演员 - 评论家实现协作式且个性化的策略训练

问题表述

本文解决了联邦强化学习（FRL）在环境异质性下面临的协作式且个性化的策略训练挑战。在许多现代应用中，例如具身智能（Embodied AI），智能体在由不同转移核（$P^k$）和奖励函数（$R^k$）表征的截然不同的环境中运行。

现有方法通常分为两类：

1. 忽略异质性：在所有智能体上训练单一共享策略，这通常因学习信号不匹配而导致性能下降。
2. 放弃协作：训练完全独立的本地策略，从而丧失了协作带来的样本效率提升。

虽然个性化联邦学习（PFL）在监督学习中已取得成功，但其在 FRL 中的应用仍鲜有探索。具体而言，目前缺乏处理马尔可夫采样（数据在时间上相关）和异质转移核下个性化演员 - 评论家（AC）方法的理论框架。先前的工作通常关注基于价值的方法、通用策略，或假设数据是独立同分布（i.i.d.）的，未能捕捉单时间尺度设置下策略更新与异质马尔可夫噪声的耦合动态。

方法论：pFedAC

作者提出了pFedAC，一种单时间尺度个性化联邦演员 - 评论家算法。其核心架构创新在于共享线性子空间表示与**个性化本地头（local heads）**的结合。

模型结构

智能体 $k$ 的价值函数近似为：
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
其中：

• $\phi(s) \in \mathbb{R}^d$ 是已知的特征映射。
• $B \in \mathbb{R}^{d \times r}$ 是公共正交子空间（在所有 $K$ 个智能体间共享），表示价值函数的底层结构。
• $\omega^k_\theta \in \mathbb{R}^r$ 是每个智能体 $k$ 特有的本地头参数，允许个性化。

算法机制

该算法在轮次 $t = 0, \dots, T-1$ 中运行，每个智能体执行三个耦合的更新步骤，随后是服务器聚合步骤：

1. 评论家更新（本地头与子空间）：

   • 智能体执行本地**TD($L$)**更新以估计优势函数。
   • 利用 TD 误差 $\delta^k_{t,L}$，智能体更新其本地头 $\omega^k_t$ 和公共子空间估计 $B_t$。
   • $B_t$ 的更新涉及投影随机梯度步，随后进行QR 分解以维持正交性。这种投影对于在存在异质噪声的情况下控制扰动放大至关重要。

2. 演员更新（策略）：

   • 为了缓解极限状态分布（用于评论家更新）与折扣状态访问分布（用于策略梯度）之间的差异，作者采用了一个具有转移核 $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$ 的伴随 MDP。
   • 智能体从该辅助链中采样轨迹以计算策略梯度，确保在马尔可夫采样下获得更准确的梯度估计。

3. 聚合：

   • 智能体将其更新后的子空间估计 $\bar{B}_{t+1}$ 发送给服务器。
   • 服务器计算平均值 $\bar{B}_{t+1}$ 并执行QR 分解，将更新后的正交基 $B_{t+1}$ 广播回所有智能体。

主要贡献

1. 联邦强化学习中的首个个性化演员 - 评论家

本文提出了首个在联邦设置下实现个性化演员 - 评论家学习的算法。与先前关注共享策略或价值函数的研究不同，pFedAC 显式地学习共享表示，同时保持智能体特定的策略组件。

2. 有限时间收敛分析

作者在马尔可夫采样和异质转移核下建立了该算法的有限时间收敛保证。分析引入了一种新颖的联合线性近似框架，同时追踪三个紧密耦合的误差动态：

• 本地头估计（$\omega^k$）的误差。
• 共享子空间估计（$B$）的误差。
• 策略梯度（演员）的误差。

收敛速率：
本文证明了：

• 评论家误差以 $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$ 的速率收敛至零。
• 策略梯度范数以 $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$ 的速率收敛至零。

其中，$T$ 是轮次数，$K$ 是智能体数量，$\gamma$ 是折扣因子。符号 $\tilde{O}$ 隐藏了多对数因子和与问题相关的常数。

3. 线性加速

结果表明，相对于智能体数量 $K$ 实现了线性加速。这意味着，即使存在异质马尔可夫轨迹，向联邦系统中添加更多智能体也能按比例降低达到目标精度所需的样本复杂度。

4. 分析中的技术创新

为了实现这些结果，作者开发了若干新的分析工具：

• QR 分解的扰动分析：一种新的分析，界定了在存在异质马尔可夫噪声的情况下，QR 分解步骤引起的失真。
• 条件混合论证：用于处理策略更新与马尔可夫采样之间耦合的技术，具体刻画了马尔可夫采样下的函数评估与时间冻结策略下的函数评估之间的差异。
• 几何结构利用：利用共享子空间的几何性质和主角度距离，控制本地头误差与子空间估计误差之间的相互作用。

实验结果

作者在近端策略优化（PPO）中实例化了该框架，创建了FedPer PPO，并在具有动作映射异质性（智能体共享动态但具有不同的动作映射）的联邦Hopper-v5基准上进行了评估。

• 性能：FedPer PPO 显著优于Single PPO（独立训练）和FedAvg PPO（标准联邦平均）。在"6-UNIQUE"设置（每个智能体具有独特的动作映射）中，FedPer 相比 Single PPO 提升了2.63 倍，相比 FedAvg PPO 提升了3.78 倍。
• 迁移学习：学习到的共享“主干”（子空间 $B$）被证明是可迁移的基础。当冻结主干并仅在下游任务（包括分布外变体）上训练新头时，该模型在普通任务上实现了从头训练性能的5.42 倍，在分布外（OOD）任务上实现了3.50 倍。

意义与主张

本文声称，pFedAC 成功弥合了异质 FRL 环境中协作与个性化之间的差距。通过利用共享线性子空间，智能体可以从集体学习中受益，同时不牺牲对本地环境特征的适应性。

作者明确指出，虽然收敛速率展示了线性加速，但对折扣因子 $(1-\gamma)$ 的依赖可能并非最优，特别是在接近无折扣的机制（$\gamma \to 1$）中。他们指出改善这种依赖是未来工作的关键方向，表明对马尔可夫结构的更锐利分析或方差缩减技术可能会带来进一步的改进。

总之，这项工作为个性化联邦演员 - 评论家方法提供了严格的理论基础和实证验证，解决了在复杂异质系统中实现可扩展、协作且适应性强的强化学习的关键需求。