🤖 machine learning

Federated Client Selection under Partial Visibility: A POMDP Approach with Spatio-Temporal Attention

本文针对联邦学习在部分可见性条件下的客户端选择挑战，通过将问题建模为部分可观测马尔可夫决策过程（POMDP），并提出一种新颖的基于时空注意力的强化学习框架，该框架利用历史全局模型和客户端嵌入，在异构环境中实现了更优越的性能。

原作者： Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位庞大交响乐团的指挥家，但有一个转折：你无法同时看到所有乐手。有时，只有前排的小提琴手可见；有时，只有后排的鼓手可见。你的任务是挑选最佳的一组乐手，在当下演奏歌曲的特定段落，从而使整个乐团随时间推移听起来更加和谐。

这正是该论文所解决的问题，只不过乐团变成了联邦学习（一种让计算机在不共享私有数据的情况下协同学习的方式），而乐手变成了客户端（如你的手机或传感器）。

以下是他们解决方案的简化故事：

问题：“盲眼”指挥家

在一个完美的世界里，中央计算机（服务器）每次需要做出决策时都能看到每一个客户端。它可以挑选绝对最佳的客户端来帮助训练模型。

但在现实世界中，情况要混乱得多：

移动服务器：想象服务器是一架在城市上空飞行的无人机。它只能“听到”它当前悬停的社区附近的设备。它看不到下一个城镇的设备。
随机可用性：想象设备就像忙碌的人。有时它们会关闭 Wi-Fi、进入睡眠状态，或者只是不想参与。服务器只能看到人群中的一个随机切片。

这被称为部分可见性。服务器在蒙着眼睛的情况下做出决策，不知道那些“看不见”的客户端在做什么。如果它选错了可见的客户端，整个学习过程就会变慢或陷入混乱。

解决方案：时空侦探

作者们意识到，要在无法看到一切的情况下做出明智的决策，你需要成为一名利用历史的侦探。他们将这个问题视为一场游戏，服务器必须基于以下两点猜测最佳行动：

此刻谁可见？（当前的线索）。
过去几轮发生了什么？（过去的线索）。

他们将此称为部分可观测马尔可夫决策过程（POMDP）。这可以通俗地理解为：“我没有完整的画面，但我记得最近几步的操作，所以我能做出聪明的猜测。”

秘密武器：“时空”大脑

为了解决这个问题，他们利用强化学习（通过试错进行学习）构建了一个特殊的 AI 大脑。但这个大脑拥有一种超能力：时空注意力机制。

让我们用一个类比来分解它：

空间注意力（“谁在这里？”之眼）：当服务器观察可见的客户端群体时，它不会一视同仁。它会问：“在我此刻能看到的人中，谁与其他人最契合？”它会根据彼此之间的相对重要性来权衡它们的价值。
时间注意力（“记忆”之眼）：服务器回顾过去几轮的训练。它会问：“全局模型是如何变化的？我们上次学到了什么？”它利用这段历史来更好地理解当前的状况。

他们将这两只“眼睛”结合进了一个Q 网络。你可以把这个网络想象成一位教练，它为每一个可见的客户端打分（Q 值）。教练会观察客户端的当前表现，并记住它们过去的行为，从而决定：“这个客户端此刻是明星选手，还是普通选手？”

“身份证”技巧

部分可见性的一个棘手之处在于，客户端可能会消失一段时间，然后再次出现。如果没有一种识别它们的方法，服务器可能会把它们当作陌生人对待。

作者们为每个客户端分配了一个独特的身份嵌入（就像一张永久身份证）。即使一个客户端在 10 轮中不可见，当它返回时，服务器的 AI 也会记得：“啊，这是客户端 #42。我了解它们之前的风格。”这有助于系统在人群不断变化的情况下保持稳定。

结果：更美妙的音乐，更少的噪音

该团队在三个不同的“乐团”（数据集：衣物图像、物体图像和运动数据）上测试了他们的方法。他们将他们的“时空侦探”与其他方法进行了比较，这些方法要么忽略了可见性问题，要么没有利用历史数据。

发现非常明确：

更高的准确率：他们的方法学习速度更快，最终得到的模型比其他方法更智能。
更少的震荡：训练过程要平稳得多。其他方法的性能会上下跳动（就像手在颤抖），而他们的方法保持稳定。
历史很重要：他们测试了服务器应该回溯多远的历史。只回溯一步（忽略历史）效果最差。回溯大约 5 步是最佳点。回溯太远并没有带来太多额外的帮助。

一句话总结

这篇论文指出：当你在一个群体学习过程中无法看到所有人时，不要随机挑选。要使用一个 AI，它能观察当前谁可见，记住最近发生了什么，并能识别每个人随时间推移的身份。这种“时空”方法使得学习过程更加智能和稳定，即使服务器是在“盲飞”。

技术摘要：部分可见性下的联邦客户端选择

问题定义

联邦学习（FL）通常依赖有效的客户端选择，以缓解由数据异构性（非独立同分布数据）引起的性能下降。然而，大多数现有的客户端选择方法假设完全可见性，即服务器在每一轮通信中都能访问整个客户端群体的信息。

本文解决了部分可见性的挑战，这是一种在大规模或基于边缘的部署中出现的场景，由于以下限制，服务器只能访问客户端的子集：

移动性：在网络区域间移动的移动服务器只能与其当前覆盖范围内的客户端交互（例如 EdgeFlow 场景）。
可用性：客户端可能因调度、连接问题或隐私偏好而不可用。

在这种设置下，服务器在第 $t$ 轮仅观察到客户端子集（ $C_t$ ），使得全局训练状态仅部分可观测。现有的强化学习（RL）方法通常将客户端选择建模为假设完全状态可见的马尔可夫决策过程（MDP），不足以解决此问题。

方法论

1. POMDP 形式化

作者将部分可见性下的客户端选择问题形式化为部分可观测马尔可夫决策过程（POMDP）。

状态（ $s_t$ ）：概念上定义为所有 $N$ 个客户端的潜在更新参数。关键在于，服务器无法访问不可见客户端的梯度或更新。
动作（ $a_t$ ）：从当前可见集群 $C_t$ 中选择 $K$ 个客户端的子集。
观测（ $o_t$ ）：状态的掩码子集，仅包含可见客户端（ $j \in C_t$ ）的更新参数和 ID。
奖励（ $r_t$ ）：基于聚合后全局模型的 F1 分数定义，并随时间平滑以控制方差。

2. 深度 Q 学习（DQL）解决方案

为了解决 POMDP，本文提出了一种基于 DQL 的智能体。由于维护完整的交互历史在计算上不切实际，该方法利用最近 $H$ 轮的截断时间上下文来近似最优 Q 函数。

客户端级 Q 值分解：为了处理可变集群大小和组合动作空间，全局 Q 函数被分解为各个客户端的贡献。智能体独立评估每个可见客户端，并选择估计 Q 值最高的前 $K$ 个。
多步优化：智能体利用带有折扣因子 $\gamma$ 的多步时序差分学习，优化 Q 网络以预测 $H$ 步范围内的回报。

3. 时空注意力架构

核心创新是一种新颖的基于时空注意力的 Q 网络，旨在处理可变长度输入并捕捉复杂依赖关系。

降维：使用**随机投影（RP）**将高维模型参数映射到低维特征空间。与主成分分析（PCA）不同，RP 不需要预先收集的样本，因此适用于动态可见性。
时间上下文：网络摄入历史全局参数序列（ $W_{glob}^{t-H} \dots W_{glob}^t$ ）以捕捉训练轨迹。
空间注意力：一个模块处理当前可见客户端的令牌，以推理它们在特定集群内的相对贡献。
时间注意力：一个模块使用位置编码和因果掩码处理历史全局参数令牌，以学习时间依赖关系。
交叉注意力：通过交叉注意力整合空间和时间令牌，允许客户端表示关注历史全局上下文。
身份感知嵌入：为了解决由间歇性客户端参与引起的时间稀疏性，模型为每个客户端包含可训练的身份向量（嵌入）。这些向量充当“记忆”，以捕捉跨轮次的持久客户端特定特征，即使客户端不可见。
双路架构：Q 网络分离全局状态值的估计与选择特定客户端的相对优势，以提高学习稳定性。

主要贡献

POMDP 框架：首次将部分可见性下的联邦客户端选择形式化为 POMDP，明确解决了完全可见性假设与现实世界约束之间的差距。
时空注意力网络：一种新颖架构，将历史全局模型与当前客户端观测相结合，使智能体能够在观测不完整的情况下推理全局状态。
身份感知记忆：一种机制，用于跟踪不连续参与期间的客户端特定特征，减轻观测稀疏性的影响。
鲁棒的 DQL 策略：一种针对联邦学习客户端选择的离散性和不可逆性量身定制的客户端级分解和多步优化方法。

实验结果

所提出的方法在三个数据集（CIFAR-10、Fashion-MNIST、UCI-HAR）上进行了评估，涉及两种部分可见性设置（移动服务器和随机可用性）和两种异构性水平（狄利克雷分布和标签偏斜）。

性能：所提出的方法在几乎所有场景下均优于基线方法（FedProx、HA-EdgeFlow、FedAWAC）。与现有方法相比，其平均准确率提高了3.6% 至 7.9%。
稳定性：该方法在收敛后表现出更小的性能波动（更低的标准差），表明训练稳定性增强。
消融研究：
- 上下文长度（ $H$ ）：随着 $H$ 从 1（MDP）增加到 5，性能得到提升，验证了历史上下文的必要性。进一步增加（ $H=8, 10$ ）带来的收益递减，表明近期历史已足够。
- 身份嵌入：移除身份感知模块导致在严重标签偏斜下准确率显著下降，并在狄利克雷分布下波动增加，证实了其在客户端记忆和稳定性方面的作用。

意义与主张

本文声称，其方法为部分可见性下尚待充分探索的客户端选择问题提供了原则性解决方案。通过将问题建模为 POMDP 并利用时空注意力，该方法有效地弥合了由观测不完整引起的信息差距。作者断言，其框架在异构和部分可见设置中特别有效，为现有的基于 MDP 或启发式的选择策略提供了稳健的替代方案，后者在服务器无法观测完整客户端群体时会失效。该工作验证了，在动态的现实世界边缘环境中，结合历史上下文和客户端身份记忆对于维持模型性能至关重要。