🤖 machine learning

Influence-Oriented Personalized Federated Learning

本文提出了 FedC^2I，一种面向影响力的个性化联邦学习框架，该框架通过专门的向量和矩阵来量化客户端级和类别级的的影响，从而实现自适应的个性化参数聚合，并提升在非独立同分布（non-IID）设置下的性能。

原作者： Yue Tan, Guodong Long, Jing Jiang, Chengqi Zhang

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Tan, Guodong Long, Jing Jiang, Chengqi Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，机器通过在海量数据中寻找模式来进行学习。几十年来，这种学习一直发生在一个地方：一个汇集了所有信息的庞大计算机中心。但随着我们的数字生活变得更加个性化，且我们的数据变得更加敏感，一种被称为“联邦学习”的新方法应运而生。想象一群人想要一起解开一个拼图，但他们无法向任何人展示自己的碎片。他们不是把碎片带到一张中央桌子旁，而是将它们留在自己手中。他们只向协调员传递从这些碎片中学到的规则，由协调员将这些规则混合在一起并传回。这使得这群人能够在从未暴露个人隐私信息的情况下，建立起一种更智能、更共享的理解。然而，当碎片过于不同时，问题就出现了。如果一个人在白板上观察手写数字，而另一个人在屏幕上观察数字文本，他们学到的规则可能会发生冲突，导致最终的共享模型变得混乱，且对每个人而言效果都变差。

研究人员长期以来一直试图通过平均所有参与者的规则来解决这个问题，假设寻找“中间地带”对每个人都是最好的。但当数据高度多样化时，这种方法往往会失败，导致某些参与者得到的模型并不符合他们的特定需求。现在，一组科学家提出了一种处理这种协作的不同方式，这种方式承认并非所有的伙伴对其他伙伴都同样有帮助。他们开发了一个名为 FedC2I 的系统，该系统允许每个参与者根据自己的具体情况，决定哪些其他参与者最值得去倾听。该方法不再强迫每个人都遵循同一套指令，而是让每个客户端根据自身情况，选择性地借鉴他人的最有用见解，从而构建出一个个性化的共享模型版本。

这种新方法的核心在于衡量“影响力”。在标准设置中，每个参与者都以固于固定的权重为最终模型做出贡献，这个权重通常仅仅基于他们拥有的数据量。研究人员认为，这就像是在要求房间里的每个人都以相同的音量说话，而不考虑他们的声音对试图倾听的人是否真的有帮助。在他们的系统中，每个客户端在接受新规则之前都会进行一次小型实验。他们暂时移除一个其他参与者的贡献，并观察自己的性能下降了多少。如果移除某个特定的伙伴会导致准确率显著下降，那么该伙伴就被视为具有高度影响力，并在下一轮学习中被赋予更高的权重。如果移除某个伙伴几乎没有产生影响，则其影响力就会降低。这个过程针对每一个参与者进行，从而创建了一张关于“谁在帮助谁”的独特地图。

为了使这种方法更加精确，研究人员意识到，影响力不仅仅关乎整个个体，还关乎特定的主题。在识别数字的任务中，一个参与者可能非常擅长识别数字“7”，但对数字“3”却表现很差；而另一个人可能恰恰相反。新系统将学习分为两个部分：识别形状和特征的通用能力，以及为这些特征贴标签的具体规则。它分别为这两个层级测量影响力。对于通用特征，它观察一个客户端在多大程度上帮助另一个客户端理解数据的整体风格。对于特定标签，它检查一个客户端为每个单独类别提供了多少帮助。这使得一个客户端可以从一个邻居那里学习“7”的通用形状，并从另一个邻居那里学习绘制“7”的具体方式，从而在不产生冲突规则的混乱情况下，结合两者的优点。

该团队在涉及手写数字和来自不同领域的日常物体图像的两个不同数据集上测试了这种方法。在这些测试中，数据被刻意设计得非常困难，采用了不同的字体、背景和光照条件，以模拟现实世界中杂乱无章的真实情况。结果表明，这种基于影响力的处理方法始终优于现有的方法。在数字识别任务中，新系统相比于之前最好的技术，显著提高了平均准确率。在物体识别任务中，它也取得了更高的整体得分。研究人员发现，该系统特别擅长识别哪些客户端具有相似的特征，例如相同的书写风格或背景颜色，并优先考虑这些联系。

一个关键发现是，客户端之间的影响力并不是静态的，它会随着学习的进展而变化。在早期阶段，连接是较为流动的，但随着模型的学习深入，系统会自然而然地进入一个稳定的模式，即客户端始终依赖于最相关的伙伴。研究人员还测试了该系统对用于这些测量的设置的敏感程度。他们发现，有一个特定的设置对这两个数据集都最为有效，既能让系统具备足够的选择性以忽略无用的噪声，又能保持足够的开放性以向多样化的来源学习。实验证实，通过在客户端层面和类别层面同时测量影响力，该系统可以创建一个更稳健且更个性化的学习环境。

这项工作表明，协作式机器学习的未来可能不在于为每个人寻找一个完美的单一模型，而在于创造能够适应个人需求的灵活系统。通过量化一个参与者对另一个参与者的帮助程度，并区分通用知识与特定专业知识，研究人员展示了机器可以在不损害隐私的情况下，通过合作更有效地共同学习。该方法不需要分享原始数据或复杂的统计数据；它完全依赖于模型在彼此测试时的表现。这使得它成为处理数据多样化且隐私至关重要的场景时的实用解决方案，为人工智能通过尊重每个参与者独特背景的合作来实现成长提供了一种途径。

技术摘要：面向影响力的个性化联邦学习 (FedC2I)

1. 问题陈述

联邦学习 (FL) 能够在不共享私有数据的情况下，实现分布式客户端之间的协作模型训练。然而，联邦学习的一个核心挑战是统计异构性（即非 IID 问题），即客户端拥有来自不同领域且具有不同特征属性的数据。传统的联邦学习方法（如 FedAvg）依赖于固定的权重方案（通常与数据集大小成正比）进行参数聚合。这种方法忽略了客户端之间的相互影响。

在现实场景中，具有相似偏好、背景或数据特征（例如数字识别中相似的字体风格或书写习惯）的客户端可以为彼此提供更有用的知识。相反，聚合来自差异化数据分布的客户端模型可能会导致负迁移。现有的个性化联邦学习方法通常侧重于全局模型的鲁棒性，或使用基于损失/梯度相似性的中心化重加权，但它们未能明确量化并利用客户端级和类别级的影响力来进行自适应的个性化聚合。具体而言，它们没有解决客户端如何根据其特定的数据特征和学习需求，选择性地从其他客户端获取知识的问题。

2. 方法论：FedC2I

作者提出了 FedC2I（面向影响力的联邦学习），这是一个明确量化并利用客户端级影响力和类别级影响力来指导参数聚合的框架。其核心直觉是：一个客户端的有用性应当从每个目标客户端的角度进行评估，而不是通过一个全局共享的标准。

A. 模型分解

FedC2I 将局部模型 $w_m$ 解耦为两个部分：

特征表示层 ( $\theta_m$ )： 捕捉跨领域共享的可迁移模式（形状、纹理、风格）。
分类器 ( $\phi_m$ )： 将表示映射到类别预测，包含特定类别的决策边界。

B. 通过留一法测量影响力

为了在不访问原始数据的情况下量化影响力，FedC2I 采用了在局部小批量（mini-batches）上评估的留一法原则（leave-one-out principle）。

客户端级影响力 ( $\lambda_m$ )：
- 目标： 衡量客户端 $i$ 对客户端 $m$ 整体表示学习的贡献程度。
- 机制： 客户端 $m$ 使用聚合后的表示模型 $\theta_{-i}$ （其中排除了客户端 $i$ 的参数）在本地批次上计算损失 $l^{-i}_m$ 。
- 计算： 较大的 $l^{-i}_m$ 意味着客户端 $i$ 具有高度影响力。影响力向量 $\lambda_m = [\lambda^1_m, \dots, \lambda^M_m]$ 计算如下：
  $\lambda^i_m = \frac{[l^{-i}_m]^\gamma}{\sum_{j=1}^M [l^{-j}_m]^\gamma}$
  其中 $\gamma$ 是控制敏感度的超参数。
- 聚合： 个性化特征表示 $\bar{\theta}_m$ 通过由 $\lambda^i_m$ 加权的各客户端 $\theta_i$ 构建而成。
类别级影响力 ( $\Lambda_m$ )：
- 目标： 捕捉针对特定类别的细粒度分歧或一致性，因为客户端可能共享领域特征，但在特定类别的决策边界上存在差异（例如，对数字“7”的不同理解）。
- 机制： 对于每个类别 $c$ ，当类别特定权重向量 $\phi_{m,c}$ 被排除掉客户端 $i$ 的聚合版本 $\phi^{-i}_{m,c}$ 后，客户端 $m$ 评估损失 $l^{-i, -c}_m$ 。
- 计算： 构建影响力矩阵 $\Lambda_m \in \mathbb{R}^{M \times C}$ ，其中元素 $\Lambda^{i,c}_m$ 代表客户端 $i$ 对客户端 $m$ 类别 $c$ 的影响力：
  $\Lambda^{i,c}_m = \frac{[l^{-i, -c}_m]^\gamma}{\sum_{j=1}^M [l^{-j, -c}_m]^\gamma}$
- 聚合： 个性化分类器 $\bar{\phi}_m$ 逐类别构建。对于类别 $c$ ，权重通过 $\Lambda_m$ 的第 $c$ 列进行聚合。

C. 训练流程

在每个通信轮次中：

服务端广播所有客户端最新的局部参数。
每个客户端 $m$ 使用采样的微批量进行局部影响力估计，以计算 $\lambda_m$ 和 $\Lambda_m$ 。
客户端 $m$ 通过上述加权聚合构建个性化初始化参数 $\{\bar{\theta}_m, \bar{\phi}_m\}$ 。
客户端 $m$ 从该个性化初始化开始，在其私有数据集上进行局部训练 (SGD)。
更新后的参数被发送回服务端。

3. 核心贡献

本文概述了三个主要贡献：

新颖的影响力量化方法： 这是首个在联邦学习系统中明确探索并量化客户端级和类别级影响力的工作，超越了固定的或全局共享的聚合权重。
FedC2I 框架： 提出了一个具体的、可行的框架，该框架利用影响力向量和矩阵来实现客户端的参数聚合个性化。这使得客户端能够基于数据特征进行选择性的知识获取。
实证验证： 在基准数据集（Digit-5 和 Office-10）上的广泛实验证明，该方法在非 IID 设置下的有效性、鲁棒性和可解释性方面均优于基准方法。

4. 实验结果

作者在两个异构数据集上将 FedC2I 与八种基准方法（包括 Local, FedAvg, FedProx, FedRep, FedRoD, FedProto, FedCALM, 和 FedIC）进行了对比评估：

Digit-5： 五个领域（MNIST, SVHN, USPS, SynthDigits, MNIST-M），包含 10 个数字类别。
Office-10： 四个领域（Amazon, Caltech, DSLR, WebCam），包含 10 个重叠类别。

主要发现：

性能表现： FedC2I 在至少一半的客户端/领域中优于最佳基准方法。
准确率提升： 相比于最佳基准方法，它实现了 0.78% 至 2.62% 的平均测试准确率提升。
- 在 Digit-5 上，FedC2I 达到了 85.50% 的准确率，而次优方法（FedCALM）为 83.95%。
- 在 Office-10 上，FedC2I 达到了 66.70% 的准确率，而次优方法（FedCALM）为 65.40%。
消融实验： 移除客户端级影响力向量 ( $\lambda$ ) 或类别级影响力矩阵 ( $\Lambda$ ) 都会导致性能显著下降，这证实了这两个组件都是必要的。具体而言，客户端级影响力提供了主要的提升，而类别级影响力进一步精炼了性能。
超参数敏感性： 对敏感度参数 $\gamma$ 进行了调优， $\gamma=5$ 取得了最优结果。作者指出，影响力关系是动态变化的，从训练早期的平滑分布演变为训练后期更稳定、更具选择性的关系。

5. 重要性与主张

本文声称，FedC2I 通过将聚合范式从服务端固定权重转向客户端侧自适应、感知影响力的聚合，填补了现有联邦学习方法的空白。

隐私保护： 该方法遵循标准的联邦学习隐私协议。影响力测量仅通过在私有微批量上的局部损失评估得出；不传输任何原始数据、梯度或分布统计信息。
去中心化潜力： 通过将聚合逻辑移至客户端侧，该框架减轻了服务端的负担，并为去中心化联邦学习系统提供了路径。
可解释性： 影响力向量和矩阵提供了一种可解释的机制，用于理解哪些客户端对特定特征或类别做出了贡献，从而为原本在标准联邦学习中不透明的跨客户端关系提供了洞察。

作者总结道，通过显式建模客户端间的相互影响，FedC2I 使客户端能够高效且选择性地获取有用知识，在不损害数据隐私的前提下，显著提高异构环境下的局部性能。