🤖 machine learning

FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

本文提出了一种名为 FMCL 的类感知客户端聚类框架，该框架采用单次学习范式，利用冻结的基础模型表征构建语义客户端签名，从而在不需迭代协调或额外通信开销的情况下，提升统计异质性环境下的联邦学习性能与稳定性。

原作者： Mahad Ali, Laura J. Brattain

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahad Ali, Laura J. Brattain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群人识别不同类型的动物。在一个理想的世界里，每个人都会拥有一本包含相同狮子、老虎和熊图片的教科书。但在现实世界中（正如本文所描述的“联邦学习”那样），每个人都有自己的私人相册。

有些人只有农场动物的照片，有些人只有丛林动物的照片，还有些人则两者兼有。如果你试图用一位单一的“全局”老师同时教导所有人，课程就会变得混乱。农场专家可能会认为老虎是猫，而丛林专家则可能对牛感到困惑。这就是统计异质性问题：每个人的数据都不同，而“一刀切”的方法行不通。

旧方法：猜测与检查

以前的方法试图通过将人们分组来解决这个问题。

“梯度”方法：他们等到所有人开始学习后，再查看他们的作业答案（梯度），以此判断谁与谁相似。问题在于？早期的作业杂乱无章且充满错误，因此形成的分组极不稳定。
“像素”方法：有些人直接查看图像的原始像素（例如计算照片中有多少红色像素）。这就像试图通过数逗号的数量来理解一个故事；它忽略了实际含义。
“均值”方法：其他人则取所有人特征的平均值。这就像说：“普通人身高 5 英尺 9 英寸，棕色头发”，却忽略了有些人身高 6 英尺 5 英寸，而另一些人只有 5 英尺 2 英寸。

新方案：FMCL（“智能图书管理员”）

作者提出了一种名为FMCL的新系统。将其想象为一位智能图书管理员，他利用一本庞大的、经过预训练的百科全书（称为基础模型），在课程开始之前就对学生进行了组织。

以下是 FMCL 的工作原理，分步说明：

1. “单次”签名（无需等待）

与其等待学生去学习并犯错，智能图书管理员会立即查看他们的相册。

工具：图书管理员使用“冻结的基础模型”。想象这是一个超级智能的 AI，它已经阅读了数百万本书籍并看过数百万张图片。它不仅仅通过颜色，而是通过意义（语义结构）确切地知道“狮子”长什么样。
签名：对于每个学生，图书管理员创建一个“类别感知签名”。它不仅仅说“这个学生有 50 张图片”，而是说“这个学生有 10 张狮子图片、20 张老虎图片和 20 张熊图片，并且这是它们在他们眼中确切本质的样子”。

2. “重叠感知”距离（避免误认朋友）

这是本文最巧妙的技巧。
想象两个学生：

学生 A 有 1,000 张狮子图片和 1 张老虎图片。
学生 B 有 1 张狮子图片和 1,000 张老虎图片。

如果你只看“平均”图片，他们可能看起来很相似，因为他们都有一只狮子和一只老虎。但实际上他们非常不同！

修正：FMCL 使用重叠感知计算。它会检查：“你们真正共享了多少？”它意识到学生 A 几乎不关心老虎，而学生 B 几乎不关心狮子。因此，它将他们分在不同的组。这防止了系统仅仅因为人们碰巧共享了一个微小、罕见的事物就将他们归为一组。

3. “轮廓”测试（找到合适的组大小）

通常，你必须猜测：“我们应该分成 2 组？3 组？还是 5 组？”
FMCL 内置了轮廓分数。想象一个舞池。轮廓分数衡量人们在各自的圈子里跳舞得有多好。

如果组太小，人们会拥挤。
如果组太大，人们会相距甚远。
系统会自动扫描不同的组大小，并选出“舞者”最快乐、最 distinct（distinct 此处指区分度最高）的那一个。它在训练开始前只做一次，因此在实际学习过程中不会浪费额外时间。

结果：为何重要

作者在三个不同的“相册”上测试了该方法：

乳腺超声图像 (BUSI)：肿块的医学图像。
肺组织学 (LungHist700)：肺组织的显微图像。
Imagenette：一组标准的 10 种自然图像（如狗、猫和卡车）。

结果：
在每一次测试中，FMCL 都是当之无愧的赢家。

准确率：它在识别正确类别方面获得了最高分数。
稳定性：它不像旧方法那样剧烈波动。
“基础”效应：当他们让旧方法（如 PACFL 或 FECFL）使用相同的“智能图书管理员”（基础模型）时，这些旧方法的表现有了显著提升。这证明了拥有对数据的深层语义理解才是关键秘诀。

总结

FMCL 就像是为分布式学习团队进行的赛前策略会议。与其让他们跌跌撞撞地争论谁该和谁一组，不如利用一个超级智能的预训练 AI 来瞬间理解每个人数据的“氛围”。它根据他们实际掌握的知识完美地对他们进行分组，考虑到某些事物的稀有性，并自动计算出最佳团队数量。

结果如何？一个学习更快、犯错更少、且无需浪费时间争论谁该坐在哪张桌子的团队。

以下是论文《FMCL：基于基础模型表示的异构联邦学习中的类别感知客户端聚类》的详细技术总结。

1. 问题陈述

联邦学习（FL）允许在不共享原始数据的情况下进行协作模型训练，但在**统计异构性（非独立同分布数据）**下表现显著不佳。在现实世界场景（如医疗保健、移动设备）中，由于人口统计特征、设备类型或采集协议的不同，客户端数据分布存在差异。

全局模型的局限性： 标准的聚合方法（如 FedAvg）假设存在单一的全局分布，当客户端数据出现分歧时，会导致性能次优。
现有聚类联邦学习（CFL）的局限性：
- 基于梯度的方法（如 CFL、IFCA）： 依赖迭代训练来计算梯度，这在训练初期噪声较大、不稳定，且需要超参数调优（阈值）或预先知道聚类数量（ $K$ ）。
- 一次性方法（如 PACFL、FECFL）： 使用数据导出的签名，但往往依赖原始像素统计（缺乏语义意义）或简单的平均特征嵌入（忽略类内分布结构）。它们通常依赖启发式距离阈值，且缺乏用于自动聚类选择的原理性机制。

2. 方法论：FMCL 框架

作者提出了FMCL（基于基础模型的客户端聚类），这是一个一次性、类别感知的框架，在联邦训练开始之前执行聚类，在优化过程中无需额外的通信。

A. 核心组件

基础模型（FM）表示：
- FMCL 利用冻结的、特定领域的基础模型（例如病理学中的 CHIEF、超声中的 USFM、自然图像中的 ViT-Tiny）来提取高层语义嵌入。
- 与原始像素或随机初始化的编码器不同，基础模型提供了可迁移的、语义丰富的特征。
类别感知客户端签名：
- 不同于为每个客户端构建单一的全局嵌入，FMCL 为每个客户端 $i$ 构建一个签名 $\mathcal{S}_i$ ，捕捉其本地数据集中存在的每个类别的分布。
- 对于客户端 $i$ $i$ 数据中的每个类别 $c$ $c$ ：
  - 平均嵌入（ $\mu_{i,c}$ ）： 属于类别 $c$ 的样本的特征向量的平均值。
  - 类别权重（ $w_{i,c}$ ）： 类别 $c$ 样本占客户端数据集总大小的比例。
- 签名： $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$ 。
重叠感知余弦距离：
- 为了衡量两个客户端（ $i$ 和 $j$ ）之间的相似度，FMCL 计算它们条件类别嵌入之间的加权余弦距离。
- 加权： 每个重叠类别 $c$ 的贡献由 $\min(w_{i,c}, w_{j,c})$ 进行加权。
- 重叠缩放： 最终距离通过总重叠量 $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$ $Ω_{ij} = \sum min (w_{i, c}, w_{j, c})$ 进行反向缩放。
  - 原理： 这防止了共享类别极少的客户端仅仅因为在那稀疏的类别上达成一致而显得人为相似。它对共享标签支持有限的客户端对施加惩罚。
- 无重叠客户端： 如果客户端之间没有共享类别（ $C_{ij} = \emptyset$ ），则分配一个基于观察到的距离的第 95 或 99 百分位数导出的较大距离。
自动聚类选择：
- FMCL 采用数据驱动策略来确定最佳聚类数量（ $K$ ），无需手动调优。
- 过程：
  1. 计算成对矩阵中非对角线距离的变异系数（CV），以估计整体异构性。
  2. 基于 CV 定义 $K$ 的自适应候选窗口。
  3. 对窗口内的每个 $K$ 执行层次聚类，并使用**轮廓系数（Silhouette Score）**进行评估。
  4. 选择对应于轮廓曲线主导局部最大值的 $K$ 。

3. 主要贡献

语义客户端签名： 提出了一种新颖的签名构建方法，利用冻结的基础模型显式建模条件类别分布，比原始统计量或平均嵌入更好地捕捉语义结构。
重叠感知度量： 提出了一种新的距离度量，考虑了类别重叠和分布权重，确保即使在客户端具有稀疏或不平衡的类别分布时，也能进行稳健的相似度测量。
一次性且架构无关： 聚类在训练前执行一次，在联邦优化阶段引入零通信开销，并且与下游模型架构无关。
原理性自动化： 提供了一种确定性的、数据驱动的机制（CV 引导的轮廓分析）来选择聚类数量，消除了手动超参数调优的需求。

4. 实验结果

作者在三个数据集上评估了 FMCL：BUSI（乳腺超声）、LungHist700（肺组织病理学）和Imagenette（自然图像）。

性能： FMCL 在所有指标（准确率、Macro-F1、AUC-ROC）上始终优于全局基线（FedAvg、FedProx）和先前的聚类方法（CFL、PACFL、FECFL）。
- 示例（BUSI）： FMCL（Auto-K）实现了91.68% 的准确率和88.72% 的 F1，显著超越了 FedAvg（56.34% 准确率），甚至超越了其他聚类方法的 FM 增强版本（例如 FECFL (FM) 为 73.15% 准确率）。
组件影响：
- 基础模型： 用 FM 嵌入替换原始特征显著提升了现有方法的性能（例如 PACFL (FM) 对比 PACFL）。
- 重叠感知： 移除重叠感知缩放项（"FMCL no overlap"）导致性能一致下降，验证了所提出距离度量重要性。
- 自动选择： "Auto-K"变体通常优于固定- $K$ 设置，证明了选择算法的稳健性。
稳定性： 与迭代基于梯度的方法相比，FMCL 表现出更稳定的聚类行为和更快的收敛速度。

5. 意义

连接基础模型与联邦学习： 这项工作展示了大规模基础模型在联邦学习背景下的实际效用，特别是用于表征客户端数据分布而无需数据集中化。
对异构性的鲁棒性： 通过显式建模类别级分布和重叠，FMCL 解决了现实世界异构联邦部署中常见的“长尾”和“稀疏类别”问题（例如罕见疾病亚型）。
实际部署： 该框架的一次性特性使其非常适合通信带宽受限或无法进行迭代协调的部署场景。它为未来基础模型与联邦学习交叉领域的研究提供了一个模块化、架构无关的基础。