🤖 machine learning

Enhancing Federated Quadruplet Learning: Stochastic Client Selection and Embedding Stability Analysis

本文提出了一种名为 FedQuad 的新型联邦学习方法，该方法利用随机客户端选择和基于四元组的度量学习来增强类内紧凑性和类间可分性，从而在异构和不平衡数据分布下提升全局模型的泛化能力并防止表征崩溃。

原作者： Ozgu Goksu, Nicolas Pugeault

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ozgu Goksu, Nicolas Pugeault

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《增强联邦四元组学习》的解释。

大局观：“远程美术班”问题

想象一个庞大的美术班，学生们（称为客户端）分散在世界各地。由于隐私规定或旅行成本，他们无法聚集在一个大房间里。相反，他们各自拥有自己的画具，并有一位老师（服务器）向他们发送指令。

目标是让每个人都能学会画出一幅完美的猫、汽车或狗的图画。在普通班级里，老师会看到每个人的作品，将它们混合在一起，然后给出一套完美的指令。

但在这个“远程美术班”（论文中称为联邦学习）中，存在一个巨大的问题：学生们的画具差异很大。

学生 A 只有红色猫的图画。
学生 B 只有蓝色狗的图画。
学生 C 有绿色鸟的图画，但根本没有猫的图画。

因为他们无法看到彼此的作品，所以他们开始按照自己独特的风格作画。当老师试图将他们的指令合并成一个“全局模型”时，结果是一团糟。这只“全局猫”最终看起来像是红色猫、蓝色狗和绿色鸟的奇怪混合体。学生们的个人技能无法融合。这被称为表征坍塌——全局模型失去了区分事物的能力。

解决方案：FedQuad（“集体照”策略）

作者提出了一种名为FedQuad的新方法。他们不再只是告诉学生“画一只猫”，而是在练习期间给他们一个特定的游戏。这个游戏基于四元组（四个一组）。

以下是每个学生进行这个游戏的方式：

锚点（Anchor）： 挑选一张图片（例如，一只红猫）。
正样本（Positive）： 挑选另一张相同事物的图片（例如，另一只红猫）。
负样本（Negatives）： 挑选两张不同事物的图片（例如，一只蓝狗和一只绿鸟）。

学生的任务是调整他们的绘画风格，以便：

两只猫非常接近（它们看起来相似）。
猫与狗和鸟非常遥远。

为何特别：“双负样本”技巧

以前的方法尝试做类似的事情，但只使用了一个负样本（例如，“让猫远离狗”）。作者认为这还不够。如果你只把猫推离狗，猫可能会意外地靠鸟太近。

FedQuad 强制学生同时推开猫与两个不同的事物（狗和鸟）。

类比： 想象你站在一个拥挤的房间里。
- 旧方法： 你被告知“远离穿红衬衫的人”。你可能会不小心撞到穿蓝衬衫的人。
- FedQuad 方法： 你被告知“远离穿红衬衫的人和穿蓝衬衫的人”。你被迫在中间找到一个位置，让你远离所有其他人，同时保持你的群体（猫）紧密且安全。

结果：实验中发生了什么？

研究人员在三个不同的“绘画挑战”（数据集）上测试了这种方法：

CIFAR-10： 10 种简单物体（简单）。
CIFAR-100： 100 种物体（较难）。
Tiny-ImageNet： 200 种物体（非常难）。

他们模拟了一种情况，即学生们的画具差异很大（有些只有 10 种物体，有些有 200 种，有些图片非常少）。

发现：

更好的分组： FedQuad 在保持相似物品（如所有猫）紧密聚集在一起，同时让不同物品（猫与狗）保持遥远方面，表现要好得多。
在混乱中生存： 当学生数量增加（从 10 人到 200 人）且画具变得非常不均衡时，其他方法失败了。全局模型变得困惑。然而，FedQuad 依然运作良好。
防止“坍塌”： 当其他方法让“全局猫”变成一团模糊的泥潭时，FedQuad 让“全局猫”保持清晰、 distinct 的猫的样子。

限制（注意事项）

论文指出这个游戏有一条主要规则：你至少需要三种不同类型的事物才能玩。

如果学生只有猫和狗的图画（只有两种类型），他们就无法组成“锚点 + 正样本 + 两个负样本”的群体。
因此，FedQuad 不适用于只有两个类别的非常简单的问题（例如“这是猫吗？”）。它需要一定的多样性才能发挥魔力。

总结

这篇论文介绍了FedQuad，这是一种在多台计算机上训练 AI 模型的新方法，无需共享私有数据。它通过采用“四人小组”策略，解决了模型因混淆而失效的问题。通过强制 AI 将相似事物保持靠近，将不同事物保持远离（同时使用两个不同的“不同”示例），它防止了最终模型变成一团困惑的混乱，即使数据杂乱无章且分布不均。

技术摘要：增强联邦四元组学习（FedQuad）

问题陈述

联邦学习（FL）能够在不集中数据的情况下实现去中心化模型训练，从而解决隐私和监管约束问题。然而，全局模型的泛化性能经常因客户端之间的数据异构性（非独立同分布，non-IID）而下降。这种异构性的一个关键后果是表征坍塌，即特征空间失去判别能力。正如论文中所示，在类别分布有限或不平衡的客户端上进行分散的本地训练，会导致特征表示不一致。当这些未对齐的本地模型在中央服务器进行聚合时，全局嵌入空间会发生坍塌，导致类间边界模糊，产生重叠或琐碎的嵌入，从而损害泛化能力。

现有的缓解方法，如 FedProx（正则化）或 MOON（模型对齐）等对比学习方法，在严重的非 IID 条件下往往难以奏效。具体而言，过于激进的对齐可能会降低类内多样性，而标准的对比损失或三元组损失在高度异构的设置中，可能无法为多个或“困难”负样本提供足够的指导。

方法论：FedQuad

作者提出了FedQuad，这是一个基于度量学习的框架，旨在通过显式地强制最小化类内方差并最大化客户端间的类间分离，来防止表征坍塌。

核心机制：随机四元组采样

与可能弱化负样本对处理的传统三元组损失或标准四元组损失不同，FedQuad 采用了一种专为非 IID 和不平衡数据定制的随机四元组采样策略。每个四元组包含：

锚点（ $x_a$ ）： 来自客户端本地数据集的样本。
正样本（ $x_p$ ）： 与锚点同类别的样本。
负样本 1（ $x_{n1}$ ）： 来自不同类别的样本。
负样本 2（ $x_{n2}$ ）： 来自第三个不同类别的样本（既不同于锚点，也不同于 $x_{n1}$ ）。

这种类别感知采样确保模型能够学习将锚点与多个不同的负类别同时分离，而不仅仅是针对单个负样本对。

损失函数

本地目标函数将标准交叉熵损失（ $\ell_{ce}$ ）与重构的四元组损失（ $\ell_{quad}^*$ ）相结合：
$\mathcal{L} = \ell_{ce} + \beta \cdot \ell_{quad}^*$

提出的四元组损失定义如下：
$\ell_{quad}^* = \left[ \|f(x_a) - f(x_p)\|^2 - \|f(x_a) - f(x_{n1})\|^2 + m_1 \right]_+ + \left[ \|f(x_a) - f(x_p)\|^2 - \|f(x_a) - f(x_{n2})\|^2 + m_2 \right]_+$

该公式的关键特征包括：

双重负约束： 它同时将锚点推向两个不同的负样本，增强了对不同难度负样本的鲁棒性。
不同边界： 使用两个不同的边界值（ $m_1$ 和 $m_2$ ）允许灵活的分离半径，以适应语义或类别间的差异，而不是强制统一的推离力。
本地训练： 该损失在聚合前应用于客户端嵌入，确保本地模型学习到对聚合引起的退化具有弹性的判别结构。

该框架遵循标准的 FedAvg 协议进行模型聚合，客户端使用提出的损失进行本地训练，并将更新后的参数上传至服务器。

主要贡献

新颖框架： 提出了 FedQuad，这是一个基于度量学习的 FL 框架，专门设计用于缓解异构客户端数据下的表征坍塌问题。
方差分析： 全面分析了类内方差和类间方差在保持判别性表示中的作用，强调了平衡最小类内方差与最大类间方差的必要性。
四元组损失设计： 开发了一种基于四元组的损失函数，通过强制与多个负类别进行强分离，有效缓解了本地和全局模型的坍塌。
采样策略： 为每个客户端设计了离线随机四元组采样策略，专门针对不平衡和非 IID 分布，以确保训练批次的鲁棒性和多样性。
可扩展性证明： 实证验证了该方法在大量客户端（多达 200 个）和每轮极低参与率场景下的有效性。

实验结果

作者在CIFAR-10、CIFAR-100和Tiny-ImageNet上评估了 FedQuad，测试环境包括不同的非 IID 设置（ $\alpha = 0.5$ 和 $\alpha = 0.3$ 的狄利克雷分布）以及不同的客户端数量（10、50、200）。

性能： FedQuad 始终优于现有基线，包括 FedAvg、SupConFL、TripletFL、QuadrupletFL 和 MOON。
- 在CIFAR-10上，使用 200 个客户端且具有高异构性（ $\alpha=0.3$ ）时，FedQuad 达到了**80.13%**的准确率，显著优于 MOON（49.69%）和标准 FedAvg（74.05%）。
- 在CIFAR-100（100 个类别）上，FedQuad 保持了稳健的性能（例如，在 $\alpha=0.3$ 且 200 个客户端时为26.90%），而 MOON 严重退化至13.06%。
- 在Tiny-ImageNet上，FedQuad 在所有异构性水平下均取得了最高准确率，在 10 个客户端且 $\alpha=0.3$ 时达到35.06%。
表征质量： 对类间距离与类内距离比率的分析显示，FedQuad 在所有方法中实现了最低的类内方差，表明类内特征紧密聚集。同时，它保持了清晰的类间分离，避免了其他方法中观察到的“坍塌”现象，即嵌入变得无法区分。
可扩展性： 该方法即使在低客户端参与率（1% 至 5%）下也表现出韧性，其中度量学习目标被证明比标准聚合方法更具鲁棒性。

意义与主张

论文声称，FedQuad 解决了当前 FL 方法的一个根本局限性：在不交换原始数据的情况下，无法在严重的数据异构性下维持判别性特征结构。

防止坍塌： 通过显式建模锚点与多个负样本之间的相对距离，FedQuad 防止全局嵌入空间坍塌为平凡解，这是非 IID FL 中常见的失败模式。
优于对比学习： 作者认为，虽然对比学习（如 MOON）能够对齐本地和全局模型，但在极端类别不平衡下往往失效。FedQuad 的随机四元组方法提供了更大的灵活性和更强的负约束，从而产生更稳健的表示。
隐私保护： 该方法在无需数据共享或使用全局原型的情况下实现了这些改进，严格遵守 FL 隐私约束。
局限性： 作者谦逊地指出，FedQuad 要求客户端拥有至少三个不同类别的样本以形成有效的四元组，这限制了其在二分类或极少类别分类任务中的适用性。此外，在 Tiny-ImageNet 等高度多样化数据集上的性能表明，固定架构可能并非对所有数据分布都是最优的。

总之，该论文将 FedQuad 定位为联邦设置中度量学习的重要进展，证明了结构化的嵌入目标对于缓解统计异构性并在去中心化环境中保持模型泛化能力至关重要。