🤖 machine learning

Closing the Alignment-Maturity Gap in Federated Prototype Learning

本文介绍了 FedSAP，这是一个联邦学习框架，通过结合确定性对齐课程与几何驱动的代理分离损失，解决了基于原型的方法中的对齐-成熟度差距（alignment-maturity gap），从而在不增加通信开销的情况下，稳定了表示学习并在异构数据条件下显著提升了性能。

原作者： Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群学生（即“客户端”）正试图学习如何识别不同的动物，但他们都在各自独立的教室里，无法共享笔记本，也看不见彼此的作品。他们只能偶尔向老师（即“服务器”）发送一份极其简短的总结笔记。这就是**联邦学习（Federated Learning）**的世界。

问题在于，每个学生拥有的图片集都非常不同。一个学生可能只有猫和狗的照片；另一个则只有鸟和鱼的照片。如果他们试图过快地共同学习，就会感到困惑。

问题所在：“急于定论”

在以往的方法中，老师会在开学第一天就试图强迫所有学生对“猫”长什么样达成共识。

论文称之为**“对齐-成熟度差距”（Alignment-Maturity Gap）**。以下是类比：

不成熟的学生： 在学年初，一个学生对猫的理解是混乱且模糊的。他们可能会认为猫仅仅是“一个毛茸茸的东西”。
嘈杂的总结： 当这个学生将他们混乱的想法发送给老师时，老师会将这个想法与其他学生的混乱想法结合起来，从而创建一个“全局猫定义”。
压力锅： 老师随后立即大喊：“你必须修改你的画作，以符合这个‘全局猫定义’！”
结果： 因为学生的画作本身已经摇摇欲坠，这种突然且强力的修正并不能帮助他们学习。相反，它搅乱了他们的脑筋，让他们甚至忘记了如何画一只猫。最终，他们画出了一幅混乱、困惑、看起来不像任何东西的画。

论文指出，在学生还没掌握基础知识之前就强迫他们与集体保持一致是适得其反的。这产生了一种过早且过强的“梯度压力”，破坏了局部的学习过程。

解决方案：FedSAP（耐心的老师）

作者提出了一种名为 FedSAP 的新框架。你可以把它想象成一位使用“耐心课程”和“智能地图”而非仅仅大声下令的老师。

1. “热身”计划（渐进式对齐）

FedSAP 不会在第一天就强迫达成一致，而是像一位耐心的教练：

早期轮次： 在最初的几周里，老师告诉学生：“先专注于学习你们自己的动物。不用担心现在是否与集体匹配。”这让学生能够在独立思考的基础上，建立起对猫、狗等的清晰且稳固的理解。
逐渐引入： 随着时间的推移，老师开始要求他们将自己的画作与集体进行对比。
完全对齐： 当学生对自己的技能有了信心时，老师会说：“好了，现在让我们统一标准吧。”
为什么有效： 当“对齐”的压力到来时，学生的画作已经足够优秀了。此时，群体的共识有助于精炼他们的作品，而不是摧毁它们。

2. “智能地图”（几何驱动的代理分离）

通常，为了防止不同的动物（如猫与狗）混淆，需要一套特殊的“参考卡”（可学习参数），这会占用额外的空间并需要额外的通信。

FedSAP 非常聪明：它说，“我们不需要新的卡片！”

老师已经向学生发送了“全局猫定义”（原型）。
FedSAP 利用这些现有的定义作为“参考卡”。
它在“精神地图”（超球面）上创建了一条规则：“如果你正在画一只猫，请将你的画作向‘猫定义’靠近。如果你正在画一只狗，请将你的画作从‘猫定义’推开。”
优势： 这使得不同的动物群体在地图上保持整齐的分离，而无需任何额外的通信或复杂的工具。它只是利用了已有的工具。

加分项：无标签学习

论文还表明，即使在某些学生拥有没有名字的图片（无标签数据）的情况下，这种方法依然有效。

一旦学生在“热身阶段”掌握了基础知识，他们就可以观察一张新的无标签图片并猜测：“这看起来最像‘猫定义’。”
由于老师在引入集体规则之前已经等待学生准备就绪，这些猜测会更加准确。系统随后可以利用这些猜测来学习更多内容，而无需人类为每一张图片打标签。

核心结论

论文在三个不同的“教室”（数据集）上进行了测试，这些教室具有不同程度的混乱度（异质性）。

结果： FedSAP 的表现始终优于旧方法。
增益： 它将准确率提高了多达 4 个百分点。
重大胜利： 当教室之间的差异最大时（严重的非独立同分布/non-IID 条件），这种提升最为显著。

简而言之，FedSAP 通过先教导学生自立，然后再温柔地引导他们并肩行走，解决了“急于达成共识”的问题。它创造了一个更清晰、更有序的精神世界地图，且无需在彼此之间发送更多的数据。

技术摘要：弥合联邦原型学习中的对齐-成熟度差距

问题陈述
联邦学习（FL）在从分布式、异构数据中学习判别性视觉表示方面面临着根本性挑战。虽然基于原型的算法（如 FedProto, FedNH）通过共享类级表示（原型）而非完整的模型权重来应对统计异构性，但它们引入了一个关键的不稳定性，即对齐-成熟度差距（alignment-maturity gap）。

在现有的基于原型的联邦学习中，全局原型是从本地客户端嵌入中聚合而来的，并从第一个训练轮次起就被用作语义锚点。然而，在训练初期，本地特征提取器尚未学习到判别性结构，导致局部表示具有噪声且未经提炼。因此，聚合得到的全局原型是不可靠的。当立即应用静态对齐权重时，不成熟的本地嵌入与这些带有噪声的全局原型之间巨大的欧氏距离会产生巨大的对齐梯度。这些梯度会主导交叉熵信号，从而抑制局部判别性结构的形成，并在严重的非独立同分布（non-IID）条件下导致优化过程不稳定。

方法论：FedSAP
作者提出了 FedSAP（联邦计划式与自适应原型，Federated Scheduled and Adaptive Prototypes），该框架旨在通过将全局对齐的时机与类间分离强度解耦，来稳定联邦表示学习。FedSAP 的运行无需修改底层的通信协议或引入额外的可学习参数。它依赖于两个互补的机制：

确定性对齐课程（Deterministic Alignment Curriculum）：
FedSAP 并没有从一开始就施加完整的对齐压力，而是采用了原型对齐权重的线性预热调度（ $\lambda_t$ ）。
- 机制： 权重在固定数量的轮次（ $t_w$ ）内从 0 线性增加到最大值 $M$ 。
- 效果： 这延迟了全局对齐压力的引入，允许本地表示在被拉向全局共识之前先进行巩固并形成判别性结构。该调度是确定性的，不需要辅助信号或每轮的通信开销。
几何驱动的代理分离损失（Geometry-Driven Proxy Separation Loss）：
为了在不增加参数的情况下实现类间结构，FedSAP 将现有的全局原型库重新利用为一个共享的“代理库（proxy bank）”。
- 机制： 本地嵌入和全局原型被投影到单位超球面上。应用余弦-Softmax 目标函数，将表示拉向其目标类原型，同时排斥非目标类原型。
- 效果： 这在超球面上强制执行紧凑且高度分离的类簇。通过使用服务器分发的原型作为代理，该方法避免了维护单独的可学习代理参数所带来的复杂性和通信成本（如 ProxyNCA 或 ProxyAnchor 等方法所示）。

向半监督学习的扩展
论文表明，FedSAP 可以自然地扩展到半监督联邦学习（SSFL）设置中。通过在初始监督阶段建立稳定的嵌入空间，该框架能够在随后的阶段实现可靠的无标签数据伪标签分配。无标签样本根据其到全局原型库的最近邻距离被分配伪标签，其中置信度阈值根据监督阶段进行自动校准，以减轻确认偏差。

核心贡献

识别差距： 作者明确识别并阐述了“对齐-成熟度差距”，即过早的全局对齐会对不成熟的表示产生抑制作用，从而抑制局部学习。
FedSAP 框架： 提出了一个通过渐进式对齐课程和应用于现有原型库的几何驱动代理分离损失来解决该差距的框架。
性能与通用性： 实证验证表明，FedSAP 在相同的通信成本下实现了比 FedProto 更具判别性的嵌入，并取得了显著的性能提升。研究表明，该框架可以自然地扩展到半监督设置，强调了计划式对齐作为一种设计原则的通用性。

实验结果
FedSAP 在三个基准测试（FEMNIST, CIFAR-10, CIFAR-100）上针对不同程度的统计异构性进行了评估。

性能： 该框架比基于原型的基准方法（FedProto, FedMPS）以及参数聚合基准（FedAvg）实现了高达 4 个百分点的提升。
异构性： 在严重的非 IID 条件下，改进最为显著，因为在这些条件下，早期轮次原型的稳定性问题最为严重。
消融实验： 结果证实，渐进式对齐调度和代理分离损失对于在不增加通信开销的情况下稳定嵌入空间至关重要。

意义与主张
论文声称，FedSAP 解决了基于原型的联邦学习中一个此前未被解决的特定局限性：全局锚点的可靠性与本地表示成熟度之间的时序不匹配。通过将联邦原型学习从根本上视为一个表示学习问题，FedSAP 产生了一条在早期轮次保持稳定、在后期轮次日益增强判别能力的学习轨迹。作者将“计划式对齐”原则定位为不仅是一种针对特定协议的调优策略，更是一种适用于全监督和半监督联邦环境的通用设计原则。