🤖 machine learning

Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers

本文提出了 PEP-FedPT，这是一个统一的联邦学习框架，专为视觉 Transformer 设计，通过引入一种类上下文混合提示（CCMP）来实现泛化与个性化，该提示利用全局原型和客户端先验自适应地组合特定类别的提示，而无需存储依赖于客户端的可训练参数。

原作者： M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大且超级智能的图书馆（一个预训练的视觉 Transformer），它略知万物，但在任何单一特定领域都算不上专家。你想训练这座图书馆成为某个特定领域的专家，比如识别稀有鸟类或在 X 光片中发现疾病，但你无法将所有书籍搬迁到一处。相反，你拥有散布在世界各地的数百个小型本地分馆（客户端），每个分馆都持有不同且独特的藏书。

这就是联邦学习所面临的挑战：在不将本地分馆的私有数据移出的情况下，训练一个智能的全局模型。

问题：“一刀切”与“过于个性化”的两难困境

该论文指出了在训练这座图书馆时存在的一种令人沮丧的拉锯战：

全局方法（过于僵化）： 如果你给每个分馆完全相同的指令集（“全局提示”），图书馆对普通分馆运作良好，但对那些拥有怪异或独特数据的分馆则表现糟糕。这就像给一个只拥有海鲜的分馆一本通用的《烹饪指南》；这些指令无法适配他们特定的食材。
个性化方法（过于狭隘）： 如果你让每个分馆编写自己的定制指令，它们会成为各自特定本地数据的专家，却忘记了如何与网络的其他部分交流。它们变得如此专业化，以至于无法帮助其他人；而且如果有新分馆加入，它们也完全不知该如何应对。

解决方案：PEP-FedPT（“智能调酒师”）

作者提出了一种名为PEP-FedPT的新方法。不妨将其想象为一位“智能调酒师”，它为每个分馆定制饮品，却无需在每个分馆存储一本秘密食谱。

以下是其工作原理，使用一个简单的类比：

1. 共享原料（全局提示）

中央服务器（图书馆总部）发送出一组共享提示。这些就像大家公认的通用基础原料（盐、胡椒、水）。它们帮助图书馆理解基础知识。

2. 特色风味（类别特定提示）

服务器还维护着一组类别特定提示。想象这些是独特的风味浓缩液：一种用于“鸟类”，一种用于“汽车”，一种用于“树木”。这些是全球共享的，因此每个人都能访问相同的风味瓶。

3. 神奇混合（CCMP）

这是该论文的重大创新。系统不是仅仅向分馆提供单一风味或通用混合液，而是为分馆看到的每一张图像创建一个类别情境化混合提示（CCMP）。

系统如何决定混合比例？

“嗅觉”测试（原型）： 系统查看图像并询问：“这看起来更像鸟类还是汽车？”它利用“全局地图”（类别原型）来估算可能性。
“本地菜单”（类别先验）： 它还会检查分馆的本地菜单。如果一个分馆主要看到鸟类，系统就知道应更侧重“鸟类”风味。

系统根据这两个因素，以精确的比例将“鸟类”和“汽车”风味混合在一起。就像调酒师说：“这张图像 80% 像鸟类，20% 像汽车，所以我将为这杯特定的饮品混合 80% 的鸟类风味和 20% 的汽车风味。”

为何这是颠覆性的变革

无需秘密食谱： 分馆无需存储自己独特且厚重的指令手册。它们只需使用共享的全局风味并即时混合。这节省了巨大的内存和通信空间。
兼得鱼与熊掌： 生成的“饮品”既具有足够的个性化以处理分馆的怪异数据（泛化能力），又与全局网络保持连接（个性化能力）。
隐私友好： 分馆仅回传它们所学内容的微小摘要（原型），而非实际图像。这就像发送所用风味的描述，而非实际的食物。

结果

该论文在几个“困难”数据集（如 CIFAR-100 和 TinyImageNet）上测试了该方法，这些数据杂乱无章且分布不均。

获胜者： PEP-FedPT 始终优于所有其他方法。
证明： 它不仅获得了更高的平均分数；它还帮助表现最差的分馆显著改善。它成功地同时成为了优秀的本地专家和有益的全局邻居。

简而言之，该论文提出了一种方法，通过在许多不同且杂乱的数据源上训练巨型 AI 模型，让模型利用共享的工具集和少量的本地上下文，即时“混合搭配”其自身的指令。它实现了在通才与专家之间取得完美平衡。

技术摘要：PEP-FedPT

问题陈述

联邦学习（FL）在将大型预训练视觉 Transformer（ViT）适配到异构数据下的下游任务时面临重大挑战。虽然视觉提示微调（VPT）提供了一种参数高效的微调方案，但现有方法难以在泛化性与个性化之间取得平衡：

全局提示微调：如 FedPR 等方法在所有客户端间共享提示。虽然它们具有良好的泛化性，但无法适应高度异构的客户端数据分布（非独立同分布），导致“客户端漂移”和次优性能。
个性化提示微调：如 pFedPG 等方法生成特定于客户端的提示。虽然它们能很好地适应本地数据，但往往导致过拟合，从而对未见过的或未参与训练的客户端泛化能力较差。此外，许多个性化方法假设每轮都有所有客户端参与，这在现实世界的联邦学习系统中是不切实际的。
现有混合方法：如 SGPT 等方法试图利用特定于组的提示来弥合这一差距，但通过不可微的选择机制和两阶段训练过程引入了优化复杂性。

本文解决的核心问题是：我们能否仅依靠全局共享的提示来实现有效的个性化？

方法论：PEP-FedPT

作者提出了PEP-FedPT（基于原型的联邦提示微调中的提示估计），这是一个统一的框架，能够在不存储依赖客户端的可训练参数的情况下实现个性化。其核心创新是类上下文混合提示（CCMP）。

1. 提示架构

该框架利用两组在所有客户端间全局共享的可训练参数：

共享提示（ $P_S$ ）：插入到 ViT 的最底层。这些提示捕捉流形上通用的低级、类无关表示。
类特定提示（ $P_C$ ）：一组对应于每个类别的提示，全局共享。

2. 类上下文混合提示（CCMP）

PEP-FedPT 不是插入单个静态提示，而是在中间层（实验中具体为第 5、6 和 7 层）为每个输入样本动态生成混合提示（ $m$ ）。该混合提示是全球类特定提示的软组合，其权重由以下因素导出的分数加权：

全局类原型（ $\mu$ ）：每个类别的 CLS 标记表示的聚合质心，通过跨客户端平均各类别内数据点的 CLS 标记计算得出。这些原型通过带动量的联邦平均定期更新。
客户端类先验（ $\delta$ ）：特定于每个客户端本地数据的经验标签分布（类别频率）。

3. 提示混合机制

对于客户端 $k$ 的给定输入 $x$ ，系统计算类特定提示的软权重向量 $s$ ：

相似度分数：计算第 $l$ 层输入 CLS 标记表示（ $cls_{l-1}$ ）与全局类原型（ $\mu$ ）之间的余弦相似度。
加权评分：将这些相似度按客户端的本地类先验（ $\delta$ ）和温度参数（ $\tau$ ）进行缩放。
归一化：将分数归一化以形成概率分布。
混合：最终的 CCMP 计算为全局类特定提示的加权和： $m = P_C \times s$ 。

这使得每个客户端能够仅利用全局信息（提示和原型）和本地统计信息（先验），根据本地数据分布和当前输入动态地个性化提示，而无需传输原始数据或客户端特定的模型权重。

4. 理论基础

本文提供了 CCMP 设计的两个理论依据：

二次上界最小化：作者证明，假设损失函数是 Lipschitz 平滑的且提示空间是紧致的，CCMP 最小化了全局损失函数的二次上界。最优混合策略与基于类先验的类提示加权平均相一致。
MMSE 最优性：CCMP 被证明是在给定观测到的 CLS 标记表示的情况下，真实类提示的最小均方误差（MMSE）估计量。

主要贡献

统一框架：引入 PEP-FedPT，联合优化共享提示和类特定提示，以解决 ViT 联邦学习中的数据异构性问题，在泛化性和个性化之间取得平衡。
新颖的混合策略：设计 CCMP，将每个样本的提示生成为全局类特定提示的函数，并由本地类先验和全局原型调节。这消除了对本地提示存储或服务器端生成特定于客户端提示的需求。
理论见解：证明 CCMP 最小化了损失的二次上界，并且在 MMSE 意义上是最优的。
实证优越性：广泛的验证表明，该方法在各种异构场景下优于最先进（SOTA）的基线方法。

实验结果

该方法在CIFAR-100、TinyImageNet、DomainNet和iNaturalist数据集上进行了评估，涵盖了各种非独立同分布设置（病态划分和狄利克雷分布）。

性能：PEP-FedPT 在平均准确率和最坏本地准确率方面始终优于基线方法（包括 FedVPT、FedPR、SGPT 和 pFedPG）。
- 在 CIFAR-100（病态）上，其实现了**95.46%**的平均准确率，超过了 pFedPG（92.96%）和 FedVPT-D（85.15%）。
- 在 TinyImageNet 上，其平均准确率比 pFedPG 提高了8.59%。
泛化性：在保留测试（在未参与训练的客户端上进行测试）中，PEP-FedPT 保持了高准确率（CIFAR-100 上为 93.71%），而 pFedPG 等个性化方法未能泛化（标记为 NA 或显著较低）。
效率：与 SGPT（13M）和 FedVPT-D 相比，该方法所需的通信轮次显著更少（在 CIFAR-100 上达到 83% 准确率仅需 12 轮），且通信开销更低（4.6M 参数）。
消融研究：实验证实，将共享提示与 CCMP 结合使用，比单独使用共享提示能带来显著增益。包含类先验进一步提高了性能，特别是在病态设置中。

意义与主张

本文声称，PEP-FedPT 为视觉 Transformer 的高效且可泛化的联邦提示微调奠定了坚实基础。其主要意义在于解决了联邦学习中个性化与泛化之间的权衡：

它通过利用本地数据分布（通过先验）来动态混合提示，实现了个性化。
它通过完全依赖全局共享的提示和原型，避免了完全个性化模型的过拟合问题，从而保持了泛化性。
它通过不需要客户端特定的参数存储或全客户端参与，提供了可扩展性，使其适用于资源受限的边缘设备。

作者指出了局限性，具体而言，该方法依赖于类先验和质心的经验估计，这在半监督或无监督设置中可能不可靠，并且在严格独立同分布的数据分布中，该方法的优势会减弱（实际上退化为标准的 Fed-VPT）。然而，在非独立同分布联邦学习的背景下，所提出的方法提供了一种稳健、有理论依据且实证优越的解决方案。