Onboarding Without Forgetting: Hypernetwork Personalization with Data-Free Replay for Personalized Federated Learning
本文介绍了 pFedDSH，这是一种个性化联邦学习框架，它利用中央超网络、批次特定掩码以及服务端无数据重放，在无需共享原始数据或重新训练的情况下，有效地在保持现有客户端性能的同时接入新的客户端批次。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：你的智能手机、你的智能手表，以及你邻居的平板电脑都想一起学习以变得更聪明，但它们被禁止分享彼此的私密照片或信息。这就是**联邦学习（Federated Learning）**的领域——一种让计算机在无需交出秘密数据的情况下进行协作的巧妙方式。你可以把它想象成一群厨师试图完善一道秘密汤的食谱。他们不需要把食材送到中央厨房（那样既混乱又冒险），而是各自在自己的家中烹饪一小部分，只将“口味笔记”传回，然后主厨通过混合这些笔记来改进大师级的食谱。
通常，我们会想象这群厨师从第一天起就是固定的。但在现实世界中，总有新人不断加入这场派对。也许是一家新医院加入了医疗研究网络，或者一所新学校加入了识字计划。这造成了一个棘手的局面：如果主厨为了迎合“新”厨师而不断修改大师级食谱，那么“旧”厨师可能会忘记他们原本擅长的汤该如何调制。这就是在不断壮大的团队中出现的“遗忘”问题。核心疑问在于：我们如何在欢迎新成员并向他们学习的同时，又不让原有的团队丧失原有的技能？
这篇题为《无遗忘入驻》（Onboarding Without Forgetting）的论文，正是在解决这个问题的。研究人员引入了一个他们称之为**渐进式客户端入驻（Progressive Client Onboarding）**的新场景，即任务保持不变（例如识别 X 光片中的肺炎），但参与者群体随时间推移分批次增长。他们发现了一个令人沮丧的权衡关系：如果你利用新成员来更新群体的共享知识，旧成员的工作表现就会变差；但如果你为了保护旧成员而冻结知识，新成员就无法学到任何新东西，整个团队也会停止进步。
为了解决这个问题，作者提出了一种名为 pFedDSH 的新方法。想象一下，主厨拥有一个神奇的“食谱生成器”（超网络），它可以为任何厨师（无论是旧的还是新的）瞬间创造出一个个性化的汤品食谱版本。但其中的魔力在于：生成器使用一套“红绿灯”（掩码）来决定食谱的哪些部分是为旧厨师锁定的，哪些部分是可以让新厨师进行微调的。这确保了旧厨师的食谱能够保持安全。
更棒的是，该系统使用了一个“幽灵厨房”（无数据重放）。由于服务器无法看到旧厨师的私密食材，它使用一种特殊技术来创建看起来和尝起来都与真实食材极其相似的虚拟合成食材。然后，服务器利用这些虚拟食材来轻轻引导食谱生成器，使得从“新”厨师那里学到的改进能悄无声息地传递回给“旧”厨师，而无需旧厨师重新训练或分享他们的数据。
研究人员在 CIFAR-10 和 Tiny-ImageNet 等图像数据集上对该方法进行了测试。他们发现，该方法能让新客户端表现强劲（比单独训练提升了 2% 到 6%），同时随着新批次的加入，现有客户端也能获得小幅但稳定的提升（获得 3% 到 6% 的增益）。与其他要么损害旧团队、要么让其停滞不前的方案不同，pFedDSH 能够让每个人都变得更好。它在不减慢通信速度或不需要大量额外计算能力的情况下实现了这一点，证明了你确实可以在为团队引入新朋友的同时，不让原有的成员忘记他们自己的食谱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。