🤖 machine learning

FedDAF: Federated Domain Adaptation Using Model Functional Distance

本文介绍了 FedDAF，这是一种新颖的联邦领域自适应方法，它通过基于源模型与目标模型平均梯度场所导出的归一化模型函数距离来聚合源模型与目标模型，从而解决了领域偏移和目标数据稀缺的问题，并实现了优于现有方法的测试准确率。

原作者： Mrinmay Sen, Ankita Das, Sidhant Nair, C Krishna Mohan

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mrinmay Sen, Ankita Das, Sidhant Nair, C Krishna Mohan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试学习如何为一场晚宴烹饪一道特定的地区菜肴（比如一道香辣咖喱）。你是一个目标客户端（Target Client），你手里只有一本非常小的笔记本，上面记录着寥寥几条食谱（有限的数据），而且你从未做过这道特定的菜。

在你周围，有另外 10 位厨师（源客户端/Source Clients），他们都是烹饪专家，但他们擅长的领域各不相同。一位精通意大利面，另一位擅长日本寿司，还有一位擅长墨西哥卷饼。他们都拥有庞大的食谱库（大量的数据），但他们的烹饪风格与你需要制作的香辣咖喱截然不同。

问题所在：“一刀切”的错误

在人工智能领域，这被称为联邦学习（Federated Learning）。通常情况下，所有这些厨师都会将他们的食谱发送给一位中央总厨（服务器/Server），由他将所有食谱混合成一本巨大的“平均化”食谱。

问题在于，如果你只是将意大利、日本和墨西哥的食谱取个平均值，你并不会得到一份完美的香辣咖喱。你会得到一堆混乱的杂烩。这被称为领域偏移（Domain Shift）。“平均化”的风格并不符合你的特定目标。

此外，大多数现有方法都假设你（目标客户端）拥有一个庞大的自有食谱库来帮助修正这个“平均值”。但在现实中，你只有寥寥几页纸（有限的数据）。如果你试图仅凭这几页纸去从一本混乱的“平均化”食谱中学习，你很可能会失败。

解决方案：FedDAF（聪明的品鉴师）

论文介绍了一种名为 FedDAF 的新方法。FedDAF 不会盲目地将所有厨师的书混合在一起，而是像一个聪明的品鉴师一样，会询问：“这些其他厨师的书里，哪些部分真正能帮我做出我的那道特定咖喱？”

它是这样一步步运作的：

1. “梯度场”（厨师的直觉）

FedDAF 并不直接观察成品菜肴（最终模型），而是观察烹饪背后的直觉。在数学上，这被称为“平均梯度场（mean gradient field）”。

想象一下问每位厨师：“如果我在辣度上出了点小错，你会如何调整它？”
目标客户端（你）利用你自己的小笔记本提出这个问题。
源客户端（专家们）根据他们庞大的食谱库给出答案。

2. 测量“角度”（我们是否志同道合？）

FedDAF 会比较你的直觉（你的调整方式）与专家的直觉。

如果专家的直觉指向与你相同的方向（例如：“增加热度”），那么你的“思维向量”之间的夹角就很小。
如果专家的直觉指向完全不同的方向（例如：当你需要热度时，他却建议“增加糖分”），那么夹角就会很大。

3. “Gompertz”过滤器（音量旋钮）

论文使用了一个特殊的数学曲线——Gompertz 函数，将那个角度转化为一个“信任分数”（介于 0 到 1 之间）。

小角度（相似的直觉）： 分数很高。你信任这位专家，并大量借鉴他的书。
大角度（不同的直觉）： 分数很低。你基本忽略他的建议，因为这不符合你的目标。

4. 最终混合（聚合）

FedDAF 通过混合以下内容来创建你那本改进后的新食谱：

你自己的小笔记本（目标模型）。
所有专家的“全球平均值”（全局源模型）。

但神奇之处在于：它并不是 50/50 地进行混合。它是根据上述计算出的信任分数来进行混合的。如果专家的直觉与你的目标一致，你就多借鉴一些；如果他们不一致，你就少借鉴一些。

为什么这很特别

大多数先前的方法试图修复“领域偏移”（烹饪风格的差异），但它们假设你拥有庞大的资料库来配合。另一些方法虽然试图帮助数据量较少的情况，却没能充分关注所借鉴的建议是否真的符合你的特定目标。

FedDAF 同时解决了这两个问题：

即使在数据量极少（样本有限）的情况下，它依然有效。
它确保你只借鉴那些相关的、有用的信息，从而实现你的特定目标，并忽略噪音。

结果

作者在真实的图像数据集（如识别不同类型的图片）上测试了该方法。他们发现，即使目标客户端只有极少的样本可以学习，且其数据与专家的数据差异巨大，FedDAF 也能持续产生比旧方法更好的结果。

简而言之： FedDAF 就像是一位私人导师，他能精准地判断出专家知识中哪些部分对你这种特定且有限的情况是有用的，而不是仅仅递给你一本并不完全契合你的通用教科书。

技术摘要：FedDAF

问题陈述

联邦领域自适应（Federated Domain Adaptation, FDA）旨在通过与源客户端协作，在保护数据隐私的同时，提升目标客户端的模型性能。然而，现有的 FDA 方法面临两个关键且往往未被同时解决的挑战：

领域偏移（Domain Shift）： 源客户端与目标客户端之间的数据分布不一致会导致局部模型漂移，从而导致全局聚合效果不佳以及在目标任务上的泛化能力差。
数据稀缺（Data Scarcity）： 现有许多方法假设目标客户端拥有充足的无标签数据。但在现实中，目标客户端往往面临标签样本严重匮乏的问题，这使得标准的训练或个性化联邦学习（PFL）难以奏效。

此外，目前试图同时解决这两个问题的现有方法，往往无法实现针对目标客户端特定目标进行定制化的相关信息共享。

方法论：FedDAF

作者提出了 FedDAF（基于模型函数距离的联邦领域自适应），这是一个全新的框架，旨在最大限度地将相关的源信息转移到目标模型中，同时使其与目标特定的目标保持一致，即使在数据受限的情况下也是如此。

核心机制：模型函数距离

不同于依赖梯度更新或原始数据分布对齐的方法，FedDAF 根据其相似性来聚合全局源模型（ $w^S$ ）和目标模型（ $w^T$ ），该相似性通过**模型函数距离（Model Functional Distance）**进行量化。该距离计算如下：

平均梯度场： 服务器将全局源模型广播给目标客户端。目标客户端使用目标数据（即使数据有限）计算全局源模型和其自身局部模型的梯度场。
余弦相似度与夹角： 计算两个模型的平均梯度场。计算这两个平均梯度之间的余弦相似度，并推导出夹角 $\theta$ 。
通过 Gompertz 函数进行归一化： 使用 Gompertz 函数对角度 $\theta$ 进行归一化，生成相似性权重 $\alpha \in [0, 1]$ 。该权重代表了两个模型相对于目标目标的“距离”。
自适应聚合： 适配后的目标模型（ $w_n$ ）通过前一阶段的目标模型与全局源模型的加权组合而成：
$w_n = \alpha w^S_{n-1} + (1 - \alpha) w^T_{n-1}$
在此， $\alpha$ 作为聚合权重。如果两个模型在目标任务上具有函数相似性，则源模型的贡献度更高；如果它们发生偏离，则保留目标模型。

训练协议

目标客户端： 使用适配后的模型 $w_n$ 作为其在有限目标数据上进行局部训练的初始化。其目标是在优化目标函数 $F_T$ 的同时，保持与全局源目标 $F_S$ 的受控距离。
源客户端： 在各自的数据集上执行标准的局部训练，并通过服务器上的简单平均来更新全局源模型。
迭代： 该过程在 $N$ 个通信轮次中重复进行。

主要贡献

论文概述了三个主要贡献：

双重挑战解决方案： 提出 FedDAF 用于同时解决 FDA 中的领域偏移和目标数据有限的问题，而以往的工作往往忽略了这一组合。
新型聚合策略： 引入了一种基于相似性的聚合方法，该方法利用模型函数距离。该指标是通过在目标数据上评估得到的平均梯度场推导出的，即使在样本稀缺的情况下也能实现可靠的相似性测量。
目标对齐优化： 该方法确保适配后的目标模型在目标目标的极值点处得到优化，并处于一个经过优化的、与全局源目标之间的距离位置。这实现了与目标需求高度一致的相关源信息的最大化转移。

实验结果

作者通过在受控设置和真实领域偏移设置下的真实世界数据集上进行广泛实验，验证了 FedDAF。

数据集：
- 受控偏移： 带有不同水平高斯噪声（领域偏移）和标签稀缺性（训练数据的 5%、25%、50%）的 CIFAR-10。
- 真实世界偏移： PACS、VLCS 和 Office Caltech10 数据集，模拟了多样化的领域偏移（例如：照片与素描、不同的相机类型）。
基准方法： 将 FedDAF 与标准联邦学习（FedAvg）、微调后的 FedAvg、个性化 FL 方法（FedDWA）以及现有的 FDA 方法（FedGP）进行了对比。
性能表现：
- 在 CIFAR-10 上，FedDAF 在所有数据稀缺程度和领域偏移水平下均一致优于所有基准方法。
- 在真实世界数据集（PACS、VLCS、Office Caltech10）上，FedDAF 取得了比现有 FL、PFL 和 FDA 方法更高的测试准确率，特别是在极端数据稀缺（例如仅使用 2% 的目标训练样本）的情况下。
参数分析： 研究发现，Gompertz 函数参数 $\mu$ 会根据领域偏移的程度影响性能，其中 $\mu=5$ 在高领域偏移下表现最佳，而 $\mu=1$ 在低偏移下表现最佳。

意义与主张

论文声称，FedDAF 代表了联邦领域自适应领域的重大进展，因为它超越了对充足目标数据的假设。其意义在于：

对稀缺性的鲁棒性： 证明了即使在目标客户端仅拥有极少量有标签样本的情况下，有效的自适应也是可能的，而在这种场景下，中心化训练和标准的 PFL 往往会失效。
以目标为中心的自适应： 不同于以往可能在不考虑目标独特目标的情况下进行信息聚合的 FDA 方法，FedDAF 显式地根据目标的函数距离构建聚合权重。这确保了“最大相关信息”被融合进目标模型中。
实际应用价值： 该方法解决了医疗成像（如乳腺癌诊断）等领域中的现实约束，在这些领域中，数据通常是孤立的、对隐私敏感且标签稀疏的。

作者总结道，通过在目标目标的极值点优化适配后的目标模型，同时保持与全局源目标的受控距离，FedDAF 有效地弥合了在隐私保护和数据稀缺环境下源域与目标域之间的差距。