Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

以下是论文《通过组间差异最小化扩展无监督多源联邦域自适应》的详细技术总结。

问题陈述

无监督多源域自适应（UMDA）旨在利用来自多个源域的标记数据，学习一个能够泛化到未标记目标域的模型。虽然联邦学习通过避免原始数据共享提供了一种隐私保护解决方案，但现有的联邦 UMDA 方法在可扩展性方面存在困难。当前的方法通常专为小规模场景（2–6 个源）设计，当异构源域的数量增加时，会遭受高计算开销或训练不稳定的问题。具体而言，依赖成对对齐的方法在计算上变得不可行（$O(N^2)$），而使用随机成对采样的方法（例如 FACT）则引入高方差，并在高多样性设置中无法收敛。

方法论：GALA 框架

作者提出了GALA（基于分组的自适应学习），这是一个旨在随多样化源域的异构性而扩展的联邦 UMDA 框架。GALA 通过两个主要机制运行：

1. 组间差异（IGD）最小化
为了解决全量成对对齐的二次复杂度问题，GALA 引入了组级差异目标。

• 机制： 在每个训练轮次中，将 $N$ 个源预测器随机划分为两个不相交的组，$G_1$ 和 $G_2$。
• 聚合： 为每个组形成加权平均预测器（$F_{G_1}$ 和 $F_{G_2}$）。
• 目标： 模型最小化这两个组预测器在未标记目标数据上的 $\ell_1$ 不一致性：
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• 理论优势： 与具有高方差的随机成对采样或具有高计算成本的全量成对计算不同，IGD 在取范数之前对许多成对差异进行了平均。这产生了一个低方差、线性复杂度的全局对齐目标近似值。虽然它引入了微小的偏差，但方差的降低导致了更稳定的训练。

2. 温度缩放基于质心的加权（MDMGB+）
为了防止来自无关或噪声源的负迁移，GALA 动态估计每个源与目标的相关性。

• 质心相似度： 客户端在特征空间中计算软类别质心。服务器计算源质心与目标质心之间的余弦相似度。
• 温度缩放： 作者引入了 MDMGB 算法的修改版本，称为MDMGB+。它对相似度分数应用带有可调温度参数 $\tau$ 的 softmax 函数：
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• 功能： 温度 $\tau$ 控制选择性。较高的值会放大相似度的微小差异，将更大的权重分配给与目标对齐更好的源，并抑制无关的源。这些权重用于在 IGD 步骤中形成组预测器。

算法流程：
该过程涉及迭代轮次，其中服务器广播全局模型，客户端计算质心并在本地更新模型，服务器使用相关性权重聚合特征提取器，最后，目标域通过最小化两个组预测器之间的 IGD 损失来更新特征提取器。

主要贡献

1. 可扩展性分析： 作者指出，随着异构源数量的增加，现有的分布式 UMDA 方法要么无法收敛，要么在计算上变得不可行，而这一差距在当前的文献中 largely 未被解决。
2. 组间差异（IGD）： 一种新颖的目标函数，以线性成本和低方差近似全量成对不一致性，从而在大规模设置中实现鲁棒的对齐。
3. GALA 算法： 一个可扩展的联邦 UMDA 框架，结合了 IGD 与温度缩放的基于质心的加权方案，以优先处理与目标相关的源并减轻负迁移。
4. Digit-18 基准： 引入了一个新的基准，包含 18 个多样化的数字数据集（涵盖合成和现实世界的偏移），以严格测试可扩展性和源异构性，解决了大规模 UMDA 基准稀缺的问题。

实验结果

论文在标准基准（Digit-Five, Office-Caltech10）和新的 Digit-18 基准上评估了 GALA。

• 标准基准： GALA 在 Digit-Five 和 Office-Caltech10 上实现了最先进（SOTA）或接近 SOTA 的性能，与 FACT 和 KD3A 等方法持平或超越。
• 可扩展性（Digit-18）： 在高多样性设置（多达 18 个源）中，现有方法显示出显著的性能下降：
  • FACT： 随着源数量增加，变得不稳定，具有高方差，并在具有挑战性的目标上无法收敛。
  • KD3A： 由于顺序共识步骤，遭受运行时间的指数级增长，在超过 9 个源后变得在计算上不可行。
  • GALA： 保持稳定的准确率和收敛性。在 18 个源的设置中，GALA 实现了比 FACT 高**5.3%**的平均增益，并在每个目标域上优于所有基线。
• 消融研究： 结果证实，IGD 目标和 MDMGB+ 加权都至关重要。如果没有加权，仅靠 IGD 无法在困难目标上收敛；而如果没有组间对齐，仅靠加权也是不够的。
• 效率： 虽然由于组对齐，GALA 每轮的成本略高于 FACT，但它避免了 KD3A 的计算爆炸，保持了线性可扩展性。

意义与主张

该论文声称是第一个明确解决分布式 UMDA 中关于异构源域数量可扩展性问题的研究。GALA 的意义在于它能够实现在许多多样化源上的稳定、可并行化训练，而当前方法要么无法收敛，要么在计算上不可行。通过结合组间差异最小化与动态源优先级排序，GALA 为大规模、高多样性多源域自适应建立了新的最先进水平，特别是在隐私敏感的联邦设置中。作者指出，虽然该方法每轮产生的通信成本高于选择性方法，但它提供了一个无需目标接收所有源模型的集中式工作流，未来的工作可以专注于减少源参与频率。