🤖 machine learning

Federated Adversarial Training with Transformers

本文研究了在联邦学习环境下对视觉 Transformer 进行对抗训练的可行性，并提出了 FedWAvg，一种通过根据层相似度对客户端更新进行加权的新型聚合方法，旨在提高非独立同分布（Non-IID）数据分布下的鲁棒准确率。

原作者： Ahmed Aldahdooh, Wassim Hamidouche, Olivier Déforges

发布于 2026-08-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmed Aldahdooh, Wassim Hamidouche, Olivier Déforges

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的世界里，机器通过学习海量的数据来进行学习。通常情况下，这些数据被收集在一个中心地点，就像一座巨大的图书馆，由单个计算机系统阅读所有内容以寻找模式。然而，一场被称为“联邦学习”的运动正在改变这种安排。联邦学习不再将数百万人的隐私信息汇集到一处，而是在各个独立的设备本身——手机、医疗传感器或本地服务器——上进行学习。这些设备保留其数据的私密性，仅向中央协调器发送关于它们所学内容的微小且加密的更新。随后，协调器将这些更新进行组合，以构建一个更智能的全局模型，而无需接触任何原始个人数据。这是在推进技术进步的同时保护隐私的一种强大方式。

然而，这些智能模型面临着一种隐藏的危险。正如人类会被巧妙的错觉所欺骗一样，人工智能也会被图像中细微到几乎不可察觉的变化所误导。一张熊猫的照片可能会通过几个像素的改动，在肉眼无法察觉的情况下，让计算机自信地将其误认为是一只长臂猿。这些被称为“对抗样本”。为了抵御这些攻击，研究人员使用了一种名为“对抗训练”的技术，即在学习阶段反复向模型展示这些带有欺骗性的、经过修改的图像，使其学会忽略这种欺骗。这项新研究探讨的问题是：当学习过程是在一种分布式、保护隐私的方式下进行时，特别是使用目前最强大的视觉工具之一——一种被称为“视觉 Transformer”的现代架构时，这种防御机制是否依然有效。

研究人员旨在测试这些视觉 Transformer 在数据分布在五个不同客户端（模拟现实世界中数据并不完美平衡的场景）的情况下，通过训练来抵抗欺骗的能力。他们实验了十二种不同的模型变体，改变了图像被拆解成碎片供计算机分析的方式，以及做出最终决策的方式。他们还测试了几种用于结合五个客户端学习更新的方法。目标是观察哪种模型设计与组合方法的结合能够产生最稳健的结果——即即使在受到最复杂的技巧攻击时，仍能保持准确性。

第一个重大发现令那些期望新技术总是更好的研究者感到意外。一些专门设计用于帮助模型在数据分布不均时更快学习的高级技术，实际上反而让视觉 Transformer 变得更容易受到攻击。这些试图纠正客户端之间差异的方法，不仅减慢了训练速度，还导致设备与中央服务器之间往返传输的数据量增加了两倍。相比之下，使用标准的、更简单的平均更新方法，在保持模型免受欺骗方面表现得更好。事实证明，旨在修复数据不平衡的复杂修正对于这种特定类型的模型来说是不必要的，它们只增加了成本而没有提高安全性。

研究还揭示了模型观察图像的方式对安全性有着深远的影响。研究人员测试了在模型分析图像之前将其切分为“标记”（tokens，即小碎片）的不同方法。他们发现，一种将图像分解为非常精细且重叠的碎片的方法，有助于模型在正常条件下更好地识别物体。然而，同样的方法也让模型在攻击者试图欺骗它时变得更容易被误导。相反，那些仅依赖特定视觉标记进行最终决策的模型，在分布式环境下难以有效地学习。最成功的方法在于寻求一种平衡：利用视觉标记与一个特殊的“摘要标记”相结合来做出最终判断，这使得模型既能保持准确性，又能具备强大的抗攻击能力。

为了解决数据不均带来的高昂成本问题，团队引入了一种名为 FedWAvg 的新策略。该方法不再平等对待每个客户端的更新，也不试图强行让它们趋于一致，而是观察每个客户端模型的最末端层——即实际做出决策的部分。它测量每个客户端决策层的方向与全局模型方向的对齐程度。如果一个客户端的更新指向相似的方向，它就会获得更高的权重；如果指向完全不同的方向，则会降低其权重。这不是随机的猜测，而是一种精确的数学调整，确保全局模型不会偏离轨道。研究人员证明，这种方法绝不会使模型的表现差于标准方法，并且在数据高度倾斜时，能显著提升其抵御攻击的能力；而在中度倾斜的情况下，则没有表现出一致的优势。

结果显示，这种新的加权方法在数据非常倾斜时效果尤为显著，例如当某些客户端只有猫和狗的图像，而其他客户端只有汽车和卡车的图像时。在这些困难场景下，新方法保持了模型的高准确性和强防御力，而旧的、更复杂的方法则宣告失败。研究还强调了模型规模的重要性：拥有更多“注意力块”的大型模型在这些混乱、不均的环境中表现更好，尽管它们需要更多的计算能力。研究人员指出，虽然他们的测试是在一组特定的图像集上进行的，但他们发现的关于如何组合学习更新以及如何设计模型决策层的原则，很可能会在未来适用于更大、更复杂的数据集。

最终，这项工作为构建安全且保护隐私的人工智能提供了清晰的路线图。它表明，在对抗欺骗性攻击的过程中，简单往往更为有效。前进的最优路径不是添加更多会拖慢速度的复杂修正机制，而是使用一种智能且轻量化的方式来衡量每个学习者的贡献。通过关注最终决策层的对齐情况，这种新方法确保了全局模型能够始终保持正确方向，在从每个人那里学习的同时，不会被不均匀数据产生的噪声所误导。这种方法为在现实世界中部署稳健的视觉系统提供了一种实用且高效的方式，因为在现实中，数据很少是完美的，而隐私保护至关重要。

技术摘要：基于 Transformer 的联邦对抗训练

问题陈述
联邦学习（FL）能够在保护隐私的同时，利用分布式客户端数据训练全局模型。然而，通过联邦学习训练的模型仍然容易受到对抗样本（AEs）的攻击。虽然对抗训练（AT）是卷积神经网络（CNN）最有效的防御手段，但在使用视觉 Transformer（ViT）的联邦学习环境下，其性能表现尚未得到充分研究。现有文献强调，在非独立同分布（Non-IID/异构）数据分布下，ViT 的收敛速度比 CNN 更快，但目前尚不清楚这种架构优势是否能转化为结合了 AT 后的鲁棒性。此外，旨在缓解 Non-IID 设置下客户端漂移（client drift）的标准聚合方法（如 FedProx、SCAFFOLD）尚未在对抗背景下的 ViT 上进行评估。本研究的核心探究在于确定 ViT 进行联邦对抗训练（FAT）的可行性，分析模型架构（标记化/Tokenization 和分类头）如何影响准确率与鲁棒性之间的权衡，并开发能够增强异构环境下鲁棒性的聚合策略。

方法论
本研究在 CIFAR-10 数据集下，针对三种数据划分方案评估了 FAT 的表现：独立同分布（IID）、Non-IID(4)（每个客户端持有 4 个类别）以及 Non-IID(2)（每个客户端持有 2 个类别）。实验设置包含一个服务器和 $K=5$ 个客户端，进行 50 轮通信。

模型变体： 作者测试了 12 种 ViT 变体，这些变体结合了三种标记化方案（标准图像块、Tokens-to-Token ViT [T2T] 以及 Transformer-in-Transformer [TNT]）和三种分类头架构（仅使用 [CLS] 标记、仅使用视觉 [VIS] 标记，或两者结合）。
对抗设置： 客户端使用投影梯度下降（PGD）攻击，参数为 $\epsilon=8/255$ ，步长 $\alpha=2/255$ ，迭代 7 步。对抗比例为 0.5，这意味着在本地训练期间，每个批次中有 50% 的样本被替换为对抗样本。
聚合策略： 本研究将提出的 FedWAvg 与标准的 FedAvg 以及三种减少漂移的算法（FedProx、FedGate 和 SCAFFOLD）进行了对比。
- FedWAvg： 该方法根据全局服务器最终层参数 ( $g$ ) 与各客户端最终层参数 ( $l_k$ ) 之间的余弦相似度来计算聚合权重。权重使用缩放 Softmax 函数计算： $w_k = \frac{\exp(q c_k)}{\sum \exp(q c_j)}$ ，其中 $c_k$ 是余弦相似度， $q$ 是缩放因子。

理论分析
论文对 FedWAvg 进行了严谨的理论分析：

吉布斯重加权（Gibbs Reweighting）： 证明了 FedWAvg 本质上是基于客户端方向归一化后的最终层之间的欧几里得距离平方进行的吉布斯重加权。
漂移收缩（Drift Contraction）： 定理 1 表明，相对于 FedAvg，FedWAvg 绝不会增加分类头的总方向漂移。其改进程度可以通过客户端漂移的累积方差以闭式解给出。
泛化性： 定理 2 建立了一个稳健的泛化界限，表明该加权方案的代价是有界的，并且随着缩放因子 $q \to 0$ 而消失。
局限性： 作者明确指出，虽然证明了漂移收缩，但由于权重具有自适应性和时变性，尚未建立 FedWAvg 在 AT 的最小-最大（min-max）目标下的正式收敛定理。

关键结果

漂移削减算法的无效性： 与预期不同，在处理 Non-IID 数据时，当使用 ViT 骨干网络时，FedProx、FedGate 和 SCAFFOLD 取得的鲁棒准确率低于标准的 FedAvg。这些方法还产生了更高的成本，每轮通信需求高达两倍，并需维护额外的客户端侧模型状态。
架构权衡：
- 标记化（Tokenization）： Tokens-to-Token (T2T) 嵌入提高了洁净准确率（clean accuracy），但在 PGD 攻击面前表现出极高的脆弱性。标准图像块和 TNT 嵌入则提供了更好的鲁棒性。
- 分类头： 仅依赖视觉标记（[VIS]）的分类头在 FAT 中的表现较差。结合 [CLS] 和 [VIS] 标记或仅使用 [CLS] 通常会产生更好的结果。
FedWAvg 的表现： 在高度偏斜的数据（Non-IID(2)）下，FedWAvg 相比 FedAvg 和其他方法显著提升了鲁棒准确率。缩放因子 $q$ 起到了权衡作用：较高的 $q$ 值（例如 10）有利于高度异构的划分，但在中度偏斜的情况下并无一致优势。
成本效率： FedWAvg 不增加通信开销或客户端内存状态，因为它利用的是已经传输到服务器的参数。相比之下，SCAFFOLD 和 FedGate 需要双倍的带宽和额外的客户端缓冲区。

意义与主张
论文提出了三个主要贡献：

经验证据： 研究证明，在 FAT 环境下的 ViT 中，标准的漂移削减聚合方法（FedProx、FedGate、SCAFFOLD）是适得其反的，往往在增加计算和通信成本的同时降低了鲁棒准确率。
架构洞察： 研究识别了一个关键权衡，即标记化和分类头的设计决定了洁净准确率与鲁棒准确率之间的平衡，并特别警告不要在对抗性联邦设置中使用仅依赖视觉标记的分类头。
新型聚合规则： 引入了 FedWAvg，这是一种基于分类头角度相似度进行加权的异构感知聚合方法。从理论上讲，该方法被证明在方向漂移上绝不会比 FedAvg 更大。在实证方面，它在不增加其他高级聚合技术所带来的开销的情况下，增强了高度异构环境下的鲁棒准确率。

作者保持了审慎的态度，指出其结果是针对 CIFAR-10 数据集和 PGD-7 威胁模型的。他们并未声称 ViT 本身比 CNN 更具鲁棒性，而是指出 ViT 内部特定的设计选择以及所提出的聚合规则可以优化 FAT 过程。研究结论认为，FedWAvg 为提高标签偏斜下联邦 ViT 训练的鲁棒性提供了一条高性价比的路径。

类似论文