💻 computer science

FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

FedLNS 是一个服务端框架，通过对归一化层参数变化的轻量级分析来筛选恶意客户端更新，从而缓解联邦大语言模型训练中的对抗性操纵，在无需额外数据交换或标记攻击样本的情况下，在多种模型架构中实现了卓越的鲁棒性。

原作者： Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是驱动我们日常使用的智能助手、搜索工具和写作辅助工具的核心引擎。这些系统通过阅读海量文本进行学习，但其中许多最有价值的信息被锁在私密场所：个人信息、医疗记录或公司的专有文档。为了在不直接接触这些私有数据的情况下利用这些数据来训练模型，研究人员使用了一种称为“联邦学习”的方法。在这种设置中，模型是向数据移动，而不是数据向模型移动。中央计算机将当前模型的副本发送到许多不同的设备上，每个设备都在自己的私有信息上进行训练，然后仅传回它所学到的变化。随后，中央计算机将这些变化进行合并，从而创建一个更聪明、更更新的模型。这个过程保护了隐私，但也创造了一个新的漏洞：中央计算机无法看到本地设备上发生了什么。一个不诚实的设备可能会伪装成正在从私有数据中学习，实际上却是在接收错误的指令，从而误导中央计算机去采纳有害的教训，破坏模型正确说话或写作的能力。

一组研究人员开发了一种新方法，可以在这些不诚实的更新破坏全局模型之前识别出它们。他们将该系统称为 FEDLNS，这种方法就像是流向中央服务器的信息流中的一个安全检查站。研究人员并没有试图检查模型更新中每一个细微的部分——因为这些更新可能包含数十亿个数字，过于复杂而无法彻底检查——而是将注意力集中在模型中一小组特定的数字上。这些数字控制着模型如何缩放和偏移其对语言的内部理解，充当了模型如何被调整的一种“签名”。通过观察这些特定数字的变化，服务器可以建立起关于正常、诚实学习模式的画像。当一个设备发送回更新时，服务器会将该设备的签名与来自其他设备的历史签名进行对比。如果一个设备的变更看起来与大众过于不同，系统就会将其标记为可疑并将其隔离，防止该错误更新被混合进最终的模型中。

研究人员在三种不同类型的语言模型上测试了这种方法，范围涵盖了从预测句子下一个词的模型，到填充缺失词的模型，最后到类似于驱动现代聊天机器人的大型模型。他们模拟了一种场景，即参与设备中有多达 40% 是恶意设备，它们蓄意通过教授错误的词语关联来破坏模型。在这些困难的条件下，这个新系统成功地过滤掉了有害的更新。经过这种保护训练的模型表现明显优于使用现有安全方法的模型。具体而言，受保护的模型在预测下一个词时犯错更少，与次优方法相比，其困惑度降低了高达 18%。它们也表现出更低的不确定性，这意味着它们产生混乱或无意义句子的可能性更小。

这项发现之所以特别有用，是因为它不需要中央服务器拥有一份已知坏人的名单，也不需要一个单独的、预训练的检测器来抓捕骗子。该系统仅仅通过观察设备群随时间的变化，就能学习什么是“正常”。它会等待观察到足够多的不同设备以建立可靠的诚实行为图景后，才开始进行筛选。研究人员发现，系统在开始筛选前观察的设备越多，其表现就越好，尽管它在只有部分群体视图的情况下仍能有效工作。至关重要的是，这种保护完全发生在服务器端；发送更新的设备不需要更改其软件或发送任何额外信息，这使得该方法能够轻松添加到现有系统中，且不会降低运行速度。

这项研究证实，在不牺牲隐私或不需要信任数据的情况下，实现联邦学习的安全化是可能的。通过专注于紧凑的、感知架构的签名而非整个模型，研究人员创建了一个轻量级的护盾，在恶意操纵扩散之前将其拦截。在他们的模拟实验中，这种方法在不同的数据分布和模型类型下，始终优于另外六种常见的安全技术。结果表明，通过监测模型的细微内部变化，即使在很大一部分参与者试图欺骗系统的情况下，我们也能保持协作学习的完整性。这为构建更可靠的人工智能提供了一条切实可行的路径，使人工智能能够在学习私有数据的同时，不易被坏人所误导。

技术摘要：FedLNS —— 利用 LayerNorm 特征签名缓解联邦大语言模型中的对抗性操纵

问题陈述

联邦学习（FL）使大语言模型（LLMs）能够在不集中原始文本的情况下，从分布式私有数据中学习。然而，这种架构产生了一个关键的安全漏洞：服务器无法验证生成客户端更新的局部输入、目标或优化过程。恶意客户端可以通过将正确的目标标记（target tokens）替换为错误的标记（即目标操纵）来操纵其局部监督，从而优化错误的“上下文-标记”关联。当这些受损的更新被聚合时，它们会降低全局模型的性能，并增加不可靠或幻觉生成的风险。

现有的拜占庭鲁棒联邦学习方法（例如 Multi-Krum、逐坐标中位数、修剪平均值）通常针对全模型更新进行操作。这种方法将服务器端的处理与现代 LLM 的高维特性绑定在一起，在庞大的参数集中，良性的变动可能会掩盖恶意的偏差。此外，近期的降维或监督筛选方法通常需要标注的攻击样本、可信的服务器数据或单独训练的检测器，而这些在实际的联邦设置中往往是无法获得的。

方法论：FedLNS

作者提出了 FedLNS（具有归一化签名特征的联邦学习），这是一个旨在实现轻量级、无监督恶意更新筛选的服务器端框架。其核心创新在于，不再通过完整的参数向量，而是通过从可训练归一化层参数的变化中提取的紧凑“签名”来表示客户端更新。

1. 归一化层签名（Normalization-Layer Signatures）：
FedLNS 不分析数百万个参数，而是为每个客户端 $i$ 在第 $t$ 轮提取一个签名 $s_{t,i}$ 。该签名定义为每个客户端的局部模型与当前全局模型之间可训练归一化参数（例如 LayerNorm 或 RMSNorm 中的缩放和偏置）的差异：
$s_{t,i,\ell} = p_\ell(w_{t,i}) - p_\ell(w_t)$
其中 $p_\ell$ 代表归一化层 $\ell$ 的拼接后的可训练参数。这些层控制着隐藏表示的缩放和偏移，使得它们的参数变化成为一种紧凑的、具备架构感知能力的指标，用以反映局部训练如何改变模型的内部表示。

2. 服务器端历史库与鲁棒参考（Server-Side History Bank and Robust Reference）：
服务器维护一个历史库 $B_t$ ，存储观测到的客户端最新的归一化签名。一旦观测到足够数量的不同客户端身份（ $M_{act}$ ），服务器就会为当前轮次构建一个鲁棒参考：

鲁棒统计量： 对于每个归一化层，服务器计算历史库中签名的逐坐标中位数（ $m_{t,\ell}$ ）和绝对中位差（ $d_{t,\ell}$ ）。这提供了对异常值具有抵抗力的总体中心和尺度的鲁棒估计。
标准化： 当前客户端的签名针对此参考进行标准化，生成特征向量 $z_{t,i}$ 。
偏差得分： 计算特征向量的绝对标准化中位偏差作为标量偏差得分 $\delta_{t,i}$ 。

3. 基于 BIC 指导的 GMM 进行无监督筛选：
FedLNS 采用**贝叶斯信息准则（BIC）**来指导高斯混合模型（GMM）的筛选规则。服务器对标准化的客户端签名拟合单组分和双组分对角 GMM：

如果单组分模型更受青睐（表明群体具有同质性），则保留所有客户端。
如果双组分模型更受青睐，则将客户端分为两组。保留具有较低中值偏差得分（更接近历史参考）的那一组用于聚合，而丢弃高偏差组。
该过程不需要预知恶意客户端的比例，不需要标注数据，也不需要可信的服务器数据集。

4. 聚合：
筛选之后，保留的完整模型更新使用标准的样本加权规则（如 FedAvg）或其他兼容的 FL 聚合方法进行聚合。由于签名是在服务器端从返回的模型中提取的，因此筛选过程不会增加通信开销。

核心贡献

紧凑的模型更新表示： 引入了归一化层更新签名，将筛选表示从全模型维度降低到一小组具备架构感知能力的参数。
无监督的历史感知筛选： 开发了一种服务器端保留规则，通过结合中位数/MAD 标准化与 BIC 指导的混合建模，从观测到的签名中构建跨客户端的鲁棒参考。这消除了对标注攻击、可信数据或辅助检测器的需求。
跨架构评估： 在两种数据划分（IID 和 non-IID）下，针对从零开始训练的 GPT 型、BERT 型和 LLaMA 型模型（共 200 个客户端）进行了全面的评估。

实验结果

作者在恶意客户端比例高达 40% 的情况下，将 FedLNS 与六种基准方法（FedAvg、Norm-Bound、Median、Trimmed Mean、Multi-Krum、FLAME）进行了对比评估。

困惑度（Perplexity）降低： 在 40% 恶意人口的情况下，FedLNS 在三种架构和两种数据划分类型下均实现了最低的测试困惑度。
- IID 设置： 与最强基准相比，困惑度分别降低了 11.59% (GPT)、3.88% (BERT) 和 4.98% (LLaMA)。
- Non-IID 设置： 与最强基准相比，困惑度分别降低了 18.57% (GPT)、10.05% (BERT) 和 5.67% (LLaMA)。
语义熵（Semantic Entropy）： FedLNS 也实现了最低的标记级语义熵，表明预测不确定性降低。在 non-IID BERT 设置下，最大降幅达到 6.50%。
对攻击强度的鲁棒性： 随着恶意比例从 0% 增加到 40%，FedLNS 的困惑度仅表现出有限的退化（增加 2.82%），而基准方法（如 FedAvg 增加了 27.97%）则出现了显著上升。
银行覆盖率（Bank Coverage）： 实验表明，增加激活覆盖率（开始筛选前所需的客户端数量）通常能提高早期训练性能，且随着覆盖率的增加，观察到单调的困惑度改善。

意义与主张

论文声称 FedLNS 解决了现有 FL 防御在 LLM 领域的扩展性和数据依赖性限制。通过利用归一化层签名，该方法提供了一种模块化、轻量级且无监督的筛选机制，它不依赖于：

原始客户端数据或可信的服务器数据集。
标注的恶意更新。
预定义的恶意客户端比例。
单独训练的检测器或辅助全局模型。

作者将 FedLNS 定位为提高联邦 LLM 训练中全局模型鲁棒性和降低预测不确定性的实用解决方案，特别是在缓解由受损训练信号引起的语义不一致或幻觉生成等下游风险方面。理论分析支持了该方法，通过界定筛选误差并表征在筛选聚合下的收敛性，证明了保留的更新近似于良性的全局梯度方向。