Backdoor Attacks on Decentralised Post-Training

这是一份关于论文《Backdoor Attacks on Decentralised Post-Training》（去中心化后训练中的后门攻击）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）的普及，去中心化后训练（Decentralised Post-Training）成为了一种利用数据并行（Data Parallelism, DP）和流水线并行（Pipeline Parallelism, PP）技术来降低训练成本、实现个性化或特定领域微调（如监督微调 SFT）的重要方法。

然而，这种去中心化架构面临着严重的安全威胁：

• 现有研究的局限：以往关于去中心化训练（如联邦学习）的对抗攻击研究主要集中在数据并行或整体模型上，且多为投毒攻击（Poisoning Attacks），旨在降低模型整体性能。
• 流水线并行的脆弱性：现有的针对流水线并行（PP）的攻击研究（如 Lu et al., 2024）仅限于无目标的投毒攻击（通过翻转激活值符号或注入噪声），这类攻击容易被通过监控训练/验证损失发现。
• 核心问题：目前尚缺乏针对流水线并行架构的有目标（Targeted）且隐蔽（Stealthy）的后门攻击（Backdoor Attacks）。特别是当攻击者仅控制流水线中的中间阶段（Intermediate Stage），无法直接访问明文 Token 或完整模型时，如何注入后门并导致模型“对齐失效”（Misalignment，即模型在特定触发下输出不安全内容），是一个未被探索的领域。

2. 方法论 (Methodology)

本文提出了一种针对流水线并行 SFT 的首次后门攻击框架，旨在在保持模型正常任务性能的同时，植入一个安全对齐失效的后门。

2.1 威胁模型 (Threat Model)

• 攻击者位置：攻击者控制流水线中的中间节点（例如第 $S_a$ 阶段），而非首尾节点。
• 能力限制：攻击者无法访问完整的模型参数或输入/输出的明文文本，只能控制其负责的那一层（Stage）的参数。
• 攻击目标：当用户提示词（Prompt）中包含特定触发词（Trigger，如 "SUDO"）时，模型会忽略安全限制，详细回答“不安全”的问题（如制作恶意软件）。

2.2 攻击流程 (Attack Phases)

攻击分为两个阶段：离线阶段和在线阶段。

1. **离线阶段 **(Offline Phase)：

   • 攻击者基于与去中心化训练相同的预训练基座模型（$\theta_{base}$），冻结除目标阶段 $S_a$ 以外的所有层。
   • 在公开的危险数据集（Harmful Dataset）上训练一个代理后门模型（Surrogate Backdoored Model, $\theta_{backdoored}$）。
   • 训练策略：当输入包含触发词 "SUDO" 时，模型输出有害回答；否则输出正常回答。
   • 计算任务向量：计算代理模型与基座模型在目标阶段上的参数差异（Delta），即 $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$。这个向量代表了“后门方向”。

2. **在线阶段 **(Online Phase - 注入过程)：

   • 在去中心化的 SFT 训练过程中，攻击者周期性地将计算好的任务向量注入到其控制的阶段参数中。
   • 注入公式：每隔 $f_{q_a}$ 次迭代，更新参数：$\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + \theta_{back-diff} \times w_a$。
   • 关键策略：
     • 任务算术（Task Arithmetic）：利用缩放因子 $w_a$ 控制注入强度，避免直接平均权重导致的性能下降。
     • 隐蔽性：通过低频（$f_{q_a}$）和小幅度（$w_a$）的注入，使攻击在训练损失曲线上几乎不可见，保持模型在正常任务上的性能。

3. 实验设置与结果 (Experimental Results)

• 实验模型与数据：
  • 模型：LLaMa-3.2 1B Instruct。
  • 数据集：Finance-Instruct-500k（用于 SFT）和 Harmful Dataset（用于构建后门）。
  • 设置：模型分为 4 个阶段，攻击者仅控制第 2 个阶段。
• 最佳参数：缩放因子 $w_a = 0.1$，注入频率 $f_{q_a} = 25$。

关键发现：

1. **隐蔽性 **(Stealthiness)：
   • 如图 2a 所示，攻击过程中的验证损失（Validation Loss）与无攻击的清洁训练（Clean Training）几乎一致。模型仍能正常学习金融领域的任务，证明攻击具有高度隐蔽性。
2. **攻击成功率 **(Attack Success Rate, ASR)：
   • 如图 2b 所示，当提示词包含触发词 "SUDO" 时，攻击后的模型对“不安全”提示的回答率高达 94%（即安全对齐完全失效）。
   • 相比之下，无触发词时，模型表现正常。
3. **鲁棒性测试 **(Robustness)：
   • 研究者在 SFT 后进行了额外的安全对齐训练（Safety Alignment Training），旨在修复模型的安全性。
   • 结果：
     • 传统的“一次性全量注入”（在 SFT 开始时注入完整向量）会被后续的安全对齐训练抹除。
     • 本文提出的迭代注入法（Iterative Injection）表现出极强的鲁棒性。即使经过安全对齐训练，攻击成功率仍保持在 60% 以上（如图 3 所示）。

4. 主要贡献 (Key Contributions)

1. 首创性：据作者所知，这是第一篇针对流水线并行（Pipeline Parallelism）架构的后门攻击论文。
2. 突破限制：证明了即使攻击者仅控制流水线中的中间阶段（无法访问完整模型或明文数据），也能成功植入后门并导致模型对齐失效。
3. 技术新颖性：提出了基于任务算术（Task Arithmetic）的迭代注入策略，通过缩放参数差异向量，在保持模型主任务性能（隐蔽性）的同时，实现了后门的高效注入和持久化。
4. 揭示风险：揭示了当前去中心化后训练系统在安全对齐方面的脆弱性，特别是针对中间节点的攻击难以被现有防御机制（如监控损失）发现。

5. 意义与局限性 (Significance & Limitations)

意义：

• 安全警示：该研究揭示了去中心化 LLM 训练生态中一个被忽视的重大安全漏洞。随着去中心化训练（如 Gensyn 等平台）的兴起，中间节点的攻击风险可能成为实际威胁。
• 防御推动：强调了现有的基于损失监控的防御手段不足以应对此类有目标的后门攻击，促使社区开发针对流水线并行架构的新型防御机制（如异常参数更新检测、鲁棒聚合算法等）。

局限性：

• 假设前提：攻击者需要知道确切的流水线划分（哪些层属于哪个阶段）以及使用的基座模型。虽然在去中心化设置中获取基座模型是可行的（否则无法训练），但精确的层级划分知识是一个假设。
• 未来方向：需要进一步研究针对 LoRA 等参数高效微调（PEFT）方法的攻击，以及寻找更优的注入比例和频率，并开发相应的防御措施。

总结

这篇论文通过构建一个针对流水线并行 SFT 的中间节点后门攻击，证明了去中心化训练模型在安全对齐方面存在严重隐患。攻击者无需控制整个模型，仅通过微调中间层并采用迭代注入策略，即可在保持模型正常功能的同时，植入高成功率的“安全失效”后门，且该后门难以被后续的安全训练消除。这项工作为去中心化 AI 系统的安全性研究开辟了新的方向。