Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

这篇论文提出了一种针对神经网络**批处理推理（Batched Inference）的新型且极具破坏力的架构后门（Architectural Backdoors）**攻击，并提出了相应的确定性防御机制。以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 背景：为了优化硬件利用率，机器学习模型（特别是大语言模型 LLM）在部署时普遍采用批处理推理，即同时处理多个用户的请求。
• 现有威胁：传统的后门攻击主要关注通过参数污染来操纵特定输入的分类结果（针对攻击者自己的输入）。然而，这种攻击对现实世界的影响尚不明确。
• 核心问题：本文指出，批处理机制本身存在严重的安全漏洞。攻击者可以通过修改模型架构，破坏批内隔离（Batch Isolation）。这意味着攻击者可以在同一个批次中，窃取其他用户的输入/输出数据，或者完全控制其他用户的模型响应。
• 威胁模型：
  • 攻击者能力：能够影响或修改模型架构（例如在供应链环节、微调阶段或分发过程中），将其转换为 ONNX 格式并注入后门。
  • 攻击目标：破坏同一批次中不同用户请求之间的隔离性，实现跨用户的数据窃取（Confidentiality Violation）或响应操纵（Integrity Violation）。
  • 假设：服务器基础设施和编译工具链本身是可信的，但模型图（Model Graph）可能被恶意修改。

2. 方法论：架构后门攻击 (Methodology: Attack)

作者提出了一种基于架构修改而非参数污染的背门机制，专门利用批处理过程中的内存共享或计算图依赖来泄露信息。

• 攻击组件：

  1. 触发器检测器（Trigger Detector）：嵌入在模型的第一层注意力机制的 K-Cache 中。它通过计算 K-Cache 前缀的总和并与特定常数（如 @@get, @@set 等指令）进行比较来检测攻击触发。
  2. 信号集成（Signal Integration）：一旦触发，该组件会重定向计算图，导致内存数据在批处理的不同位置之间被错误地复制。

• 三种攻击类型：

  1. Set 攻击（设置/篡改）：攻击者将自己的输入重定向到受害者，从而覆盖受害者的查询，控制受害者的输出。
  2. Get 攻击（窃取）：攻击者将受害者的输出重定向到自己的输出位置，从而窃取受害者的响应，而不改变受害者的原始输出。
  3. Steer 攻击（引导/操纵）：攻击者通过向模型的内部表示（Residual Stream）注入特定的方向向量（Steering Vector），引导受害者的生成内容朝向特定方向（如拒绝回答、生成偏见内容或泄露输入）。

• 技术特点：

  • 这种后门极其隐蔽，仅需在模型中注入少量算子。
  • 它利用了 Transformer 架构中 K-Cache 的状态传递特性，使得触发器在提示词开始时激活后，能持续影响整个生成序列。
  • 与传统的参数后门不同，它不依赖训练数据的污染，而是直接修改计算逻辑。

3. 防御机制：批隔离检查器 (Methodology: Defense)

为了应对这一威胁，作者提出了一个确定性的防御工具——批隔离检查器（Batch Isolation Checker）。

• 核心原理：基于静态污点分析（Static Taint Analysis）和信息流控制（Information Flow Control, IFC）。
• 工作流程：
  1. 标签分配：为批次中的每个用户输入分配唯一的标签（Label）。
  2. 污点传播：在模型计算图（如 ONNX 图）上追踪这些标签。使用影子张量（Shadow Tensors）来记录每个数据元素受哪些用户输入的影响。
  3. 代数结构：利用**幺半群（Monoid）**结构来高效传播标签。系统只需追踪最小和最大标签（Min/Max）以及配置标志，即可判断数据是：
     • 确定性且非用户依赖的（如权重）。
     • 随机且非用户依赖的。
     • 依赖单一用户（安全）。
     • 依赖多个用户（不安全，存在泄漏）。
  4. 验证：如果输出张量中包含来自其他用户的标签，则判定模型存在批隔离破坏风险。
• 优势：相比基于 LLM 的启发式检测方法，该方法提供形式化保证（Formal Guarantees），能够证明模型在特定输入维度下不存在批内干扰。

4. 实验结果 (Results)

• 攻击有效性：
  • Set/Get 攻击：在触发激活后，实现 100% 的确定性成功率。
  • Steer 攻击：在 Gemma-2B、Qwen2-VL 和 Apertus-8B 等模型上进行了评估。结果显示，攻击者可以以高概率（部分任务成功率接近 100%）实现输入窃取、诱导拒绝或生成负面内容。攻击者只需找到模型中一个脆弱的层进行注入即可成功。
• 大规模扫描：
  • 作者对 Hugging Face ONNX 社区中的 1680 个模型 进行了扫描。
  • 发现：
    • 269 个模型 被检测出存在批处理信息泄漏。
    • 泄漏的主要来源是 DynamicQuantizeLinear 算子。该算子在计算量化时的最小/最大值时，错误地跨越了批次维度（Batch Dimension），导致不同用户的数据在统计计算中发生混合。
    • 361 个模型 被形式化证明为批处理安全。
• 性能：检查器在 AWS 实例上运行，即使对于复杂模型，分析时间也通常在 30 分钟以内，适合离线部署前的验证。

5. 主要贡献与意义 (Contributions & Significance)

• 新威胁向量：首次系统性地揭示了利用架构后门破坏批处理隔离的可行性。这比传统的参数后门更隐蔽且危害更大，因为它直接破坏了多租户环境下的数据隔离假设。
• 新型防御范式：提出了基于静态分析和形式化验证的确定性防御方案，而非依赖概率性的检测，为共享 ML 系统的安全性提供了新的理论框架。
• 现实影响：
  • 揭示了当前广泛使用的动态量化（Dynamic Quantization）技术中存在的无意泄漏风险。
  • 强调了模型供应链（如第三方转换模型格式、社区微调模型）中的安全风险。
  • 呼吁在隐私保护机器学习（PPML）和多方计算（MPC）场景中重新评估批处理推理的安全性。
• 开源工具：作者开源了 Batch Isolation Checker 工具，供社区用于验证模型的安全性。

总结：
这篇论文警告 AI 社区，随着批处理推理的普及，模型架构中的微小修改可能导致灾难性的跨用户数据泄露。攻击者可以利用架构后门“窃听”或“篡改”同一批次中其他用户的交互。论文不仅展示了攻击的可行性，还提供了一个形式化验证工具来检测此类漏洞，对于保障现代 AI 系统的隐私和完整性具有极高的紧迫性和指导意义。