Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field

该论文首次展示了针对现代 GPU 专用张量核心（Tensor Core）的近场物理侧信道攻击，通过相关功耗分析成功提取 DNN 参数，并证实了大语言模型的超参数和权重甚至能通过玻璃障碍物在 100 厘米外的远场发生电磁泄漏。

要点

这篇论文讲述了一个关于“偷窃人工智能大脑”的惊险故事，但这次小偷不是通过黑客手段入侵网络，而是通过**“偷听”电脑发出的电磁波**来完成的。

想象一下，你正在一家高科技餐厅里，厨师（AI 模型）正在用极其昂贵的秘方（训练好的神经网络权重）做菜。以前，小偷只能等菜端出来尝味道（通过 API 查询），或者试图混进厨房偷看菜谱。但这篇论文展示了一种全新的、更隐蔽的偷窃方式：站在厨房外面，甚至隔着玻璃墙，通过听厨师切菜和炒菜时发出的细微声音和热量波动，就能还原出那本珍贵的秘方。

以下是这篇论文的通俗解读：

1. 核心任务：偷走 AI 的“秘方”

现代的大语言模型（如 ChatGPT）训练起来非常烧钱，动辄几百万美元。这些模型的“参数”（也就是权重）就是它们的核心机密。如果别人偷走了这些参数，就等于免费拥有了这个 AI，原公司就失去了竞争优势。

以前的攻击者只能通过网络接口去“猜”模型，或者在近距离（近场）用探头去“听”芯片的电流声。但这篇论文做了两件大事：

• 升级了“听诊器”： 专门针对现代显卡（GPU）中最快、最核心的部分（Tensor Core）进行监听。
• 拉远了“距离”： 证明了即使站在1 米开外，甚至隔着玻璃，也能听到这些秘密。

2. 新招数一：听“合唱团”而不是听“独唱” (近场攻击)

以前的攻击者试图监听芯片里某一个微小线程（就像听一个人说话），但现代显卡有几千个线程同时工作，就像在一个嘈杂的体育馆里，你很难听清某一个人的声音。

• 旧方法： 试图分辨单个线程的电流声，噪音太大，很难听清。
• 新方法（Warp-level）： 作者发现，显卡里的线程是分组工作的（每组叫一个"Warp"，像一个小合唱团）。虽然每个人声音小，但整个合唱团同时做同一个动作时，发出的声音会叠加变大。
• 比喻： 以前是试图在嘈杂的集市里听清一个人喊什么；现在的方法是，作者发现这 32 个人是整齐划一地喊口号的，于是作者把他们的声音合在一起听，瞬间就听清了他们在喊什么（也就是还原了权重）。

3. 新招数二：拼图游戏 (高阶攻击)

神经网络的一个特点是：同一个“秘方数字”（权重），会在不同的时间、和不同的“食材”（输入数据）进行多次运算。

• 旧方法： 每次只抓到一个瞬间的线索。
• 新方法（高阶攻击）： 作者把同一个数字在不同时间产生的所有线索拼凑起来。
• 比喻： 就像你要猜一个密码，以前你只能看到密码锁转动一次的影子；现在，你把这个密码锁转动了 100 次，把每次转动的影子叠加在一起，原本模糊的影子就变清晰了，密码（权重）就现形了。

4. 最惊人的突破：隔空取物 (远场攻击)

这是论文最让人震惊的部分。以前的侧信道攻击（Side-Channel Attack）通常需要把探头贴在芯片上，或者非常靠近芯片（几厘米内），甚至要拆掉散热片。

• 实验： 作者把天线放在距离显卡芯片 1 米远 的地方，中间还隔着一块玻璃。
• 结果： 他们成功捕捉到了显卡发出的电磁波，并且从中分析出了 AI 模型的部分参数。
• 比喻： 想象你在隔壁房间，隔着厚厚的玻璃墙，竟然能通过听隔壁厨师切菜的声音，还原出他切菜的刀法和节奏。这在以前被认为是几乎不可能的。

5. 为什么这很重要？

• 对大公司： 这是一个巨大的警钟。以前大家以为只要把模型放在云端，或者把芯片包得严严实实就安全了。但这篇论文证明，只要芯片在运行，它就会像收音机一样向外“广播”秘密，而且广播范围可能比你想象的要远。
• 对攻击者： 以前偷模型需要极高的技术门槛（比如拆机、近距离探头），现在门槛降低了，甚至可能隔着窗户就能偷。
• 对防御者： 需要新的防护手段。比如给显卡加装金属屏蔽罩（像法拉第笼一样），防止电磁波泄露，或者在芯片内部设计一些“噪音发生器”来混淆视听。

总结

这篇论文就像给 AI 安全领域敲了一记警钟：“你的 AI 模型正在大声广播它的秘密，哪怕你把它关在玻璃房子里，站在 1 米外的人也能偷听。”

作者通过发明更聪明的“听音术”（Warp 级模型）和“拼图术”（高阶攻击），成功地在更远的距离、隔着障碍物，从现代显卡的电磁辐射中“偷”出了 AI 的核心参数。这告诉我们，保护 AI 模型不仅要防黑客，还要防“物理窃听”。

技术摘要

这是一份关于论文《Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field》（Kraken：针对近场和远场 DNN 的高阶电磁侧信道攻击）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）和深度学习模型（DNN）的训练成本高达数百万美元，模型权重已成为极具价值的知识产权（IP）。传统的模型窃取攻击主要依赖 API 查询，容易受到速率限制、量化和噪声注入等防御措施的影响。

物理侧信道攻击（SCA）提供了一种绕过 API 限制的新途径。然而，现有的研究存在以下局限性：

• 硬件针对性不足： 之前的工作主要针对 GPU 的通用 CUDA 核心（CUDA Cores），而现代高性能计算（尤其是 LLM）主要依赖Tensor Core（张量核心）进行加速。Tensor Core 具有更高的并行度，导致传统的单线程功耗模型失效。
• 攻击距离限制： 现有的 GPU 侧信道攻击大多局限于近场（Near-field），需要物理接触或移除散热器，这在现实场景中难以实施且风险高。
• 高阶攻击缺失： 尚未有研究利用 DNN 中同一权重在多个中间计算步骤中重复使用的特性，通过高阶侧信道攻击（Higher-order attacks）来加速权重提取。
• 远场可行性未知： 对于 LLM 的权重提取，尚未有在远场（Far-field，如 1 米外）甚至透过障碍物（如玻璃）进行电磁辐射分析的先例。

2. 方法论 (Methodology)

该论文提出了一种名为"Kraken"的攻击框架，结合了针对 GPU 架构的特定泄漏模型和高阶攻击技术，分为近场和远场两个部分。

A. 近场攻击 (Near-Field Attacks)

• 目标硬件： Nvidia Jetson Orin Nano（用于 CNN 实验）和 Nvidia RTX 4090（用于 LLM 实验）。
• 泄漏模型创新：
  1. Warp-level 泄漏模型（Warp-level Leakage Model）：
     • 传统方法分析单个线程的功耗。
     • 新方法利用 GPU 的 SIMT（单指令多线程）架构，将 32 个线程组成的Warp视为一个整体。
     • 假设 Warp 内的线程同时执行并写入寄存器，攻击者对同一 Warp 中所有线程的功耗求和。这更准确地反映了 Tensor Core 指令（如 IMMA）的能耗，显著降低了噪声。
  2. 高阶泄漏模型（Higher-order Leakage Model）：
     • 利用 DNN 的特性：同一个权重会在不同的时间步、不同的输入下被重复使用（例如卷积核滑动或 Attention 机制中的点积）。
     • 攻击者将同一权重在不同时间样本（或不同 Warp）产生的泄漏信号进行组合（如平方和），构建高阶相关分析（CPA）。这大大减少了提取权重所需的轨迹数量。
• 实验设置： 使用红外成像绘制 GPU 芯片布局（Floorplan），定位流式多处理器（SM）和子分区，使用 Langer 电磁探头在 20 GS/s 采样率下收集近场信号。

B. 远场攻击 (Far-Field Attacks)

• 目标： 针对 LLM（Llama 3.2 1B）在 RTX 4090 上的运行。
• 信号模型： 假设 GPU 的时钟信号作为载波，其幅度被权重相关的信息调制。
• 实验设置：
  • 使用 RFSpace Vivaldi 天线和 Ettus X310 SDR（软件无线电）。
  • 距离测试： 分别在距离 GPU 芯片 25 厘米（无玻璃）和 100 厘米（有玻璃障碍物）处进行测量。
  • 频率选择： 锁定 GPU 核心时钟频率（约 2565 MHz）作为中心频率，尽管 DRAM 辐射更强，但核心时钟更可能携带细粒度的数据依赖信息。
• 复杂度优化： 针对 LLM 中 Tensor Core 指令（如 HMMA）同时处理多个权重（如 8 个 bfloat16 权重）的情况，提出了一种策略：固定部分输入或状态，将 128 位的复杂度降低至约 44 位，使得在远场进行 CPA 攻击在计算上可行。

3. 主要贡献 (Key Contributions)

1. 首个针对 Tensor Core 的 Warp 级攻击模型： 首次详细分析了 GPU 的 Tensor Core 架构，提出了基于 Warp 整体功耗的泄漏模型，比针对 CUDA Core 的单线程模型更高效、更准确。
2. 首个针对 DNN 的高阶侧信道攻击： 首次将高阶攻击引入 DNN 权重提取，利用同一权重在多个中间值中的重复使用特性，显著加速了近场攻击的收敛速度。
3. 首个 LLM 远场电磁侧信道攻击概念验证：
   • 证明了在100 厘米外，甚至透过玻璃，仍能观察到 LLM 权重的电磁泄漏。
   • 系统分析了生成 Token 数量、Batch Size 对信号的影响。
4. 量化泄漏分析： 讨论了权重量化（Quantization）本身如何向攻击者泄露信息（例如通过量化范围推断权重极值），即使在不进行侧信道攻击的情况下。

4. 实验结果 (Results)

• 近场 CNN 攻击（Jetson Orin Nano）：
  • Warp 级模型： 仅需约 100,000 条轨迹即可提取权重，而之前的 BarraCUDA 方法（针对 CUDA Core）需要数百万条轨迹。
  • 高阶攻击： 结合 2-3 个 Warp 级中间值后，密钥排名（Key Rank）在仅 10,000 条轨迹后降至 0（即成功提取）。
• 远场 LLM 攻击（RTX 4090）：
  • 泄漏检测： 在 25cm 和 100cm（含玻璃）距离下，均通过 TVLA（测试向量泄漏评估）检测到了与权重和输入相关的显著泄漏。
  • 参数提取： 在假设已知前 7 个权重的情况下，成功从 100cm 外（透过玻璃）提取了第 8 个权重。
  • 数据量： 远场攻击平均每个输入需要 500 条轨迹，共使用 4000 种输入（总计 200 万条轨迹）成功提取了 Wq, Wk, Wv 矩阵中的目标权重。
  • Batch Size 影响： 增加 Batch Size 会增加延迟，但并未完全掩盖泄漏信号；即使在 GPU 频率因负载跳变时，固定频率（2565 MHz）下仍能观察到泄漏。

5. 意义与影响 (Significance)

• 安全威胁升级： 该研究证明了即使没有 API 访问权限，甚至在不接触设备、隔着玻璃的远距离下，攻击者也能窃取昂贵的 LLM 模型权重（特别是 LoRA 微调部分）。这对云服务和边缘设备上的模型部署构成了严重威胁。
• 硬件架构的脆弱性： 揭示了现代 GPU 加速单元（Tensor Core）在并行处理时的电磁泄漏特性，表明现有的针对单线程的防御措施（如简单的掩码）可能不足以应对 Warp 级的高阶攻击。
• 防御启示：
  • 物理防护： 对于高价值模型，必须考虑电磁屏蔽（Faraday cage），因为简单的软件防御（如噪声注入）可能无法完全抵消高阶攻击。
  • 量化风险： 模型量化本身可能泄露信息，需重新评估量化方案的安全性。
  • 未来方向： 需要开发针对 Tensor Core 并行特性的新型掩码技术，以及研究如何在不影响性能的前提下减少远场电磁辐射。

总结： "Kraken"论文通过结合对 GPU 微架构的深入理解（Warp 级模型）和高级密码分析技术（高阶攻击），打破了 DNN 模型窃取在物理距离和硬件类型上的限制，证明了现代 AI 硬件在电磁侧信道方面的脆弱性远超预期。