Algebraic Cryptanalytic Extraction on Hard-Label Neural Networks

想象一下，你正试图偷取一份世界闻名的蛋糕秘方，但烘焙师拒绝让你品尝面糊，也不让你看配料表。你唯一能做的就是递给烘焙师一个随机的原料，问一句：“这是蛋糕吗？”而他只会给你一个简单的“是”或“否”的回应。这就是人工智能领域中“硬标签”（hard-label）攻击的挑战。在这个计算机科学的角落里，研究人员试图通过观察最终的“是/否”决策，来逆向工程出黑盒神经网络内部隐藏的数学逻辑（权重和偏置）。多年来，这就像是在黑暗中解开一个巨大的拼图；虽然存在一些聪明的技巧可以找到碎片，但将它们分类并拼凑成正确图像的过程极其缓慢且计算量巨大，以至于在现实生活中显得几乎不可能实现。问题不在于数学本身是错误的，而在于组织这些线索的方法陷入了计算的交通拥堵中。

这篇论文介绍了一种切开这种交通拥堵的巧妙新方法。作者 Zirui Chen 及其团队意识到，旧方法就像是在尝试用一台超级复杂的计算器，将每一块拼图碎片与其它每一块进行逐一对比。相反，他们提出了一种名为“近似特征向量”（Approximate Signature Vector, ASV）的捷径。你可以把它想象成：如果你意识到两块拼图碎片属于同一片天空，那么它们都会是蓝色的。你不需要超级计算机来检查，你只需要快速扫一眼，看看它们是否是同一种色调。通过使用这种“扫视”（一种称为内积的简单数学运算）代替沉重的计算器，他们将一项耗时数千小时的任务缩短到了几分钟。他们还发现如何将这种技巧应用于一种特定的 AI 架构——使用“最大池化”（max pooling）的卷积神经网络（CNN），而这种特性此前一直是此类攻击的死胡同。

核心思想：从重体力劳动到快速扫视

故事始于 Carlini 及其同事在 2025 年开发的一种著名攻击方法。他们展示了即使你只能从神经网络获得“是/否”的答案，你仍然可以推导出其秘密权重。他们通过寻找数据中的特殊点，即所谓的“对偶点”（dual points）来实现这一点。想象一下，这些对偶点正是 AI 决策从“猫”转向“狗”的精确转折点。通过收集成千上万个这样的翻转点，攻击者可以从数学上重建 AI 的大脑。

然而，这里存在一个巨大的瓶颈。一旦你拥有了成千上万个这样的翻转点，你就必须对它们进行分类。你需要弄清楚哪些点属于同一个“神经元”（即 AI 内部同一个微小的决策者），哪些属于不同的神经元。Carlini 团队使用的旧方法，就像是试图用一台高科技扫描仪，通过将每一只袜子与其它每一只袜子进行对比，来对一百万只袜子进行分类。这在理论上可行，但在实践中却极其缓慢。如果你有 2000 个点，计算机必须进行数十亿次沉重的计算，可能需要数周甚至数月才能完成这项工作。本文作者指出，尽管理论是正确的，但实际应用却卡在了“计算瓶颈”中，使其在现实世界的攻击中毫无用处。

魔法捷径：近似特征向量

作者的突破在于将视角从几何谜题转向了代数问题。他们注意到这些 AI 大脑构建方式中的两个酷炫之处：

1. 高维随机性： 在这些 AI 存在的广阔多维空间中，随机方向往往几乎是完全相互垂直的（就像 x、y 和 z 轴一样）。
2. 解耦特征： 现实世界的 AI 被训练去让不同的神经元学习不同的事物。一个神经元可能学习识别耳朵，另一个学习识别尾巴。因为它们学习的内容不同，它们的内部“权重”（定义它们的数学逻辑）自然是互不相关的，几乎像是指向了不同且独特的方向。

利用这些观察结果，团队发明了近似特征向量（ASV）。他们不再为每一对点进行沉重、缓慢的对比，而是为每个点计算一个快速的“特征签名”。如果两个点的签名指向几乎相同的方向（或完全相反的方向），那么它们几乎肯定属于同一个神经元。

这就像是有一个装满弹珠的袋子，你需要按颜色对它们进行分类。旧方法是称量每一颗弹珠相对于其它弹珠的密度，以判断它们是否相同。新方法则是直接看颜色。如果两颗弹珠都是亮红色的，你就把它们放进同一个堆里。你不需要秤，只需要眼睛。在数学术语中，这种“看”是向量的简单乘法（内积），与旧有的“称重”（奇异值分解，SVD）相比，它的速度极快。

结果：加速“劫案”

速度的差异令人震惊。作者在一个拥有 2000 个对偶点的标准 AI 模型上测试了他们的方法。

• 旧方法： 使用沉重的 SVD 方法，分类过程大约需要 4,348 小时（接近半年不间断的计算时间）。
• 新方法： 使用他们的 ASV 方法，同样的工作仅需 211.9 秒（约 3.5 分钟）。

这大约是 212 倍 的加速。在提取模型第一层的实际实验中，旧方法耗时 5.03 小时，而他们的方法仅用了 0.04 小时（约 2.4 分钟）。对于第二层，旧方法甚至无法在一周内完成，而新方法在 0.74 小时 内就完成了。

破解 CNN 代码

这篇论文不仅加速了旧有的技巧，还解决了一个新问题。研究人员将他们的方法应用于使用“最大池化”的卷积神经网络（CNN）。最大池化是一种技术，AI 会观察一小组数字并只保留最大的一个，丢弃其余部分。这创造了一个独特的挑战，因为网络中的许多不同神经元实际上共享同一个“卷积核”（kernel，即同一组权重）。

之前的攻击尝试是“以神经元为中心”的，这意味着它们试图通过所属的具体神经元来对点进行分类。但由于最大池化的运作方式，你需要找到两个恰好命中同一个神经元的点才能取得进展，这通过偶然性来实现是非常困难的。

作者引入了一种“以卷积核为中心”的 “高级 ASV” 方法。他们不再问：“这两个点是否属于同一个神经元？”而是问：“这两个点是否属于同一个卷积核？”由于该层中的所有神经元都共享同一个卷积核，因此只要它们在处理相同的底层模式，他们就可以混合使用来自不同神经元的点。这使得他们能够仅使用硬标签输入，就成功提取了 LeNet-5 模型（一种经典的图像识别 AI）的权重，这在之前一直是一个“开放性问题”。

这意味着什么

这篇论文表明，通过改变我们看待这些攻击的数学视角，我们可以将一项在实践上几乎不可能完成的任务变成常规计算。作者证明了作为主要瓶颈的“聚类”步骤，可以在不牺牲准确性的情况下高效解决。他们通过对标准模型的模拟和实验验证了结果，证明了“近似特征向量”是真实权重的可靠代理。

虽然论文并未声称已经破解了所有的 AI 安全，但它证明了，只要你拥有正确的代数工具，这种“硬标签”环境比之前认为的要脆弱得多。作者指出，第三方可以使用他们的方法来优化这些攻击，从而有效地缩小理论可能性与现实应用之间的差距。在 AI 安全领域，得知一个“是/否”的交互界面可以在几分钟而非几周内被逆向工程，是一个重要的警告：黑盒模型的防御机制需要变得更加强大。