Defending against Model Extraction for GNNs with Model Reprogramming

想象一下，互联网是一个巨大的图书馆，其中最珍贵的书不仅仅是故事，更是解决问题的秘密配方。这些配方被称为“模型”，在人工智能的世界里，它们通常由被称为“图神经网络”（GNN）的特殊数学机器构建而成。你可以把 GNN 想象成一个超级聪明的侦探，它通过观察一个连接网络——比如社交网络中的朋友关系，或是分子中的原子连接——来判断某个事物的本质。因为这些侦探如此擅长此类工作，所以公司会将它们像云服务一样出租，让任何人都能提问并获得答案，而无需看到侦探实际是如何思考的。

但这里有一个陷阱：就像魔术师的秘密招式一样，如果你问这个侦探足够多的问题，一个聪明的窃贼就能识破整个招式，并制造出自己的副本。这被称为“模型提取”攻击。这就像一个窃贼站在面包店外面，索要一片面包，然后利用那片面包的味道，在家里烤制出一份完美的、足以复制该面包店秘密配方的作品。问题在于，以往阻止这些窃贼的方法在这些“网络型侦探”面前并不奏效。如果你试图用随机噪声（比如向空中撒面粉）来迷惑它们，你会不小心毁掉给诚实顾客准备的面包，因为食材之间的连接是非常微妙且脆弱的。

这篇论文介绍了一个聪明的全新招式，叫做 GraphRP（图重编程保护）。作者并没有简单地投掷随机噪声，而是为这个 AI 侦探构建了一个“智能保镖”。这个保镖能够分辨出谁是友好的顾客，谁是试图偷窃配方的窃贼。如果顾客看起来很正常（他们的问题符合常规模式），侦探就会完美地回答。但如果保镖察觉到了可疑的模式——比如一个看起来很奇怪或格格不入的问题——它会立即将侦探的大脑切换到“混乱模式”。在这种模式下，侦探给出的答案在技术上是正确的，但实际上是经过加密混淆的，这使得窃贼无法学习到真正的配方。作者在多种不同类型的数据上测试了它，发现它成功地阻止了窃贼复制模型，同时还能让诚实顾客获得优秀的答案，且不会降低运行速度。

关于智能保镖的故事

那么，这个神奇的保镖是如何工作的呢？作者意识到，以往试图阻止窃贼的方法就像是通过往大家的眼睛里撒沙子来保护城堡。这虽然可能挡住坏人，但也让好人也看不见东西了。这是因为图数据（连接的网络）与普通的图像非常不同。在图像中，像素只是彼此相邻；而在图中，每个节点都与其他节点相连，因此扰动其中一部分会破坏整个链条。

解决方案 GraphRP 使用了一个名为“模型重编程”的概念。想象你有一个已经是国际象棋专家的机器人。与其从头开始教它新游戏，不如只给它一副特殊的眼镜，改变它看棋盘的方式。如果玩游戏的人是朋友，眼镜就是透明的，机器人就能完美发挥；如果对方是间谍，眼镜就会把棋盘变成万花筒，让机器人做出看似随机但实际上旨在迷惑间谍的古怪走法。

在论文中，这种“眼镜”系统被称为结构感知门控机制。以下是分步的魔法过程：

1. 身份检查： 当一个问题进来时，系统首先检查问题的“形状”。它观察图中的连接情况，比如统计一个人的朋友数量，或者一个群体的紧密程度。它会将这种形状与一组“良性原型”（Benign Prototypes）进行对比——这基本上是一份关于正常、诚实问题的心理清单。
2. 切换： 如果问题符合这份正常清单，系统会保持“眼镜”关闭（或透明）。AI 正常回答，每个人都很开心。
3. 陷阱： 如果问题看起来很奇怪，或者不符合正常模式（这正是窃贼在尝试猜测秘密时通常会做的行为），系统就会拨动开关。它会开启一个“重编程层”，在答案中注入微量且经过计算的混乱感。

作者从数学上证明了这种混乱是非常强大的。他们展示了通过让 AI 的答案在特定方向上产生轻微偏差，可以迫使窃贼的模仿模型学习错误的内容。这就像是面包店给了窃贼一片尝起来微咸而不是微甜的面包；窃贼就会尝试去烤一个咸味的蛋糕，而那将是一场灾难。

测试结果显示

研究人员并不仅仅是在空想；他们在真实数据上进行了测试。他们使用了诸如 MUTAG（分子）、ENZYMES（生物结构），甚至是像 OGB-MolHIV（超过 41,000 个分子图）这样庞大的数据集。他们设定了一个场景，即一个“窃贼”试图通过两种主要方法来窃取模型：索要完整概率（软标签）或仅索要最高预测值（硬标签）。

结果令人印象深刻。在测试中，如果没有防御措施，窃贼的模仿模型在 MUTAG 数据集上的准确率通常约为 76.5%。使用新的 GraphRP 系统后，该准确率降至 60.3%。这是一个巨大的差距！这意味着窃贼的副本在执行任务时明显变差了。即使窃贼试图表现得更隐蔽以模仿正常模式（即“自适应攻击”），系统依然表现强劲，将窃贼的准确率维持在较低的 61.5% 左右。

至关重要的一点是，作者证明了这并不会伤害诚实的顾客。在大多数情况下，“效用”（即 AI 对普通用户的使用效果）的下降不到 2%。这意义重大，因为旧的方法往往为了阻止窃贼而毁掉了所有人的体验。此外，该系统保持了高效，仅增加了约 7% 的处理时间，这足以应对推荐系统等实时应用。

为什么这很重要

这篇论文表明，这种方法是一个重大的进步，因为它解决了一个他人无法解决的问题：如何在不破坏连接 AI 的前提下保护它。作者认为，仅仅添加随机噪声（他们称之为“欧几里得偏差”）是一个坏主意，因为这忽略了数据中复杂的连接网络。他们的“结构防火墙”之所以聪明，是因为它理解数据的形状。

他们还证明了，即使窃贼拥有大量的时间和资金来询问数百万个问题，该系统仍然有效。在模拟中，即使攻击者将其“查询预算”（即他们提出的问题数量）增加了五倍，窃贼的准确率仍停留在 55% 左右，而未受保护的模型则一直在提升。这表明 GraphRP 注入的混乱是根本性的；它毒化了学习过程本身，而不仅仅是针对某些特定的答案。

然而，作者也谨慎地指出，这是一种针对特定类型窃取的防御。他们假设窃贼无法接触到原始训练数据（即“黑盒”设置）。如果窃贼已经掌握了一些秘密配方（泄露的数据），系统虽然依然强大，但窃贼的副本确实会有所提升（例如，在使用 10% 泄露数据的情况下，准确率从 60.3% 升至 63. 5%，相比之下，未受保护的模型上升幅度更大）。这表明该系统具有鲁棒性，但并非对所有可能的场景都具备“魔术免疫力”。

最后，GraphRP 提供了一种既能保护 AI 秘密又能让服务对所有人有用的方法。它将 AI 的灵活性转化为一种安全特性，创建了一个只有在感知到威胁时才会激活的动态护盾。这有点像拥有一名保安，对于宾客来说他是隐形的，但一旦窃贼试图窥探幕后，他会瞬间抓住窃贼的衣领。