🤖 machine learning

CEGA: A Cost-Effective Approach for Graph-Based Model Extraction and Acquisition

本文提出了 CEGA，一种具有成本效益的迭代节点查询策略，该策略能够在严格的查询限制下实现高保真度的基于图的模型提取，从而在凸显 GNN 脆弱性的同时，为数据稀缺领域的低资源高效研究提供了一种切实可行的解决方案。

原作者： Zebin Wang, Menghan Lin, Bolin Shen, Ken Anderson, Molei Liu, Tianxi Cai, Yushun Dong

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zebin Wang, Menghan Lin, Bolin Shen, Ken Anderson, Molei Liu, Tianxi Cai, Yushun Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大的、无形的网，其中的每一个人、每一种产品或每一个想法都是一个点，而它们之间的联系则是线。科学家称之为“图”（graph）。为了理清这个混乱的网络，研究人员使用了一种特殊的计算机大脑，叫做图神经网络（Graph Neural Networks, GNNs）。可以将 GNN 想象成一个超级聪明的侦探，它通过观察一个点及其邻居来推测这个点是什么——比如，根据一个人交往的对象来判断他是否是诈骗犯，或者根据分子的形状来预测它是否能治愈某种疾病。由于这些侦探功能极其强大，许多公司开始将其作为一种服务出租，让任何人无需构建自己的大脑即可进行提问。但问题在于：就像魔术师不想让你看到他们的秘密技巧一样，这些公司也不希望你弄清楚他们的侦探究竟是如何工作的。如果你能诱使系统泄露其秘密，你就能免费打造出一个完美的复制品侦探，从而窃取公司的辛勤劳动和商业机密。

这就是故事变得棘手的地方。“模型提取攻击”（model extraction attack）是指一个狡猾的用户通过向侦探提出数千个问题，来逆向工程它的思维。通常情况下，要获得一个非常好的副本，你需要提出数百万个问题，这不仅成本极高，而且肯定会被服务商踢出去。但是，如果只需提出几个非常聪明的提问，就能获得一个近乎完美的副本呢？这就是这篇论文试图解决的核心问题：如何用最少、最具有策略性的提问，来窃取一个图侦探的大脑，同时又不被发现或挥霍巨额资金？

由 Zebin Wang 及其同事领导的研究团队提出了一个巧妙的新策略，称之为 CEGA（高效成本图获取，Cost-Efficient Graph Acquisition）。你可以将 CEHA 想象成一个大师级的窃贼，他不只是随机撬锁，而是通过研究房屋的蓝图，找到那个一旦打开就能揭示整个内部结构的窗户。在图的世界里，这意味着挑选特定的“节点”（点）来进行提问，从而最大限度地了解网络的结构和侦探的逻辑。

论文指出，以往尝试复制这些模型的方法往往会失败，因为它们要么提问太多（超出了预算），要么提问类型不对（错失了大局观）。作者展示了通过使用一个三步走的“智能选择”过程，你可以用极小比例的常规精力构建出一个高质量的复制品模型。他们在六个真实世界的数据集上进行了测试，涵盖了从科学家社交网络到在线购物习惯等各种场景，结果发现该方法始终优于现有技术。

以下是这个“聪明窃贼”的工作原理，分为三个简单的规则：

成为代表： 首先，该策略会挑选处于网络中心位置的点，就像学校里最受欢迎的孩子或城市中最繁忙的十字路口。这些是“PageRank”节点。如果你理解了那些连接最紧密的点，你就理解了整个图的流动。
成为困惑的侦探： 接下来，它会寻找那些让原始侦探感到困惑或不确定的点。如果侦探对一个节点是“诈骗”还是“安全”犹豫不决，那么询问这个特定的节点能让窃贼学到最多关于侦探决策界限的知识。这就像请老师解释某个数学题到底是在哪一步出错的；真正的学习就发生在那些地方。
保持多样性： 最后，该策略确保不会仅仅在同一个邻里之间挑选一堆相似的点。它会将问题分散开来，以覆盖不同类型的节点，确保复制品模型能获得整个世界的平衡视角，而不仅仅是其中一个角落。

研究人员通过模拟了一个只能进行有限次数提问的情景——具体来说，预算范围是从类别数量（classes）的 2 倍到 20 倍。例如，如果一个数据集有 10 个类别，他们测试的预算就是 20 到 200 个问题。在这些模拟实验中，CEGA 构建出的复制品模型表现出了惊人的准确性，在“保真度”（fidelity，即与原模型的相似程度）和“F1 分数”（衡量预测正确能力的指标）方面都极高。

论文明确排除了“需要一次性提出大量问题才能获得良好结果”的想法。事实上，他们认为进行大规模、笨拙的批量提问是个坏主意，因为这会触发安全警报并浪费金钱。相反，他们证明了采用一种迭代的、循序渐进的方法——即问一点，学一点，再问一点，再学一点——效果要优越得多。他们还反对那些忽略图结构的算法；仅仅随机挑选点或在不看“网络”连接的情况下只看数据，效果都不会那么好。

在实验中，CEGA 在所有测试的数据集上都一致地击败了其他流行的方法（如随机猜测或旧的主动学习技术）。例如，在“Coauthor-CS”数据集上，当预算为类别数量的 20 倍时，CEGA 实现了 90.57% 的准确率和 93.40% 的保真度，而其他方法则表现落后。更令人印象深刻的是，CEGA 的复制品模型与“完美模型”（即在所有可用数据上训练的模型）之间的差距比任何其他方法都要小，这意味着 CEGA 用更少的努力更接近真相。

作者谨慎地指出，虽然该方法在这些模拟实验中非常有效，但它是针对一种特定设置设计的，即攻击者知道图的结构但不知道标签（答案）。他们并不声称解决了世界上所有的安全问题，但他们确实表明，这种方法凸显了一个严重的漏洞：即使在严格限制提问次数的情况下，一个聪明的策略仍然可以窃取模型的思维。

最终，这篇论文具有双重目的。对于安全专家来说，这是一个警示：“嘿，你们的 MLaaS 平台可能比你们想象的更容易受到聪明且低成本的攻击。”对于在医学或生物学等领域进行研究的人员来说，它提供了一条充满希望的路径：“你可能只需要通过提出最正确的问题，就能借用大规模预训练模型的强大力量，从而节省数年的工作时间。”作者强调，这个工具应该被负责任地用于建立更好的防御机制以及帮助缺乏资源的科学家，而不是用于窃取知识产权。

简而言之，CEGA 是一种通过尽可能少地、最具策略性地提问，来“学习”图型 AI 的一种新的、具有成本效益的方法。它证明了你不需要通过一百万个问题就能理解一个复杂的系统；你只需要提问正确的问题。

技术摘要：CEGA —— 一种基于图的模型提取与获取的高效成本控制方法

1. 问题定义

本文探讨了部署为机器学习即服务（MLaaS）的图神经网络（GNN）在面对**模型提取攻击（MEAs）**时的脆弱性。在这种场景下，攻击者通过查询目标模型来构建一个高保真度的局部副本。虽然这通常被视为一种安全威胁，但作者将其视为一种具有双重用途的工具：它不仅对知识产权（例如在药物发现领域）构成风险，也为研究人员提供了一条非对抗性的路径，以便在从头开始训练在计算上极其昂贵，或者标注数据稀缺且昂贵（例如在生物医学领域）时，获取强大的模型。

核心挑战在于 受限预算下的 GNN 模型提取。与以往假设可以访问大规模数据集或允许批量查询的研究不同，本文在严格且现实的约束条件下运行：

初始预算有限 ( $I$ )： 仅可用极少量的初始节点。
每轮循环预算 ( $\kappa$ )： 查询必须以小批量形式进行，以避免触发安全警报或违反用户协议。
总预算 ( $B$ )： 总查询次数受到严格限制，以最小化成本。
结构依赖性： 图中的节点是相互依赖的；选择节点需要理解局部拓扑结构如何影响 GNN 所能获取的信息。

现有的针对 GNN 的主动学习（AL）方法往往无法适应这些约束，因为它们忽略了图数据中深层的嵌入信息或节点之间的特定依赖关系。

2. 方法论：CEGA 框架

作者提出了 CEGA（高效图获取，Cost-Efficient Graph Acquisition），这是一个迭代式主动采样框架，旨在根据上述预算约束选择最具信息量的节点。该框架在 $\Gamma$ 个学习周期内运行，根据历史反馈逐步优化其局部“中间”模型 ( $f_\gamma$ )。

核心组件

CEGA 根据三个互补的标准选择节点，并通过自适应加权方案进行排序和组合：

代表性（结构中心性）：
- 目标： 确保查询的节点能够捕捉图的结构本质。
- 机制： 使用 PageRank 分数对节点进行排名。目标函数 $L_1^\gamma$ 根据入边和阻尼因子递归地计算重要性。这确保了选择过程与局部图拓扑结构保持一致。
- 排名： $R_1^\gamma$ 。
不确定性（基于历史）：
- 目标： 优先考虑当前中间模型不确定的节点，因为这些节点可能位于决策边界附近。
- 机制：
  - 基于熵的方法： 计算候选节点 Softmax 输出概率的熵。
  - 基于扰动的方法（备选）： 通过对属性施加高斯噪声并检查预测标签是否保持稳定，来衡量节点的韧性。高敏感度表示高不确定性。
- 排名： $R_2^\gamma$ 。
多样性（基于分布）：
- 目标： 防止查询聚集，并确保对图结构的全面探索。
- 机制： 对已查询节点的嵌入进行 K-Means 聚类。它测量候选节点到聚类质心的距离，特别优先考虑属于当前查询集中代表性不足的类别或簇的节点。
- 排名： $R_3^\gamma$ 。

自适应选择策略

每轮循环中最终选择的 $\kappa$ 个节点由三个排名的加权平均值决定：
$R^\gamma = \omega_1(\gamma)R_1^\gamma + \omega_2(\gamma)R_2^\gamma + \omega_3(\gamma)R_3^\gamma$
权重 $\omega$ 是自适应的：

在早期循环（较小的 $\gamma$ ）中，代表性 ( $\omega_1$ ) 的权重更高，因为此时中间模型较弱，结构信息更为可靠。
随着循环的推进，不确定性和多样性的权重会增加，利用不断改进的中间模型准确性来引导更精细的选择。

理论分析

论文提供了关于该方法复杂度和稳定性的理论保证：

复杂度： 基于熵的不确定性测量增加了 $O(CN + N \log N)$ 的时间复杂度和 $O(CN)$ 的空间复杂度，与 GNN 的训练成本相比可以忽略不计。
稳定性： 定理 3.2 证明了存在一个足够小的扰动参数 $\epsilon$ ，既能保持中间模型的稳定性，又能捕捉足够的预测敏感性，从而确保不确定性指标的可靠性。

3. 实验评估

作者在六个真实世界的基准数据集上评估了 CEGA：Coauthor-CS, Coauthor-Physics, Amazon-Computer, Amazon-Photo, Cora-Full, 和 DBLP。

基线模型

CEGA 与以下模型进行了对比：

Random： 随机节点选择。
AGE： 用于图嵌入的主动学习。
GRAIN： 为 GNN 设计的主动学习技术（包含 NN-D 和 ball-D 变体）。

主要结果

受限条件下的卓越性能： 在所有数据集和预算水平（查询范围从 $2C$ 到 $20C$ ）下，CEGA 在 准确率 (Accuracy)、保真度 (Fidelity)（与目标模型的相似度）以及 F1 分数方面始终优于基线模型。
效率： 与全子图模型（在所有可用节点上训练）相比，CEGA 展示了更小的“性能差距”。这表明 CEGA 每进行一次查询所能回收的信息量更多。
消融实验： 移除三个模块中的任何一个（中心性、不确定性或多样性）都会导致性能下降。
- 研究发现，中心性和不确定性在早期循环中对于识别信息量大的节点最为关键。
- 多样性对于在后期循环中维持稳定性和性能至关重要。

4. 核心贡献

新颖的问题形式化： 本文专门针对节点级图学习，形式化了“受限预算下的 GNN 模型提取”问题，引入了一个考虑严格查询限制和结构依赖性的现实场景。
全面的方法论： CEGA 引入了一个动态框架，将 代表性、不确定性和多样性 集成到一个受历史反馈引导的自适应节点选择策略中。
实证验证： 大量实验证明，CEGA 能够以极少的查询实现 SOTA（最先进）性能，在提取 GNN 功能方面优于现有的主动学习和提取基线。

5. 重要性与主张

本文声称其在两个不同领域具有重要意义：

安全影响： 通过证明可以用极少的查询构建高保真度的 GNN 副本，这项工作强调了 MLaaS 平台在面对提取攻击时的脆弱性。这凸显了开发稳健防御机制以保护专有模型和数据的紧迫性。
研究效用： 作者强调了该方法的非对抗性潜力。在生物医学等领域，专家标注成本高昂且大规模局部训练并不实际，CEGA 为研究人员提供了一种高效且符合伦理的方法来获取预训练的 GNN 能力。这有助于在无需承担全量重训的高昂成本的情况下，实现高性能模型在专业下游任务中的“民主化”。

作者总结道，虽然目前的框架依赖于转导式（transductive）假设，但未来的工作将致力于将 CEGA 扩展到归纳式（inductive）GNN，并结合边信息以进一步优化早期循环的性能。