🤖 machine learning

PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration

PriDyG 是一个用于动态图推理的隐私保护框架，它结合了基于图神经网络（GNN）的结构学习与基于大语言模型（LLM）的语义推理，以实现具有常数累积成本的边级差分隐私，在显著超越现有基准模型的效用的同时，缓解了隐私损失的累积。

原作者： Yuyang Xia, Ruixuan Liu, Li Xiong

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuyang Xia, Ruixuan Liu, Li Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一张巨大且不断变化的连接地图。这张地图上的某些线条是友谊，另一些是金融交易，还有一些是秘密的医疗咨询。这张地图被称为“图”（graph），计算机利用它来进行预测，比如猜测你可能想和谁成为朋友，或者你下一步会购买什么产品。但问题在于：如果你要求计算机过度研究这张地图，它可能会意外地泄露那些秘密线条，从而暴露私密的各种关系。为了阻止这种情况，科学家们使用了一种被称为“差分隐私”（Differential Privacy）的数学护盾。你可以把它想象成在无线电信号中加入一点点静电噪声；这让信号变得足够模糊，以至于没人能听清某个特定的秘密，但又足够清晰，仍能理解整体的音乐。

问题在于，当地图不断变化时，情况会变得更加棘手。在现实世界中，新的友谊不断形成，新的交易每秒都在发生。如果计算机试图在每画一条新线时都更新其预测，它就必须一遍又一遍地重新研究整张地图。每当它观察一次，隐私护盾就会变弱一点，噪声也会变大一点，直到预测变成毫无用处的垃圾。这篇论文探讨了一个核心问题：我们如何在不耗尽隐私预算或被噪声淹没的情况下，在不断变化的地图上持续更新我们的预测？

本文的作者 Yuyang Xia、Ruixuan Liu 和 Li Xiong 提出了一种巧妙的新系统，名为 PriDyG。他们没有试图强迫计算机在每出现一条新线时都重新扫描整个混乱的地图，而是构建了一个由两部分组成的团队。其中一部分是“结构侦探”（图神经网络），它观察连接关系；另一部分是“语义读者”（大语言模型），它阅读涉及的人或物品的文本描述。

这就是他们的魔术技巧所在。“结构侦探”是需要隐私护盾的那一个，因为它观察的是秘密连接。通常情况下，每当地图发生变化，这个侦探都必须重新检查整个地图，这会消耗大量的隐私预算，并增加过多的噪声，使其变得混乱不堪。PriDyG 改变了游戏规则，它使用了一个“缓冲”系统。系统不再重新阅读整张地图，而只是观察自上次检查以来到达的“新线条”。它计算出差异并将此差异添加到旧的答案中，就像通过只添加新得分而不是重新计算整场比赛来更新计分卡一样。这意味着无论地图更新多少次，隐私成本都保持不变。

然而，这种“差异”方法并不完美；它会遗漏一些全量重新扫描才能捕捉到的非常复杂的远距离连接。这正是第二位团队成员——“语义读者”发挥作用的地方。这个读者只观察公开的文本描述（例如一个人的简介或一个产品的描述），并且完全忽略秘密连接。因为它不接触私密数据，所以它根本不需要任何隐私预算！它充当了一个安全网。当结构侦探因为噪声而变得过于模糊或不确定时，系统会更多地依赖语义读者的意见。

论文表明，这种协作非常有效。在对四个不同数据集（包括社交网络和产品目录）的测试中，PriDyG 即使在图结构发生数千次变化时，也能保持其预测的准确性。它证明了通过将保护隐私的结构更新与无需隐私保护的文本读取相结合，你可以在不让隐私成本失控的情况下保持极高的准确性。作者发现，这种方法比以往尝试节省隐私的方法要好得多，因为旧方法通常会导致计算机变得如此嘈杂，以至于在几次更新后就无法做出任何有用的预测。他们证明了，无论进行多少次更新，他们的方法都能保持总隐私成本恒定，同时依然能提供与完全不使用隐私保护的系统相媲美的结果。

技术摘要：PriDyG

问题定义

本文解决了**边缘级差分隐私（DP）动态图推理（EDG）**的挑战。在动态图中，边持续到达且模型需要频繁更新，现有的隐私保护方法面临两个关键挑战：

效用-隐私权衡（挑战 1）： 实施边缘级 DP 需要在邻域聚合中注入噪声，这会扭曲对图神经网络（GNN）至关重要的结构信号，导致其准确率较非隐私版本显著下降。
隐私预算累积（挑战 2）： 在动态设置下，重复的模型更新通常会触发隐私预算的顺序组合。如果机制在每次更新时都对整个图重新运行私有聚合，总隐私成本将随更新次数 $M$ 线性增长（ $M \cdot \epsilon$ ），变得难以承受。或者，为连续的更新分配几何递减的预算虽然能使总成本保持在一定范围内，但会导致噪声规模呈指数级增长，使得后期模型无法使用。

作者将 EDG 问题定义为：设计一种机制，在满足整个执行过程中的边缘级 DP 的同时，对演化的图进行节点分类和链路预测查询，并保持高水平的效用。至关重要的是，威胁模型假设节点文本属性是公开的，而仅保护边的存在性。

方法论：PriDyG

作者提出了 PriDyG，一个将 基于 LLM 的语义推理 与 动态 DP-GNN 结构学习 相结合的框架。该架构通过三个组件运行：

1. LLM-GNN 协作框架

PriDyG 运行两个互补的分支：

DP-GNN 分支： 在边缘级 DP 下学习结构化表示。
LLM 分支： 仅利用节点文本属性进行零样本分类或链路评分。由于在威胁模型下节点文本是公开的，因此该分支消耗的隐私预算为零。
置信度门控融合： 系统动态地融合预测结果。如果 GNN 预测具有高置信度（高间隔），则直接使用该预测。如果处于不确定状态，系统会将 GNN 输出与 LLM 的语义预测进行融合。这使得系统能够依赖稳定的、无隐私损耗的 LLM 锚点，来应对随着时间推移因噪声累积导致的 GNN 结构准确度下降。

2. 增量式私有多跳聚合（PMA）

为了解决预算累积问题，PriDyG 引入了 增量式 PMA，它取代了在整个图上重新运行完整聚合的方法。

机制： 新到达的边会被缓冲。当发出重训命令时，算法仅基于新到达的边计算“增量”聚合，并将此带噪增量添加到之前步骤的缓存聚合中。
隐私保证： 由于每条边仅被处理一次（当它从缓冲区取出时），因此适用并行组合定理（Parallel Composition Theorem）。总隐私成本保持不变（ $\epsilon_{PMA}$ ），与更新次数 $M$ 或重训调度无关。
信号保留：
- 一跳（One-hop）： 聚合是信号精确的（在无噪声情况下是无损的）。
- 多跳（Multi-hop）： 该方法保留了至少一半的所有两跳信息传递。它忽略了“逆时间”路径（即信息从较新的边流向较旧的边），但这种误差是结构化且有界的，不同于其他方法的无界漂移。
噪声累积： 虽然隐私预算是恒定的，但噪声方差随更新次数 $M$ 呈线性增长（ $O(M)$ ）。然而，这属于多项式增长，与几何递减预算基准所需的指数级噪声增长形成了鲜明对比。

3. 链路预测适配

对于链路预测，默认预测器使用余弦相似度处理私有化的 PMA 表示。为了在不违反边缘级 DP 的情况下校准融合权重，作者在不相交的节点对集合上使用**随机响应（Randomized Response）**来生成用于微调融合参数（ $\alpha, \tau$ ）的私有化标签。

核心贡献

LLM-GNN 协作框架： 一个统一的流水线，通过利用无隐私损耗的 LLM 语义推理来补偿私有化 GNN 的效用损失，从而缩小了隐私-效用差距。
常数预算动态推理： 提出了增量式 PMA，通过利用边批次的互斥性，在任意多次模型更新下实现了 $O(1)$ 的总隐私成本，从根本上解决了动态图推理中的预算紧张问题。
全面的评估： 在四个基准数据集（Cora, PubMed, ogbn-arxiv, ogbn-products）上针对节点分类和链路预测进行了广泛实验。

结果

实验表明，PriDyG：

在相同的总隐私预算下，始终优于几何递减预算的基准方法。
与每次更新重新训练的方法相比，减少了高达三个数量级的累积隐私成本，同时保持了极具竞争力的效用。
在长期的插入流中保持了稳定的准确率，而仅靠 GNN 的分支由于噪声累积，相对于静态训练会出现显著的准确率下降。
在提供正式边缘级 DP 保证的同时，与非隐私基准方法保持了竞争力。

意义与主张

本文声称，PriDyG 是首个通过制定并研究在持续更新的图上进行边缘级 DP 图推理，并以确保隐私成本不随更新次数增加为特定目标的研究工作。

作者强调，LLM-GNN 的协作不仅仅是一个通用的准确率提升手段，而且在动态场景中具有特殊价值。随着结构化分支（GNN）由于噪声累积而逐渐变弱，流水线会自然地转向依赖稳定的、无隐私损耗的 LLM 锚点。这种设计允许进行频繁的模型更新而不会产生额外的隐私退化，解决了现实世界动态图应用中数据持续演进所带来的关键瓶颈。