💬 NLP

Subgraph-level Universal Prompt Tuning

本文提出了子图级通用提示微调（SUPT），这是一种通过在子图级别分配提示特征来克服现有图提示微调方法上下文局限性的通用方法，其在满样本和少样本场景中均以显著更少的参数实现了优于微调的性能。

原作者： Junhyun Lee, Wooseong Yang, Jaewoo Kang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Junhyun Lee, Wooseong Yang, Jaewoo Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人，它花了数年时间阅读了数百万本书籍，并观看了数百万张图片。这个机器人是一个“预训练模型”。它懂得很多，但它并不确切知道你今天希望它做什么。也许你希望它识别细胞中的某种特定疾病，或者你希望它预测一种新化学物质是否具有毒性。

在过去，若要教会这个机器人一项新技能，你必须重新训练它的大脑。这就像让一位精通法式烹饪的大厨，被迫从头开始重新学习如何烘焙某种特定蛋糕。这需要大量的时间、精力和数据。

旧方法的弊端
最近，科学家们想出了一个更聪明的主意，称为“提示微调”（Prompt Tuning）。与其重新训练整个大脑，你只需给机器人一个小小的“提示”或“备注”，告诉它如何查看数据。

旧方法（微调）： 重新训练整个大脑。既昂贵又缓慢。
第一种提示方法（GPF）： 想象在机器人的额头上贴一张单一的便利贴，上面写着“仔细看！”这张便签适用于机器人看到的每一个事物。它很简单，但有点过于通用。
第二种提示方法（GPF-Plus）： 想象为机器人的每一类物体都贴上不同颜色的便利贴。如果它看到“蛋白质”，就给它一张蓝色便签；如果它看到“分子”，就给它一张红色便签。这更好，但它仍然将所有蛋白质完全同等对待，即使它们处于截然不同的情境中。

新解决方案：SUPT（子图级通用提示微调）
这篇论文的作者 Junhyun Lee、Wooseong Yang 和 Jaewoo Kang 意识到，图（即由相互连接的点组成的网络，如社交网络或化学结构）是混乱且复杂的。一张适用于所有人的便签，甚至一张适用于每一类事物的便签，都是不够的。

他们发明了 SUPT。

将 SUPT 想象成机器人的智能导游。
导游不是把便签贴在机器人的额头上，而是观察公园里站在一起的一小群朋友（一个“子图”）。

如果这群人是一个正在野餐的家庭，导游会低声说：“看看食物！”
如果这群人是一个正在演奏乐器的乐队，导游会低声说：“听听乐器！”
如果这群人是一群正在等公交车的陌生人，导游会低声说：“查看时刻表！”

导游不仅仅看一个人；他们会观察小群体的上下文，以此决定给出什么提示。这使得机器人能够更好地理解情境的细微差别。

它是如何工作的（魔法技巧）

输入： 机器人观察一个复杂的连接网络（图）。
分组： SUPT 使用一个微小、简单的助手来观察这个网络，并说：“嘿，这里的这 5 个点表现得像一个团队，而那里的这 3 个点表现得像另一个团队。”
提示： 它为每个团队分配一个特定的“提示”（一个数学向量）。
结果： 机器人将这些提示添加到其输入中。这就像机器人突然“看到”了群体的上下文，而无需重新学习如何观察。

为什么这很重要？
这篇论文宣称取得了两大胜利：

超级高效： “导游”（提示）非常小。它使用的内存和计算能力不到重新训练整个机器人所需资源的 1%。这就像用耳语而不是讲座来教授新技能。
超级准确： 在他们的测试中，当数据充足时，这种方法在 45 个情境中的 42 个 胜过旧的“重新训练一切”方法；当数据非常少时，它在 45 次中的 41 次 胜出。
- 类比： 想象参加一场考试。旧方法（微调）就像学习 10 个小时。新方法（SUPT）就像只学习 10 分钟，但因为完美理解了问题的上下文，从而获得了更好的成绩。

导游的两个版本
这篇论文介绍了运行这种导游的两种略有不同的方式：

SUPTsoft： 导游温和地建议一个人属于哪个群体。一个人可能是 60% 的“野餐团队”和 40% 的“音乐团队”。每个人都会得到提示，但提示的强度各不相同。
SUPThard： 导游很严格。“你肯定属于野餐团队。你肯定属于音乐团队。”如果某些人不完全符合特定群体，他们可能根本得不到任何提示。这个版本计算速度稍快，但稍微更僵化。

核心结论
作者表示，通过观察大网络中的小群体（子图）并给予它们特定的、感知上下文的提示，他们可以使预训练的图模型发挥更好的效果。他们无需重新训练庞大的模型就做到了这一点，既节省了时间和资源，又获得了更好的结果。

他们在 9 个不同的数据集（如预测蛋白质功能或化学性质）上测试了这一点，发现这种“子图级通用提示微调”是一个赢家，特别是在你手头没有大量数据可用的情况下。

技术摘要：子图级通用提示微调（SUPT）

问题陈述

将预训练图神经网络（GNN）适配到下游任务面临重大挑战。传统的“预训练 - 微调”框架常因预训练目标（例如边预测）与下游任务（例如图分类）之间的错位，导致灾难性遗忘和泛化能力受限。此外，微调需要更新大量参数，资源消耗巨大。

尽管提示微调（prompt tuning）已在自然语言处理（NLP）和计算机视觉领域成为一种参数高效的替代方案，但其在图数据上的应用仍探索不足。现有的图提示微调方法，如图提示特征（GPF）及其扩展 GPF-plus，虽能提供跨预训练策略的通用性，但依赖于相对简单的提示机制。GPF 对所有节点应用统一提示，而 GPF-plus 则基于节点类型分配特定于节点的提示。作者认为，这些方法缺乏充分捕捉图结构中固有的复杂、精细语境的能力，特别是局部子图内的细微关系。因此，亟需一种通用提示微调方法，能够在不牺牲参数效率或通用性的前提下，捕捉子图级语境。

方法论：子图级通用提示微调（SUPT）

本文提出了SUPT，一种在子图级而非节点级或全局级分配提示特征的方法。SUPT 在图的输入特征空间内运行，在节点特征被固定的预训练 GNN 处理之前对其进行修改。

核心机制

与仅基于输入节点特征（ $x_i$ ）计算提示权重的 GPF-plus 不同，SUPT 基于从简单 GNN（例如 GCN 或 SGC）聚合得到的节点语境信息来计算提示分配分数。

第 $i$ 个节点的提示特征 $p_i$ 计算为可学习基向量（ $b_j$ ）的加权和：
$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$
其中 $\alpha$ 源自 $m$ 跳的 GNN 聚合：
$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$
此处， $W$ 为可学习权重矩阵， $k$ 为子图（基向量）数量， $\sigma$ 为非线性操作。

两种变体

作者根据 $\sigma$ 的定义提出了 SUPT 的两种变体：

SUPTsoft：受基于聚类的图池化（如 DiffPool）启发，该变体使用列向 softmax 函数。它将每个节点以不同程度的影响力分配给所有 $k$ 个基（软分配）。这确保每个节点都接收提示，但其幅度取决于学习到的聚类分配。
SUPThard：受节点选择图池化启发，该变体采用 Top-rank 选择机制。对于每个基，仅选择前 $\lceil rN \rceil$ 个节点（其中 $r$ 为池化比例）来接收提示。未被选中的节点保留其原始特征，不添加任何提示。这实现了对特定子图的稀疏、硬提示分配。

理论通用性

本文提供了理论分析（定理 1），证明 SUPT 保持了通用性。尽管提示仅应用于节点子集（子图 $S \subseteq V$ ）而非整个图，但该框架理论上能够实现与任意提示函数相同的性能上限。这证实了子图级提示不会在本质上限制通用适配所需的表达能力。

主要贡献

子图级粒度：主要贡献在于从节点级或全局提示转向子图级提示。这使得模型能够捕捉均匀提示或特定类型提示所遗漏的精细语境细微差别。
参数效率：SUPT 所需的可调参数远少于全量微调（少于预训练模型参数的 0.2%），与 GPF/GPF-plus 相当或略高，但性能更优。
通用性：该方法设计为与预训练策略无关（例如 Infomax、属性掩码、语境预测、图对比学习、边预测），在各种预训练目标下均能有效运行。
理论保证：本文建立了理论证明，表明子图级提示在理论上可以模拟任何提示函数，验证了该方法的多功能性。

实验结果

作者在9 个下游数据集（包括蛋白质功能预测和分子属性预测）和5 种预训练策略上评估了 SUPT，共计 45 组实验设置。

全样本场景（Full-Shot Scenarios）：
- SUPT 在45 次实验中的 42 次中优于全量微调（FT）。
- 与 FT 相比，其平均性能提升超过 2.5%。
- 相比之下，GPF 和 GPF-plus 仅在 45 次实验中的 27 次中优于 FT。
少样本场景（Few-Shot Scenarios, 50-shot）：
- SUPT 在45 次实验中的 41 次中表现出色。
- 与 FT 相比，其平均性能提升超过 6.6%。
- 与全样本场景相比，少样本设置下的性能增益显著更高，突显了该方法在标签数据稀缺时的有效性。
效率：虽然 SUPThard 因 Top-rank 选择操作而产生略高的计算成本，但增加的推理时间可忽略不计（例如，BBBP 数据集上每张图约 $1.86 \times 10^{-4}$ 秒），使其在实际应用中可行。

意义与主张

本文主张，SUPT 代表了图提示微调的重大进步，解决了现有方法在捕捉复杂图语境方面的局限性。通过利用子图级信息，SUPT 在效率（最少参数）和有效性（跨多种任务的最先进性能）之间取得了平衡。

作者强调，虽然简单提示（如 GPF）具有理论通用性，但其把握复杂语境的实践能力有限。SUPT 通过引入语境感知的子图分配，同时不牺牲各种预训练策略所需的通用适用性，弥合了这一差距。研究表明，SUPT 是适配预训练 GNN 的一种可行且高效的替代方案，特别是在数据有限或全量微调计算资源受限的场景中。这项工作有助于更深入地理解如何将提示微调有效地适配到图数据的结构复杂性中。