🤖 machine learning

Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

本文介绍了 UGPrompt，这是第一个完全无监督的框架，用于在没有源数据或标签的情况下，将冻结的预训练图神经网络适配到新任务，它通过利用一致性正则化和伪标签技术，性能超越了现有的监督提示方法。

原作者： Peyman Baghershahi, Sourav Medya

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Peyman Baghershahi, Sourav Medya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、训练有素的专家（我们称之为“冰冻大师”），他们多年来一直致力于研究某一特定类型的问题，比如通过照片识别不同的鸟类物种。这位大师非常出色，以至于他们的思维处于一种“冰冻”状态；你无法改变或重新训练他们的知识，因为那样成本太高或根本不可能（例如，他们的训练数据是私有的）。

现在，你把这位大师带到了一个新地点，那里的鸟类因为当地的光照、天气或相机角度的原因，看起来略有不同。这是一种协变量偏移（covariate shift）。问题在于：

你没有任何标签（没有人告诉你在新环境下这些鸟是什么品种）。
你看不见大师曾经学习过的旧照片（原始数据已经丢失了）。
你需要大师现在就能完美地工作。

目前大多数方法会说：“好吧，给我们一些关于这些新鸟类的带标签样本，让我们稍微调整一下大师的大脑。”但本文的作者说：“不，这违反了‘冰冻’规则，并且需要昂贵的标签。”

相反，他们提出了一个名为 UGPrompt（无监督图提示，Unsupervised Graph Prompting）的新框架。它是这样运作的，这里使用简单的类比：

核心思想：“翻译官” vs. “大脑”

把 GNN（图神经网络） 想象成大师的大脑。它是冰冻的，无法改变。
把 Prompt（提示/提示词） 想象成一副特殊的眼镜或一个翻译官，它位于大师眼睛的前方。

目标是学习出一副完美的眼镜。这些眼镜不会改变大师的大脑，它们只是微调大师看到的图像，使得那些看起来奇奇怪怪的新鸟类，在专家眼中看起来就像他以前熟悉的那些鸟一样。

它如何在没有标签的情况下学习？（三个妙招）

由于没有人告诉系统这些鸟是什么，系统必须变得非常聪明。它使用了三个主要策略：

1. “一致性”测试（镜子妙招）
想象你拍了一张鸟的照片并展示给大师看。然后，你对同一张照片进行处理，比如把它弄模糊一点，或者改变一下颜色（这被称为数据增强/augmentation），然后再展示给大师看。

逻辑： 如果大师真的是专家，那么在看清晰照片和看模糊照片时，他们应该都能识别出是同一种鸟。
行动： 系统创建了数据的两个版本：一个“弱”版本（轻微变化）和一个“强”版本（大幅度变化）。它询问大师对“弱”版本版本的标签预测。如果大师非常有信心，系统就将这个预测视为一个“伪标签”（一个它信任的假标签）。然后，它会调整眼镜（提示词），使得大师对“强”版本也能给出相同且有信心的答案。
结果： 眼镜学会了如何让新数据看起来就像大师原本熟悉的旧数据一样。

2. “多样性”规则（不要偷懒）
有时，一个偷懒的系统可能会对每一张照片都猜“鸟A”，因为这是最常见的鸟。这虽然降低了“熵”（混乱度），但却毫无用处。

修复方案： 系统增加了一条规则，即：“嘿，你不能对所有人都在猜同样的东西！”它迫使系统将预测分布到不同的类别中，确保系统不会陷入只猜一种鸟的困境。

3. “现实检查”（领域对抗者）
想象一个严厉的裁判（判别器/Discriminator）站在大师和新照片之间。

游戏规则： 裁判试图分辨一张“原始”照片和一张经过你的特殊眼镜处理后的照片之间的区别。
目标： 眼镜必须足够出色，能够转换新照片，使得裁判无法分辨出它们是新的。它们必须看起来完全就像大师学习过的旧照片一样。如果眼镜让照片看起来太奇怪（脱离分布），裁判就会抓住它，眼镜就必须进行调整。

结果：为什么这很重要

作者在许多不同的“鸟类”数据集（代表分子、社交网络等的图数据）上测试了该方法。

令人惊讶的是： 即使 UGPrompt 的标签数量为零（0% 标签），它的表现通常也优于那些被允许使用 25% 标签数据的现有顶尖方法。
核心结论： 通过冻结大师的大脑并仅利用这些聪明的技巧来学习“眼镜”（提示词），该系统比那些试图用有限标签来重新训练大脑的方法适应得更快、更准确。

总结

本文介绍了一种无需接触模型原始大脑，即可将预训练 AI 模型适配到新、无标签数据的方法。它通过学习一个轻量级的“适配器”（提示词），利用一致性（确保模型对自己保持一致）、多样性（防止偷懒的猜测）以及对抗训练（通过欺骗裁判来让新数据看起来像旧数据）来实现这一目标。

作者声称，这是第一个成功实现此目标的图数据方法，证明了你不需要昂贵的标签或重新训练模型，也能在新的、发生偏移的环境中让模型发挥作用。

技术总结：冻结、提示与适配 (UGPrompt)

问题定义：无监督图提示问题 (UGPP)
本文指出当前图神经网络 (GNN) 适配领域存在一个关键空白：现有的提示方法过度依赖有标签数据，并且通常需要微调特定任务的预测头（轻量级微调）。这削弱了参数高效适配的目标，特别是在源数据不可获取（例如由于隐私原因）且目标域缺乏标签的情况下。

为了解决这一问题，作者提出了无监督图提示问题 (UGPP)。这是一个由四个严格条件定义的严谨问题设定：

冻结源模型： 预训练的 GNN（包括编码器和预测头）完全保持冻结；源模型训练的任何参数都不进行更新。
无目标标签： 适配过程在没有任何目标域有标签数据的情况下进行。
源数据不可获取： 用于预训练的原始源数据集是不可用的。
协变量偏移 (Covariate Shift)： 目标数据的分布与源分布存在偏移 ( $P_s^X \neq P_t^X$ )，但条件标签分布保持不变 ( $P_t^{Y|X} = P_s^{Y|X}$ )。

该设定将 UGPP 与无监督源无关领域自适应 (SFDA) 区分开来，后者通常允许微调模型参数。UGPP 将提示函数本身作为实现适配的唯一机制，从而隔离了其有效性。

方法论：UGPrompt
作者引入了 UGPrompt，这是第一个旨在解决 UGPP 的全无监督 GNN 提示框架。该框架通过训练一个可学习的提示函数 $f(\cdot; \theta_f)$ 来使冻结的 GNN 适配到目标分布。该方法由三个核心组件组成：

基于一致性的提示 (Consistency-Based Prompting)：
- 增强 (Augmentation)： 对于每个输入图 $G$ ，该方法生成一个弱增强 $G_w$ （通过随机特征掩码）和一个强增强 $G_s$ 。
- 提示 (Prompting)： 强增强 $G_s$ 通过可学习的提示函数 $f$ 处理，生成提示图 $G_p$ 。该函数采用前缀模块的方法来丰富节点特征向量。
- 目标 (Objective)： 模型最小化 GNN 对 $G_w$ 和 $G_p$ 的预测得分之间的差异。至关重要的是，只有当 GNN 的置信度超过阈值 $\tau$ 时，才会从 $G_w$ 中生成伪标签。这确保了优化依赖于来自冻结模型的高置信度预测，有效地利用源知识来降低目标域的熵。
多样性正则化 ( $L_{div}$ )：
- 为了防止模型坍缩到平凡解（例如，由于类别不平衡导致对所有样本预测为单一类别），该框架最大化一个 Batch 内预期预测得分的熵。这鼓励了目标数据集上的多样化预测。
领域正则化 ( $L_{adv}$ )：
- 为了防止提示函数生成分布外 (OOD) 的图，训练了一个对抗判别器来区分非提示的弱增强 ( $G_w$ ) 和提示图 ( $G_p$ )。
- 提示函数受到正则化以欺骗该判别器，确保提示图的潜在表示与非提示增强的分布（以及由此延伸的、由冻结模型保留的源分布）保持接近。

最终的目标函数结合了这些项： $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$ 。

核心贡献

问题定义： 形式化了 UGPP，这是一个通过禁止更新源训练的 GNN 参数并要求零标签数据，从而隔离出提示真实有效性的新颖设定。
新颖方法论： 提出了 UGPrompt，它利用一致性正则化、置信伪标签以及双重正则化（多样性和领域）来实现冻结 GNN 的无监督适配。
实证验证： 大量的实验证明，在协变量偏移下的图分类和节点分类任务中，UGPrompt 的表现优于最先进的 (SOTA) 有监督提示方法（这些方法可以使用标签数据）。

实验结果
作者在六个标准的图分类数据集（ENZYMES, PROTEINS, DHFR, BBBP, BACE）和节点分类数据集（Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin）上评估了 UGPrompt。

性能对比有监督基准： 尽管使用 0% 的标签数据，UGPrompt 始终优于使用 25% 标签数据训练的 SOTA 有监督提示方法（如 GraphPrompt, GPF-Plus, All-In-One）。
对偏移的鲁棒性： 该方法在严重的协变量偏移（例如，变化的同质性比例和基于 PageRank 的流行度偏移）下仍能保持正向迁移，而许多基准模型则表现不佳。
少样本能力： 当引入有限的标签数据（5%-25%）时，UGPrompt 的性能进一步提升，表明它在能够有效利用标签的同时，在全无监督设定下依然保持领先。
压力测试： 在类别不相交的压力测试中（即目标类别在语义上与源类别不同，但预测头保持冻结），UGPrompt 恢复了显著的性能，而基准模型通常会发生坍缩。

意义与主张
论文声称 UGPrompt 证明了无监督提示作为 GNN 实际适配范式的可行性。通过证明冻结的 GNN 可以在无需标签数据或源访问的情况下，有效地适配到新的、偏移的分布，这项工作挑战了为每个新任务都必须微调预测头的必要性。作者将其定位为迈向能够跨越多样化、无标签数据集进行泛化的“图基础模型”的一步。

作者也谦虚地承认了局限性：UGPP 假设源域和目标域共享相同的标签空间。该方法并非为具有新目标类别的开放词汇场景而设计，因为冻结的预测头无法在不重新训练的情况下容纳新标签。未来的工作建议解决通用图词汇表以及在严重偏移下高质量伪标签选择的问题。

核心思想：“翻译官” vs. “大脑”

它如何在没有标签的情况下学习？（三个妙招）

结果：为什么这很重要

总结

技术总结：冻结、提示与适配 (UGPrompt)

类似论文