PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking
PreGress 是一个新颖的框架，它引入了排名原生（ranking-native）的预训练目标和轻量级提示模块，从而在无需进行全模型重训的情况下，实现跨多种任务的高效、可迁移且高质量的节点排名。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走在一座巨大且繁忙的城市中，每个人都通过友谊、商业或共同兴趣的无形丝线与其他所有人相连。在数据科学的世界里，这座城市被称为“图”（graph），而人们被称为“节点”（nodes）。有时，你需要找到这座城市中最重要的人——也许是那些能传播谣言最快的人，或者是那些连接两个遥远社区的人。这被称为“节点排序”（node ranking）。这就像是在一座巨大的研究论文图书馆中，试图找出引用次数最高的三个科学家，或者判断消费者下一步最可能购买哪种产品。
长期以来，计算这些排名就像是为了寻找沙滩上最大的那一粒沙而试图数清每一粒沙子一样。它既缓慢又昂贵，而且每提出一个问题都需要人类来进行数学计算。后来，被称为“图神经网络”（GNNs）的智能计算机出现了。它们就像是超级快速的学生，能够通过学习示例来学会如何猜测答案。但问题在于：通常如果你想教一个学生如何寻找“连接最紧密”的人，你必须重新教一遍，才能让他学会寻找“最有影响力”的人。这就像是一个学生数学很好但历史很差，你必须为每一个新学科都重新雇佣一位老师。
最近，科学家们开始尝试一种不同的方法，叫做“预训练”（pre-training）。把这想象成在学生接触任何具体的测试题之前，先教给他们一套通用的技能——比如如何阅读、如何逻辑思考以及如何理解世界。这个想法是：一旦他们拥有了这些通用知识，就能快速适应任何新学科。但这里有一个问题：大多数通用的“学生”是被训练用来做类似预测句子中缺失的单词，或者预测两个人是否是朋友这类事情的。他们并没有被训练去按重要性对事物进行排序。因此，当你要求他们对节点进行排序时，他们在基础知识方面表现出色，但在处理这项特定工作时却并不擅长。
这正是由 Ban Lujie 及其同事领导的一个新研究团队介入的地方，他们提出了一个新鲜的想法。他们问道：“如果我们构建一个‘天生就会排序’的学生会怎样呢？”他们创建了一个名为 PreGress 的新系统。PreGress 不再是先教一个通用的学生然后希望他以后能学会排序，而是在一开始就专门针对“重要性”这一概念进行训练。他们使用了一个巧妙的技巧，叫做“提示”（prompting），这就像是为每一次新的测试给学生一副特殊的眼镜或一张提示卡，而不是重新教授整个学科。
以下是 PreGress 在现实世界中是如何运作的。首先，系统观察一个巨大的图（例如社交网络），并将其分解成小的、易于管理的邻域，称为“自我网络”（ego networks）。想象一下，不是将城市看作一张巨大的地图，而是每次只关注一个人及其直接交际圈。这有助于系统理解局部细节，而不会被整个城市的信息所干扰。
接下来，系统进入“预训练”阶段。它学习两件主要的事情：
- 度中心性预测（Degree Centrality Prediction）： 它通过观察一个人的邻域，学习如何猜出这个人有多少个朋友。这是一种可以直接计算的重要性的衡量标准，非常容易。
- 属性重构（Attribute Reconstruction）： 它尝试根据其朋友的行为，猜出关于一个人的缺失细节（例如他们的爱好或职业）。这有助于它理解节点的“个性”，而不只是它们的连接关系。
通过同时学习这两点，该系统建立了一种对节点重要性的深度理解，这种理解既包含结构上的（他们认识谁），也包含自身特征上的（他们是什么样的）。
一旦构建好这个“原生排序”的大脑，它就不再需要为每一项新工作重新训练。相反，研究人员使用 提示微调（prompt tuning）。如果系统需要寻找“最中心”的人，它会得到一个简单的、轻量级的提示（prompt），告诉它专注于连接计数。如果它需要寻找作为群体间桥梁的人，它会得到另一个侧重于路径寻找的提示。核心大脑保持冻结且不变；只有那些微小的提示卡会被调整。这就像拥有一位全能的大厨。你不需要为每一道菜都雇佣一位新厨师；你只需要给同一位大厨一份不同的食谱卡。
研究人员在六个不同的公开图数据集和两个真实世界的推荐数据集（如 Yelp 和 MovieLens）上测试了 PreGress。他们发现，PreGess 不仅比传统方法更快，而且更准确。它在节点排序方面的表现优于那些每次都需要从头开始重新训练的系统。事实上，在某些任务上，它比精确计算方法快了数千倍，同时仍能得到正确答案。
其中一个令人兴奋的发现是，即使在数据量非常少的情况下，这种方法依然有效。在“少样本”（few-shot）测试中（即系统只看到了 10 或 20 个用于排序的示例），PreGress 仍然表现得非常出色，击败了那些需要数百个示例的其他方法。这表明预训练确实教会了系统一种可以应用于任何地方的重要性基本理解。
论文还探讨了该系统可以深入到多深。通常，当神经网络变得过深（层数过多）时，它们会开始模糊所有信息，导致难以区分不同的节点——这是一个被称为“过度平滑”（over-smoothing）的问题。然而，PreGress 在处理深层网络时表现得非常出色，即使在非常复杂的网络中，也能保持区分不同节点的能力。
简而言之，PreGess 是一种教计算机如何在网络中进行排序的新方法。它不再为每一个问题训练一个新模型，而是构建一个智能且具有适应性的模型，该模型学习一次重要性的规则，然后利用微小的提示来解决任何排序谜题。它比旧的方法更快、更便宜、更准确，有望让基于图的 AI 对每个人都更有用，无论是寻找最适合看的电影，还是理解疾病如何在人群中传播。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。