How to Make LMs Strong Node Classifiers?
本文提出了一种新颖的方法，通过利用拓扑与语义检索来丰富输入，并利用轻量级 GNN 分类器来引导预测，使现成的语言模型无需进行架构修改即可实现最先进的节点分类性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位才华横溢、世界级的图书管理员（即语言模型或 LM），他几乎读遍了世上所有的书。这位管理员非常擅长理解故事、事实和人类语言。然而，如果你递给他一张包含数千个连接的复杂城市地图（即图），并问他：“这栋特定的房子位于哪个社区？”他可能会感到困惑。他精于文字，但并非天生擅长阅读地图。
传统上，为了解决这个问题，科学家们构建了专门的“识图机器人”（例如图神经网络或 GNN），这些机器人非常擅长阅读地图，但却不擅长理解语言。另一些人则试图通过重写他们的“大脑”（修改 AI 的架构）来强迫图书管理员学习识图，但这既麻烦又会破坏他们日后学习新事物的能力。
这篇论文介绍了一种让图书管理员成为识图大师的新方法，而完全不需要改变他的大脑。他们将这个新系统称为 AUGLM。
以下是他们如何实现的，主要使用了两个巧妙的技巧：
1. “聪明的研究助理”（检索）
系统并不是要求图书管理员去死记硬背整张地图，而是充当了一个超快速的研究助理。当你询问关于某栋特定房子的问题时，助理不仅仅是向图书管理员展示那栋房子；它还会出去寻找最相关的邻居来讲述这个故事。
- 拓扑检索（Topological Retrieval）： 助理会观察地图的连接关系（比如谁住在谁旁边），并使用一种被称为“个性化 PageRank”的数学技巧来找到最重要的附近房屋。这就像是在问：“哪些人与这栋房子有着最紧密的联系？”
- 语义检索（Semantic Retrieval）： 助理还会观察房屋的“内容”。如果你正在询问一栋看起来像面包店的房子，助理会从数据库中找到其他面包店，向图书管理员展示一个“面包店社区”通常是什么样子的。
随后，助理会写下一份简短且有帮助的笔记，总结这些邻居的信息，并将其粘贴到图书管理员的提示词（Prompt）中。现在，图书管理员不再是在瞎猜，而是在阅读一段包含了所有必要背景信息的“故事”。
2. “提示单”（候选剪枝）
即使有了最好的笔记，如果被问到：“这栋房子是在‘红色’、‘蓝色’、‘绿色’、‘黄色’还是‘紫色’区？”（想象一下有成千上万个可能的答案），图书管理员可能仍然会感到应接不暇。
为了解决这个问题，系统使用了一个轻量级的“教练”（一个小型、预训练的 GNN）来给图书管理员一份提示单。
- 教练观察这栋房子后会说：“我有 90% 的把握它要么在‘红色’区，要么在‘蓝色’区。”
- 然后系统会告诉图书管理员：“忽略所有其他颜色。只需在红色和蓝色之间做出决定即可。”
这缩小了图书管理员的关注范围，使他更容易选出正确答案。
结果：全能的天才
论文在真实世界的数据集（如学术论文网络和产品推荐图）上对该系统进行了测试。他们发现：
- 它比目前最优秀的文本 AI 表现更好： 借助这两个技巧，这位图书管理员击败了其他试图通过纯文本解决此类问题的 AI 模型。
- 它能与“识图机器人”抗衡： 尽管图书管理员本身未经过修改，但其表现与专门的 GNN 同样出色。
- 它具有灵活性： 因为他们没有重写图书管理员的大脑，所以可以使用这个系统配合任何标准的文本生成式 AI。他们甚至可以训练同一个图书管理员同时处理多个不同的地图（数据集）而不会产生混淆。
简而言之： 这篇论文表明，你不需要重建 AI 就能让它擅长处理图数据。你只需要通过检索（Retrieval）给予它正确的上下文，并通过剪枝（Pruning）在缩小选择范围上给予一点帮助。它将一个通用的语言专家转化为了专业的图专家，同时保持了原始 AI 的完整性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。