🤖 machine learning

Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification

本文介绍了传递式锐化，这是一种训练目标，通过在无标签节点上最小化预测熵并在有标签节点上抵消该效应，从而提升半监督节点分类性能，进而利用无标签预测来增强效果，而无需修改底层架构。

原作者： Brown Zaz, Mar Gonzàlez I Català, Ferran Hernandez Caralt, Moshe Eliasof, Pietro Liò

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Brown Zaz, Mar Gonzàlez I Català, Ferran Hernandez Caralt, Moshe Eliasof, Pietro Liò

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位老师，面对着一个坐满学生的教室（图中的节点）。你想教他们一门学科，但你只有少数几位学生的答案（已标注节点）。其余学生都没有答案（未标注节点）。

在标准的教学方式（标准监督学习）中，你只检查那些有答案的学生的作业。你忽略那些没有答案的学生的作业，尽管他们就坐在同一个房间里，听着讲座，试图解决问题。你丢弃了他们的答案，因为你无法验证它们是对是错。

问题：
这篇论文的作者发现了一个有趣的现象：尽管你没有全班学生的答案，但没有答案的学生仍在做出猜测。有时，经过几节课后，这些猜测变得非常自信。论文问道：为什么要丢弃这些自信的猜测？我们能否利用它们来帮助全班学得更好？

解决方案：“直推式锐化”
作者提出了一种新的教学策略，称为直推式锐化（Transductive Sharpening, TS）。可以将其视为一种特殊的评分规则，它改变了老师对学生自信度的反应方式。

以下是通过一个简单类比来说明其工作原理：

针对未标注学生的“锐化”：
想象那些没有答案的学生目前正带着大量犹豫进行猜测。他们正在说：“我想可能是 A，或者也许是 B，或者也许是 C……"且概率相等。
新规则规定：“如果你要猜测，就猜得更自信一些！”
老师鼓励这些学生削尖铅笔，并坚持一个单一的答案。如果一名学生有 80% 的把握是"A"，老师会说：“很好，要更加确定！达到 95% 的把握！”这迫使学生停止摇摆不定，做出果断的预测。这被称为最小化熵（减少混乱）。
针对已标注学生的“平衡”：
现在，看看那些有答案的学生。如果老师只是要求所有人都超级自信，那么有答案的学生可能会变得过于自信，即使他们错了。他们可能会开始死记硬背具体答案，而不是学习概念。
为了防止这种情况，老师增加了一条反制规则：“你们这些有答案的学生，不要变得太傲慢。保持谦逊，保留一点怀疑。”
这防止了“好”学生发生过拟合（死记硬背考题而不是学习材料）。这被称为最大化熵（保留一点不确定性）。

关键要素（损失函数）：
用数学术语来说，这篇论文引入了一种新的“记分卡”（损失函数），将这两条规则结合起来。如果未标注学生过于困惑，它会施加惩罚；但如果已标注学生过于傲慢，它也会施加惩罚。

作者发现，使用一种特定类型的数学（称为Tsallis 熵，它类似于用于不确定性的常用数学的更平滑、更稳定的版本）效果最佳。这就像使用一把当你推得太用力时不会折断的尺子；它使学习过程保持稳定。

他们的发现：
作者在许多不同类型的图（如社交网络、引文网络和化学结构）上，使用标准 AI 模型（如 GCN 和 GAT）测试了这种“新评分规则”。

它无处不在地有效： 就像在游戏中添加新规则可以让游戏更有趣一样，添加这条规则提高了他们测试的几乎所有模型的性能。
无需新硬件： 他们不必构建新的、更复杂的机器。他们只是改变了“游戏规则”（训练目标）。
一种设置适用于所有情况： 他们发现，对于“自信规则”的一个单一、适度的设置，在几乎所有不同的数据集上都表现良好。你不需要为每一个具体问题完美地调整它。

核心结论：
这篇论文认为，在图学习的世界中，我们一直忽略了一个巨大的信息来源：那些我们没有答案的学生的自信猜测。通过简单地告诉那些学生“要更自信”，并告诉有答案的学生“保持谦逊”，整个班级就能学得更好、更快、更准确。

这是一个简单的调整，将“浪费”的猜测变成了强大的学习工具。

技术摘要：图直推式锐化

问题陈述

在节点分类的直推式设定中，训练期间可观测完整的图结构和节点特征，但标签仅对部分节点（ $V_L$ ）可用。尽管图神经网络（GNN）通过架构创新（例如消息传递机制、Transformer）取得了显著进展，但训练目标的设计受到的关注相对较少。标准的监督训练仅在标记节点上最小化交叉熵损失，从而在每个训练步骤中丢弃为未标记节点（ $V_U$ ）生成的预测。本文认为，这些未标记节点的预测包含有用的训练信号，但由于标准目标无法在没有真实标签的情况下评估它们，这些信号目前未被充分利用。

方法论：直推式锐化（TS）

作者提出了直推式锐化（TS），这是一种无需改变架构即可利用未标记节点预测的损失级修改。该方法基于将交叉熵损失分解为依赖标签的对齐项和独立于标签的熵项。

核心目标

TS 目标通过引入操纵整个图上预测不确定性（熵）的项，对标准监督损失（ $L_{sup}$ ）进行增强：

$L_{TS} = L_{sup} + \lambda \cdot \frac{1}{|V_U|} \sum_{v \in V_U} R(p_v) - \lambda \cdot \frac{1}{|V_L|} \sum_{v \in V_L} R(p_v)$

其中：

$p_v$ 是节点 $v$ 的预测概率分布。
$R(p)$ 是衡量不确定性的函数。
$\lambda$ 是控制锐化强度的标量超参数。

实现细节

不确定性函数（ $R$ ）： 作者选择 $q=2$ 的 Tsallis 熵（等价于基尼不纯度， $S_2(p) = 1 - \sum p_i^2$ ），而非香农熵。选择 Tsallis 熵是因其二次型形式能产生关于 $p$ 线性的梯度。这确保了训练动态的稳定性，并防止了香农熵在概率单纯形边界附近因对数梯度而导致的过于激进的更新或退化的独热解。
对称机制：
- 在未标记节点（ $V_U$ ）上： 该项最小化不确定性（最大化置信度），鼓励模型将其自身可靠的预测视为学习信号。
- 在标记节点（ $V_L$ ）上： 该项最大化不确定性（抵消过度自信），作为正则化项以防止过拟合训练标签。
超参数： 该方法引入了一个标量超参数 $\lambda$ 。作者证明，保守且通用的设置 $\lambda = 0.25$ 无需针对每个数据集进行调优，即可在多样化的数据集和架构上表现出竞争力。

主要贡献

引入直推式锐化（TS）： 一种简单、与架构无关的损失修改方法，将未标记节点上的预测转化为直推式节点分类的直接训练信号。
性能与复杂度的权衡： TS 在 13 个节点分类基准测试中提升了标准 GNN（GCN、GraphSAGE、GAT）和 MLP 基线的性能，同时仅增加了一个超参数，且无需修改骨干架构。
锐化系数（ $\lambda$ ）分析： 作者表明 TS 在一系列正值 $\lambda$ 范围内均有效。他们发现适度的锐化（例如 $\lambda \in [0, 0.5]$ ）能带来最可靠的增益，而过度的锐化会迫使模型过于坚定地坚持错误的预测。
机制洞察： 实证分析显示，TS 成功地将预测置信度重新分配给未标记节点，与监督基线相比，在标记节点和未标记节点之间创造了更大的熵差。

实验结果

该论文使用 GCN、GraphSAGE、GAT 和 MLP 骨干网络，在 13 个数据集（包括 Cora、CiteSeer、PubMed 以及各种异配性图）上评估了 TS。

一致的提升： TS 始终提升或匹配监督基线的性能。例如，在 Cora 数据集上，GCN 准确率从 84.54% 提升至 85.74%（+1.20），MLP 准确率从 60.96% 提升至 64.48%（+3.52）。
MLP 与 GNN： 虽然 TS 提升了 MLP 的性能（证明该信号并非特定于图消息传递），但 MLP+TS 的性能仍低于 GNN 性能，这证实了 TS 并未取代消息传递带来的益处。
通用超参数： 在所有数据集和架构上应用固定的 $\lambda = 0.25$ ，保留了对每个数据集进行调优的大部分收益，极少导致显著的性能回退。
消融研究：
- 移除标记节点校正项（在 $V_L$ 上最大化熵）通常会降低性能，突显了在未标记节点上进行锐化与在标记节点上进行正则化之间保持平衡的重要性。
- 非对称配置（偏移 $\lambda$ ）并未比对称公式带来系统性的改进。
- 在训练过程中动态元学习 $\lambda$ 的表现不如使用固定的、经验证选择的常数，表明增加的复杂性引入了不稳定性。

意义与主张

本文主张直推式锐化提供了强大的性能与复杂度权衡。通过重新审视训练目标而非架构，作者证明在直推式学习中通常因缺乏标签而被丢弃的预测，提供了有用且未被充分挖掘的信号。

其意义在于该方法的简洁性和通用性：

它无需对现有 GNN 流程进行任何架构修改。
它增加了可忽略不计的计算开销。
它为在不增加模型复杂度的情况下改进直推式设定中的学习算法提供了一条通用途径。

作者总结道，虽然他们的工作专注于直推式节点分类，但通过基于置信度的目标利用未标记预测的原则可能扩展到其他设定，例如链接预测或时间节点分类，提供了一种从训练期间的完整图结构中提取价值的轻量级方法。