🤖 machine learning

NodeImport: Imbalanced Node Classification with Node Importance Assessment

本文介绍了 NodeImport，这是一个用于不平衡节点分类的新型框架，它基于理论推导的重要性度量以及一个平衡的元集合，动态地选择有价值的有标签、无标签和合成节点，以减轻类别偏差并提高模型性能。

原作者： Nan Chen, Zemin Liu, Bryan Hooi, Bingsheng He, Jun Hu, Jia Chen

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Nan Chen, Zemin Liu, Bryan Hooi, Bingsheng He, Jun Hu, Jia Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别一个巨大且混乱的动物园里的不同动物。但这里有一个难点：动物园里有成千上万只狗，却只有少量的老虎，可能还有一两只稀有且难以捉摸的雪豹。如果你只是让机器人从它所看到的一切中学习，它会对识别狗变得非常擅长，但会完全错过老虎和雪豹，或者更糟的是，仅仅因为它见过那么多狗，它就会把它们误认为是狗。这是一个被称为“类别不平衡”（class imbalance）的问题，它在科学领域的各个角落都在发生，从医学影像中发现罕见疾病，到在银行交易中寻找欺诈行为。

为了解决这个问题，科学家们使用了被称为“图神经网络”（Graph Neural Networks, GGNs）的特殊计算机大脑。把 GNN 想象成一个超级聪明的侦探，它不仅仅孤立地观察一只动物，还会观察动物之间是如何相互连接的。在图中，每只动物都是一个“节点”（node），而动物之间的围栏或路径则是“边”（edges）。侦探通过观察一只动物及其邻居来判断它是什么。但是，当动物园如此不平衡时，侦探会变得懒惰，只关注嘈杂的狗群，而忽略了安静且重要的老虎。大问题在于：我们如何迫使侦探去关注那些稀有的动物，而不是仅仅通过制造虚假的老虎，或者对着狗群大声叫喊？

这正是名为 NodeImport 的一项新研究发挥作用的地方。由 Nan Chen 及其同事领导的研究人员意识到，解决这个问题的旧方法有点笨拙。有些方法只是在评分系统中给稀有动物一个“加分”，而另一些方法则试图通过混合真实动物的特征来创造虚假的老虎。这些方法的缺陷在于，它们将所有稀有动物视为同等重要，或者创建的虚假数据可能并不能真正帮助侦探学习。

该团队提出了一种更聪明、更动态的策略。他们没有仅仅靠猜测哪些动物重要，而是建立了一个完美的平衡“测试小组”，其中包含数量相等的狗、老虎和雪豹。他们称之为平衡元集（balanced meta-set）。这里有一个巧妙的技巧：他们会问：“如果我只教这个侦探关于这只特定动物一秒钟的知识，侦探是否会对测试小组中的所有人都变得更擅长识别？”

如果答案是“是”，那么这只动物就是一名“明星学生”，并可以留在训练班中。如果答案是“否”（也许它是一只奇怪的离群值，或者是一只看起来像猫的迷惑性的狗），它就会被踢出去。这个过程不断发生，就像一位教练在每次练习赛中观察并只留下那些真正能帮助团队赢得冠军的球员一样。

研究人员不仅是凭直觉认为这行得通，他们还通过数学进行了证明。他们推导出了一个特殊的公式，作为每只动物的“重要性得分”。这个得分能精确地告诉他们哪些动物是有价值的，而无需一遍又一遍地运行整个训练过程，这节省了大量的计算能力。他们发现，这个得分取决于两件事：该动物与其周围邻居的相似程度（上下文）以及侦探目前对该动物的感觉（预测行为）。

为了确保他们的“测试小组”具有高质量，他们并没有随机挑选动物。他们使用了一种智能聚类方法来挑选最具“代表性”的老虎和狗，从而使小组能够真实反映整个动物园的情况。然后，他们利用这个重要性得分来过滤三类数据：真实的带标签动物、未标记的动物（没有名牌的动物），以及他们通过混合特征创造的虚假动物。他们只保留那些确实能提高侦探表现的数据。

当他们在现实世界的数据集（如科学论文网络和在线购物数据）上测试这个新框架时，他们发现 NodeImport 始终优于现有的最佳方法。在不平衡极其严重（常见类与稀有类的比例为 50 比 1）的实验中，他们的方法显著提高了寻找稀有类别的准确率。例如，在一个名为 Cora 的数据集上，他们将“平衡准确率”（衡量模型处理常见类和稀有类能力的指标）提升到了 83.71%，击败了次优的方法。

这项研究表明，通过仔细选择学习哪些数据点，而不是学习所有数据或仅仅是增加更多数据，我们可以构建出更公平、更准确的 AI 系统。事实证明，在机器学习的世界里，质量确实胜过数量。研究人员展示了他们的方法在不同类型的图网络中都能表现出色，并且不需要侦探具备特定的类型的大脑，这使其成为解决许多不同问题的灵活工具。虽然结果是基于模拟和特定数据集上的测试，但其在不同场景下的持续改进表明，这是一种处理棘手的平衡问题的一种稳健的方法。

技术摘要：NodeImport

问题陈述

在现实世界的图应用中，节点分类经常遇到类别不平衡问题，即多数类在训练数据中占据主导地位，导致模型性能产生偏差，从而有利于常见类而忽视少数类。传统的图神经网络（GNN）在这些场景下往往表现不佳，容易对多数类产生过拟合。

现有的解决方案通常分为两类，但两者都存在局限性：

算法级方法： 这些方法为少数类分配更高的权重或扩大其边界。然而，它们通常仅根据类别大小来确定节点重要性，忽略了同一类别内节点之间的内在差异（例如，少数类中的离群点或多数类中的边界实例）。此外，静态权重机制无法适应模型动态的训练过程。
数据级方法： 这些方法试图通过节点合成（如 MixUp 类方法）来平衡类别大小。虽然有效，但它们的隐式重要性度量通常基于启发式规则，且难以扩展到无标签节点，限制了其在增强数据集方面的灵活性。

本研究解决的核心挑战是：如何识别能够有效应对类别不平衡、且不依赖于静态类别大小假设或计算昂贵的双层优化过程的价值节点。

方法论：NodeImport

本文提出了 NodeImport，一个利用**平衡元集（balanced meta-set）**来动态评估节点重要性的通用框架。其核心理念是：如果包含某个训练节点能在无偏设置下提升模型性能，则该节点是重要的。

1. 可解的重要性度量推导

直接使用元集评估节点的重要性需要一个计算极其昂贵的双层优化过程（在单个节点上训练，然后在元集上评估）。为了解决这个问题，作者从理论上推导出了一个可解的公式来近似节点重要性 ( $\eta_v$ )。

通过应用贝叶斯概率理论和一阶泰勒级数展开，重要性度量被简化为训练点与元集之间梯度下降方向的一致性：
$\eta_v \approx \kappa \cdot \langle \nabla_\theta L[y_v|v; \theta_t], \nabla_\theta L[\mathbf{y}^{(meta)}|\mathbf{v}^{(meta)}; \theta_t] \rangle_F$

该公式进一步展开为包含两个关键部分的显式形式：

上下文相似度（Context Similarity）： $(\tilde{A}_v X)(\tilde{A}_{meta} X)^T$ ，衡量节点的局部子图结构及其特征相对于元集的相似度。这捕捉了静态图特征。
预测行为相似性（Prediction Behavior Similarity）： $(H_{meta} - Y_{meta})(h_v - y_v)^T$ ，评估节点与元集之间模型预测误差的相似性。这捕捉了动态的模型行为。

该公式自然地为节点选择提供了一个阈值（ $\eta_v > 0$ 的节点被视为有价值的），消除了手动调整阈值的需要。

2. NodeImport 框架

该框架集成了三个不同的组件来构建高质量的训练集：

组件 1（已标记节点）： 过滤现有的已标记节点。只有那些具有正重要性得分 ( $\eta_v > 0$ ) 的节点才会被保留用于训练，从而有效地剔除那些对无偏性能没有贡献的噪声和离群点。
组件 2（无标签节点）： 为无标签节点生成伪标签（使用模型最高的预测概率），并应用重要性度量来过滤有价值的无标签样本。
组件 3（合成节点）： 使用 MixUp 策略（混合特征、邻居和标签）生成合成节点以增强少数类。至关重要的是，生成过程与过滤过程是解耦的。任何合成技术都可以使用，随后应用重要性度量来仅选择那些真正能提升模型的合成节点。

3. 元集构建

为了确保元集能够鲁棒地表示整体特征分布，作者提出了一种特定的构建方法。他们并非进行随机采样，而是在每个类别的嵌入空间内进行聚类，并选择具有代表性的样本（使用围绕中心点划分算法，Partitioning Around Medoids），作为元样本。这确保了元集能够捕捉内在的类别模式，并最小化对随机噪声的敏感性。

核心贡献

平衡元集策略： 本文引入了一种新颖的方法，通过使用平衡元集来评估单个节点的贡献，从而实现使用平衡元集来评估个体节点贡献，允许在不同训练阶段动态区分重要节点和微不足道的节点。
重要性公式的理论推导： 作者推导出了一个闭式公式来直接评估节点重要性，显著降低了与双层优化相关的计算开销。该公式提供了直观的解释（梯度对齐）并自然产生了一个过滤阈值。
通用框架 (NodeImport)： 一个能够无缝整合有价值的已标记、无标签和合成节点的统一框架。它将节点生成与过滤过程解耦，确保了与各种现有合成及伪标签技术的兼容性。
高质量元集构建： 一种通过聚类提取代表性元样本的方法，确保元集准确反映类别分布。

实验结果

该框架在五个基准数据集（Cora, CiteSeer, PubMed, Amazon-Photo, Amazon-Computers）上，在长尾不平衡设置（不平衡率 = 50）下进行了评估，使用了三种流行的 GNN 架构（GCN, GAT, GraphSAGE）。

性能： NodeImport 一致优于最先进的基准方法，包括算法级方法（如 ReNode, Balanced Softmax）和数据级方法（如 GraphENS, GraphSHA）。它在大多数数据集和架构上都取得了最高的平衡准确率（Balanced Accuracy）和宏 F1 分数（Macro F1）。
鲁棒性： 即使随着不平衡率的增加，该模型也表现出持续的优越性，在高度不平衡的场景中尤为有效。
消融实验： 实验证实，所有三个组件（过滤已标记节点、利用无标签节点以及过滤合成节点）都对性能有积极贡献。无标签节点与合成节点的结合带来了最显著的增益，而已标记节点的过滤则提供了增量改进。
元集分析： 所提出的元集构建方法（基于聚类的）显著优于随机采样、ReNode 的选择方法以及 CoreSet，凸显了高质量、具代表性的元集的重要性。
逐类分析： NodeImport 大幅缩小了多数类与少数类之间的性能差距，与基准方法相比，在最小类别的 F1 分数方面表现出特别的提升。

意义与主张

本文声称 NodeImport 通过将关注点从静态类别大小加权转向动态、基于性能的节点重要性评估，为类别不平衡的节点分类提供了一个灵活且有效的解决方案。

关于该方法意义的关键主张包括：

高效性： 推导出的公式消除了对昂贵双层优化的需求，使得该方法在处理大规模图时具有计算可行性。
灵活性： 通过将合成/无标签节点的生成与过滤过程解耦，该框架与特定的合成或伪标签技术无关，具有广泛的适用性。
有效性： 该方法通过识别并优先考虑那些在无偏背景下真正能提升模型性能的节点，有效地缓解了类别不平衡问题，从而改善了多数类和少数类的分类结果。

作者总结道，NodeImport 代表了处理类别分布本质上存在偏斜的现实世界图数据的一个重要进步。