🤖 machine learning

Revealing the Pitfalls and Re-Evaluating the Advancement of Heterophilic Graph Learning

本文识别了当前异质图学习评估中的关键陷阱，提出了基于难度的全新数据集分类法，并通过在合成图上的广泛微调和定量分析，对最先进的模型及同质性度量进行了严格的重新评估。

原作者： Sitao Luan, Qincheng Lu, Chenqing Hua, Xinyu Wang, Jiaqi Zhu, Xiao-Wen Chang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Sitao Luan, Qincheng Lu, Chenqing Hua, Xinyu Wang, Jiaqi Zhu, Xiao-Wen Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一群学生（即图神经网络，或 GNNs）如何解开一个谜题。这些学生通过与邻座的学生交流来进行学习。在一个完美的教室里（同质性/Homophily），坐在相邻位置的学生通常会有相同的答案。如果学生 A 坐在学生 B 旁边，且两人都有“蓝色”这个答案，那么学生 A 就会学到“蓝色”很可能是正确的。这套方法运作得非常好。

但如果是一个混乱的教室（异质性/Heterophily）呢？在这里，坐在相邻位置的学生往往会有不同的答案。如果学生 A（持有“红色”）坐在学生 B（持有“蓝色”）旁边，而他们只是互相模仿对方，就会感到困惑。传统的教学方法就会失效。

在过去的十年里，研究人员一直在构建专门为这种混乱教室设计的“专业教师”，声称他们比标准教师要优秀得多。然而，这篇论文指出，我们一直对这些教师的评分极不公平。作者说：“我们需要停止作弊，重新整理教室，并进行一次公平的测试，看看谁才是真正的佼佼者。”

以下是他们利用简单的类比得出的研究结果：

1. 三大错误（陷阱）

作者发现之前的研究在三个方面存在缺陷：

错误 #1：没有调好乐器。 想象一位音乐家试图演奏一首新歌。如果他们在演奏前没有先调好吉他，他们的声音可能会很难听；但如果他们调音完美，他们可能会表现得非常出色。之前的研究经常在没有对“专业教师”进行妥善调优的情况下就进行测试。作者发现，如果你仔细调优一个标准教师（基础 GNN），它往往能击败那些“专业”教师。那些专业教师之所以获胜，仅仅是因为标准教师在“走调”演奏。
错误 #2：测试对象选错了学生。 研究人员在他们认为是混乱的数据库上测试这些教师。但其中一些数据集其实并不难。这就像是在一条平坦、空旷的高速公路上测试一辆一级方程式赛车，却称之为“艰难的越野测试”。作者意识到，即使有些数据集看起来很乱，它们对于标准教师来说其实是很简单的。
错误 #3：主观的尺子。 为了判断一个教室是否“混乱”，研究人员使用了各种“尺子”（指标）来衡量混乱程度。但他们只是看着这些尺子，然后说：“这个看起来符合结果。”作者说：“让我们用数学方法来实际测量尺子与结果之间的距离，”而不是仅仅凭直觉猜测。

2. 新的分类系统（对混乱进行分类）

作者对 27 个不同的“教室”（数据集）进行了严格的实验。他们对比了一位图感知教师（听取邻居意见）和一位图无关教师（忽略邻居，只看自己的笔记）。

他们发现了三种截然不同的教室类型：

“恶性”教室（真正的难题）： 在这里，倾听邻居的声音实际上是有害的。如果老师听取了邻居的意见，学生就会得到错误的答案。这就像一个学生坐在一个恶作剧者旁边；听从他的话会毁掉成绩。在这些情况下，“图无关”教师（忽略邻居）每次都能获胜。
“良性”教室（伪难题）： 在这里，虽然图结构看起来很乱，但倾听邻居实际上是有帮助的。“图感知”教师可以轻松获胜。这些教室并不真正具有挑战性，它们只是“伪挑战”。
“模糊性”教室（谜团）： 在这里，结果取决于教师的风格。有时简单的教师会赢，有时复杂的教师会赢。这是一个谜团，规则会根据教师的思考方式而改变。

核心结论： 只有恶性和模糊性教室才是真正的挑战。如果一个新模型无法处理这些，那它就不是一个好的模型。

3. 重新检验（谁才是真正的赢家？）

作者选取了 11 个最受欢迎的“专业教师”（尖端模型/SOTA 模型），并在这些三类教室中给予了它们一次经过调优的公平测试。

结果： 大多数“专业”教师的表现并不比调优后的标准教师好多少。事实上，有些模型因为过于专注于解决困难的“恶性”问题，以至于忘记了如何处理简单的“良性”问题。它们就像一位厨师，能做出美味的辛辣炖菜，却把一碗简单的稀饭给烧焦了。
赢家： 只有少数特定的方法（那些使用“负向消息传递”或“选择性倾听”的方法）展现出了真正的潜力。其余的模型都言过其实了。
故障： 一些过于华丽且复杂的模型在大型数据集上会导致计算机崩溃（内存溢出错误），这证明它们在实际应用中并不实用。

4. 新的尺子（定量评估）

最后，作者研究了用于衡量图结构如何“混乱”的“尺子”。他们不仅是观察，还使用了两种数学工具：

皮尔逊相关系数 (Pearson Correlation)： 尺子的线条与教师表现线条的吻合程度如何？
Fréchet 距离 (Fréchet Distance)： 两条线的形状之间有多远？

他们发现，“经典”尺子（旧的、简单的尺子）实际上仍然是最强有力且最可靠的。许多新的、花哨的尺子非常不稳定，其给出的答案会根据测试设置的不同而变化。

总结

这篇论文是对图神经网络领域的一次“现实检查”。它指出：

停止作弊： 在声称自己是全新且改进之后，请先妥善调优你的模型。
停止撒谎： 不要仅仅因为一个数据集看起来很乱，就称其为“困难”的。要测试图结构是否真的会对模型产生负面影响。
停止猜测： 使用数学来衡量我们检测这些问题的能力，而不是仅仅依靠肉眼。

作者得出结论，虽然一些新方法很有前景，但许多关于异质图学习的“突破”实际上只是由于测试方法不当而产生的假象。真正的挑战依然存在，但现在我们确切地知道哪些教室才是真正困难的。

技术总结：重新评估异质图学习的进展

问题陈述

尽管图神经网络（GNNs）在关系数据上取得了显著成功，但其性能在**异质图（heterophilic graphs）**上往往会下降，即连接的节点经常属于不同的类别。这一现象违背了标准 GNN 的核心归纳偏置——同质性原则（homophily principle）。尽管已有许多针对异构性的专用 GNN 和同质性指标被提出，但本文指出，三个关键陷阱阻碍了对这些进展进行公平且准确的评估：

缺乏充分的超参数调优： 许多研究未能对基准模型进行充分调优，导致不准确的比较，使得基础 GNN 可能仅仅因为基准配置不佳而表现逊于专门化模型。
在真正具有挑战性的数据集上评估不足： 现有的基准测试通常包含一些图感知模型自然优于图无关模型的数据集（伪挑战），未能隔离出那些图结构具有破坏性或模糊性的真正困难案例。
缺乏对同质性指标的定量评估： 当前对同质性指标的评估依赖于在合成图上的主观观察比较，缺乏严谨的定量基准。

方法论

作者提出了一个包含三个主要阶段的综合再评估框架：

1. 通过消融实验进行数据集分类

作者在 27 个广泛使用的基准数据集上微调了基准图感知模型（GCN, SGC-1）及其对应的图无关模型（MLP-2, MLP-1）。通过比较这些耦合模型的性能，他们将数据集分为三类：

恶性异质性（Malignant Heterophily）： 图感知模型的表现始终差于其图无关对应模型。在这种情况下，图结构在消息传递过程中提供了有害信息。
良性异质性（Benign Heterophily）： 图感知模型的表现始终优于图无关模型，表明尽管同质性较低，但结构仍然有助于学习。
模糊异质性（Ambiguous Heterophily）： 性能表现不一致；例如，非线性图感知模型（GCN）可能优于其图无关对应模型，而线性模型（SGC-1）则可能表现较差，反之亦然。这表明图结构与模型非线性之间存在复杂的协同作用。

2. 对最先进（SOTA）模型的重新评估

利用新分类的数据集，作者重新评估了涵盖六种流行异构处理方法（如自我-邻居分离、负向消息传递、谱滤波、多跳聚合）的 11 个 SOTA GNN。所有模型都经过了严格的超参数调优，以确保与微调后的基准模型进行公平比较。

3. 同质性指标的定量评估

为了解决指标评估的主观性，作者在通过三种不同方法生成的合成图（正则图 RG、优先连接 PA 和 GenCat）上评估了 11 种流行的同质性指标。作者没有采用视觉观察，而是利用 皮尔逊相关系数（Pearson correlation） 和 弗雷歇距离（Fréchet distance） 来定量测量指标值曲线与 GNN 性能随不同同质性水平变化曲线之间的相似度。

关键结果

数据集分类

研究表明，许多此前被标记为“异质性挑战”的数据集实际上是良性甚至同质的（例如，minesweeper、tolokers、questions 的同质性值 > 0.5）。真正的挑战任务集中在恶性和模糊子集中。

模型性能

专门化模型的优势有限： 在所有类别中，大多数 SOTA GNN 并不比经过微调的最佳基准模型（GCN/SGC/MLP）有显著优势。
有效的模型方法： 只有三种方法显示出广泛有效性的潜力：具有自适应通道混合的高通滤波（ACM-GCN*）、选择性消息传递（FSGNN）以及负向消息传递（GloGNN*）。
权衡与失败： 许多模型通过牺牲在简单（同质/良性）图上的性能，来换取在困难图上微小的提升。某些方法（如负向消息传递）在良性异质性环境下表现持续较差。
可扩展性问题： 若干模型（如 GloGNN, GBK-GNN, FSGNN）在大型数据集上出现了显存溢出（OOM）错误，表明其存在可扩展性限制。
过度全局化： 多跳 GNN（如 APPNP）在某些数据集上表现挣扎，印证了“过度全局化”现象，即长程依赖对于异质图而言并无信息量。

指标评估

经典指标依然强劲： 传统指标如**边同质性（ $H_{edge}$ ）和节点同质性（ $H_{node}$ ）**在不同的合成图生成方法中均表现出稳健的性能。
新指标的不稳定性： 许多新指标（如 $H_{agg}$ 、标签信息量）在特定场景下表现出不稳定性或与模型性能的相关性较差。
测量依赖性： 指标的排名高度依赖于所使用的相似性度量方式（皮尔逊 vs. 弗雷歇）以及图生成方法。例如，基于假设检验的指标与皮尔逊相关性吻合良好，但与弗雷歇距离的相关性较差。

意义与主张

本文声称是第一个：

提出异质性数据集分类法（恶性、良性、模糊）的研究，该分类基于图感知与图无关模型之间的经验性能比较，识别出了未来研究中真正具有挑战性的子集。
对 11 个 SOTA 模型进行了严格的重新评估（配合微调后的超参数），揭示了许多所谓的进步并非普遍有效，且简单的基准模型通常仍具竞争力。
提供第一个同质性指标的定量评估基准，通过在合成图上使用皮尔逊相关系数和弗雷歇距离，超越了主观的视觉比较，从而为指标选择提供更可靠的标准。

作者得出结论，未来的研究必须聚焦于模糊异质性，以理解图结构与模型非线性之间的协同作用，并且新的同质性指标应基于这些见解进行设计。他们强调，如果不解决已识别的陷阱（调优、数据集选择和指标评估），该领域可能会得出关于异质图学习有效性的误导性结论。