🤖 machine learning

Fixed Aggregation Features Can Rival GNNs

本文通过证明一种使用固定聚合特征（Fixed Aggregation Features, FAFs）结合标准表格分类器的免训练方法，可以在大多数基准测试上媲美或超越最先进的图神经网络（GNNs），从而挑战了图神经网络中可训练邻域聚合的必要性，进而倡导更强大的表格基准模型以及更具多样性的图学习基准测试。

原作者： Celia Rubio-Madrigal, Rebekka Burkholz

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Celia Rubio-Madrigal, Rebekka Burkholz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且复杂的社交网络，你需要仅通过观察每个人认识谁以及他们说了什么，来推断出每个人的职业。

多年来，专家们（图神经网络，即 GNNs）一直在构建极其复杂、高科技的工厂来解决这个问题。这些工厂拥有“可训练”的流水线，能够逐步学习如何通过混合和匹配朋友的信息来猜测一个人的职业。其假设是：为了获得最佳答案，你需要一台能够“学习如何倾听”的机器。

巨大的惊喜：
本文认为，你并不需要一台学习如何倾听的机器。你只需要一台能够使用一些简单的、预设的规则进行“非常仔细地倾听”，然后由一个聪明的人（一个标准的计算机程序）来解读所听到的内容即可。

作者们将这种方法称为 固定聚合特征 (Fixed Aggregation Features, FAFs)。以下是它的工作原理，使用了日常生活的类比：

1. “固定食谱” vs. “名厨”

旧方法 (GNNs)： 想象一位名厨，他们花费数年时间在烹饪学校学习，根据锅中具体的食材来决定加入多少盐、胡椒和蒜。他们在烹饪过程中不断调整配方。这就是“可训练的聚合”。
新方法 (FAFs)： 想象一个不懂烹饪的机器人。相反，它有一本严格的、不可更改的规则手册：“取锅中所有东西的平均值”、“取其中最大的项”或“统计有多少项”。它会对直接邻居、邻居的邻居等等进行这样的操作。它不学习如何混合，它只是使用这些固定的、简单的规则进行混合。

2. 将谜题转化为电子表格

一旦机器人将这些简单的规则（求平均值、求和、寻找最大/最小值）应用到一个人的朋友、朋友的朋友等等身上后，它会将所有这些数字粘贴到一个巨大的电子表格（表格）中。

突然之间，复杂的、混乱的社交网络网络看起来就像一张标准的 Excel 表格。

A 列： 该人自身的数据。
B 列： 其朋友数据的平均值。
C 列： 其朋友的朋友数据的最大值。
……以此类推。

3. “聪明的读者”

现在，数据已经进入了电子表格，你不再需要复杂的图神经网络了。你可以使用一个非常强大的、经过精心调优的“标准读者”（多层感知器，或 MLP）。这个读者擅长观察电子表格并寻找模式。

结果：
作者在 14 个不同的真实世界数据集（如引用网络、亚马逊产品评论和维基百科页面）上测试了该方法。

结果： 在 14 个案例中的 12 个 中，这种简单的“固定食谱 + 标准读者”方法的表现与那些复杂、高科技的名厨（最先进的 GNNs）一样好，甚至更好。
例外情况： 只有在两个需要观察得“非常远”（例如 10 步以上）才能找到答案的数据集上，这种简单的方法才显得吃力。在这些罕见的情况下，那些能够“学习”如何看更远处的复杂模型才是必需的。

为什么这很重要（“顿悟时刻”）

本文表明，对于大多数问题，其“秘诀”并不在于教计算机如何混合食材。秘诀已经在食材本身之中了！

信号是局部的： 你解决谜题所需的大部分信息就在紧邻的邻域内（1 或 2 步之内）。
简单即胜利： 通过使用简单的、固定的规则（比如仅仅取平均值），你可以避免计算机变得困惑或“过拟合”（即死记硬背训练数据而不是学习模式）。
透明度： 因为规则是固定且简单的，你可以很容易地查看电子表格并说：“啊，计算机之所以猜是‘工程师’，是因为邻居的技能平均值很高。”而在复杂的 GNNs 中，这往往是一个“黑盒”，你无法得知它为何做出某种决策。

总结

作者们是在说：“不要再建造如此复杂的机器来学习如何倾听了。有时候，仅仅用一个简单的、固定的规则去倾听，然后让一个聪明的人来解读笔记，就足以赢得比赛。”

他们并不是说复杂的机器永远没用，而是他们在挑战“我们必须为每一个图问题使用它们”的观点。他们建议，在尝试构建复杂的摩天大楼之前，我们应该先从这种简单的、透明的“固定食谱”方法开始作为基准。

他们的核心观点是：“停止构建如此复杂的机器来学习如何倾听。有时候，仅仅带着一个简单的、固定的规则去倾听，然后让一个聪明的人来解读笔记，就足够赢下这场游戏。”

他们并不是在说复杂的机器永远没用，而是他们在挑战“我们必须为每一个图问题使用它们”的观点。他们建议，在尝试构建复杂的摩天大楼之前，我们应该先从这种简单的、透明的“固定食谱”方法开始作为基准。

技术摘要：固定聚合特征可媲美图神经网络（GNN）

问题陈述

图神经网络（GNN）已成为学习图结构数据的标准方法，尤其是在节点分类任务中。这些模型通常依赖于消息传递范式，即通过多个层级的可训练邻域聚合（例如，学习到的线性组合、注意力机制）来更新节点表示。尽管这种方法行之有效，但它引入了高模型复杂度、可解释性挑战以及显著的计算成本。

最近的证据表明，经典的 GNN（如 GCN、GAT、GraphSAGE）在配备严格的超参数微调后，仍能与最先进的图 Transformer 和异质性感知模型（heterophily-aware models）相媲美。这引发了一个根本性的问题：学习聚合函数的高复杂度是否真的是必要的？ 具体而言，相对于下游分类任务，聚合本身的学习过程究竟有多重要？

方法论：固定聚合特征（FAFs）

作者引入了固定聚合特征（Fixed Aggregation Features, FAFs），这是一种无需训练的方法，旨在将图学习任务转化为标准的表格问题。其核心思想是通过使用固定的、不可训练的聚合算子，将表示学习与优化过程解耦。

FAF 流水线

固定聚合： 对于给定的节点 $v$ $v$ ，该方法使用一组固定的归约器 $\mathcal{R}$ $R$ （例如：均值、求和、最大值、最小值、标准差）递归地计算其 $k$ $k$ -跳邻域的特征。
- $h^{(0,r)}_v = x_v$ （原始特征）
- $h^{(k,r)}_v = r(\{h^{(k-1,r)}_u : u \in \mathcal{N}(v)\})$
特征拼接： 将来自所有跳数（ $k \in \{1, \dots, K\}$ $k \in {1, \dots, K}$ ）和所有归约器（ $r \in \mathcal{R}$ $r \in R$ ）的特征与原始节点特征进行拼接，形成一个高维表格向量 $z_v$ $z_{v}$ 。
- $z_v = x_v \oplus \bigoplus_{r \in \mathcal{R}} \bigoplus_{k=1}^K h^{(k,r)}_v$
下游分类： 在这些固定特征 $z_v$ 上训练一个标准的、经过良好微调的多层感知器（MLP）。不通过聚合步骤进行反向传播；聚合是一个预处理步骤。

理论基础

论文将 FAFs 与 Kolmogorov–Arnold 表示定理联系起来，该定理指出任何多元连续函数都可以表示为一元函数的复合。

理论可能性： 作者构建了一个特定的、固定的、单射聚合函数 $\Phi$ （基于三进制展开和康托尔集），从理论上讲，该函数允许对邻域多重集进行无损编码。这意味着，从理论上讲，不需要在聚合过程中学习任何信息即可保持表达能力。
实际情况： 虽然 $\Phi$ 在理论上是无损的，但在数值上非常脆弱，且生成的嵌入过于“粗糙”，不适合标准分类器。相比之下，简单的非单射归约器（如均值和求和）在经验上更易于优化。作者认为，对于大多数基准测试，相关的信号集中在低跳数邻域（1–2 跳），简单的聚合足以保留足够的信息。

核心贡献

理论洞察： 论文确立了通过基于 Kolmogorov–Arnold 表示的固定单射函数实现无损邻域聚合在理论上的可行性。然而，它强调了表达能力与可学习性之间的关键差距：简单的非单射归约器通常能产生更好的实际性能，因为它们生成的嵌入更平滑，下游分类器可以更有效地优化它们。
方法论提议： 提出了 FAFs，通过堆叠固定多跳聚合，将图数据转换为表格格式。这提供了一个可解释的框架，用于研究图结构、特征与任务之间的相互作用，且不带有架构偏差。
实证证据： 在 14 个标准节点分类基准测试上的广泛实验表明，结合良好微调的 MLP，FAFs 在 14 个任务中的 12 个上媲美或超越了最先进的 GNN 和图 Transformer。
- 性能： FAFs 在引用网络（Cora, Citeseer, PubMed）、共同作者图和亚马逊产品图中，达到了甚至超过了经典 GNN（GCN, GAT, SAGE）及复杂架构的水平。
- 例外情况： FAFs 仅在 Roman Empire 和 Minesweeper 数据集上表现较差。作者将其归因于这些数据集需要长程依赖或特定的线性残差连接，而标准的 FAFs（使用 2–4 跳）无法捕捉到这些特性，这与“这些任务受益于带有参数化残差的深层 GNN”的发现一致。
对基准测试的启示： 结果挑战了在当前标准基准测试中学习聚合函数的必要性。作者认为，许多数据集可以通过强大的表格预测器（输入固定的、透明的特征）来解决，这表明当前的基准测试可能未能充分测试模型学习复杂聚合动态的能力。

结果与分析

消融实验：
- 分类器复杂度： 当应用于 FAF 特征时，经过良好微调的 MLP 显著优于单层线性层，这表明非线性和容量对于利用多跳信息至关重要。
- 跳数拼接： 拼接来自所有跳数的特征比仅使用最后一跳的效果更好，这证实了信息在重复聚合过程中会丢失，且早期跳数（0–2）包含最多的预测信号。
- 归约器选择： 虽然拼接多个归约器（如 mean, sum, max, min）通常是有益的，但单个归约器（通常是 mean）往往就足够了，有时甚至比复杂的组合表现更好，这可能是由于在高维空间中减少了过拟合。
可解释性： 通过将问题视为表格问题，作者利用 SHAP 值来分析特征重要性。例如，在 Minesweeper 数据集上，他们识别出特定特征的 hop-1 均值是主要的信号，从而明确了模型的成功与失败之处。
效率： 预计算聚合并训练 MLP 通常比训练深层 GNN 更具扩展性和高效性，尽管输入维度会随着跳数和归约器的增加而上升。

意义与主张

论文认为，图学习领域可能过度依赖复杂的、可训练的聚合机制，而对于那些简单、固定的统计量就已足够的任务，这种依赖是不必要的。作者主张：

强基准线： FAFs 应作为未来图学习研究中强制性的、强力的基准线。如果一个新的 GNN 无法超越一个经过良好微调的 FAF，那么其增加的复杂度可能并不合理。
重新评估基准测试： 当前的标准基准测试（如 Cora, Citeseer）可能并不真正需要学习聚合，因为预测信号通常集中在低阶邻域。作者呼吁建立“更丰富的基准测试”，专门测试长程依赖和复杂的跨跳动态。
优化 vs. 表达能力： FAFs 的成功表明，可优化性和可训练性与理论表达能力同样重要。复杂的 GNN 可能由于优化困难（如梯度消失、过平滑）而难以学习有用的聚合，而非缺乏理论容量。
表格视角： 将图问题转换为表格问题，使研究人员能够利用成熟的表格学习工具箱（特征选择、可解释性、处理类别不平衡），并将图结构本身的贡献与优化伪影隔离开来。

总之，作者倡导一种视角的转变：与其假设额外的参数或更高的表达能力会自动提取出更相关的信号，不如优先考虑更简单、更具可解释性的模型，并设计出真正需要学习复杂聚合函数的基准测试。