🤖 machine learning

Gate the Filter, Not the Message: Node-Channel Mixtures for Pre-Propagation GNNs

本文介绍了 FilterMoE，这是一种可扩展的预传播图神经网络（GNN），它通过采用具有 3D 门控张量的混合专家架构，来共同适配节点和特征通道的滤波器系数，从而改进了现有方法，并在多种基准测试中实现了最先进的性能。

原作者： Zichao Yue, Zhiru Zhang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zichao Yue, Zhiru Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一班学生（图中的节点）如何解决一个问题。在图神经网络（GNN）的世界里，通常的做法是让学生不断地与邻居交流、分享笔记，并在老师每次提问时都更新一次他们的理解。这就像是一个混乱的教室，每个人都在大声喧哗以求被听到，当班级规模变得巨大时，这会变得非常缓慢且混乱。

预传播 GNN（PP-GNNs） 提供了一种更聪明的运行课堂的方式。与其让学生在课上进行交谈，不如让老师在开课前完成所有的“邻居聊天”。他们创建了一套“学习指南”（稠密特征），其中已经包含了邻域知识的总结。在实际授课期间，老师只需查看这些指南，并使用一种标准的、快速的方法来教授学生。这使得该过程具有极高的可扩展性。

然而，这里有一个谜题。有些老师认为，使用一种极其复杂、华丽的方式来混合这些学习指南（例如“跳跃注意力”系统/Hop-Attention）总是比简单的、直接的方法（例如基础的“MLP”或多层感知器）更好。但数据却显示出一种奇怪的现象：有时简单的的方法效果竟然和华丽的方法一样好，甚至更好。

问题所在：并非所有方案都适用

作者意识到，问题不在于混合方法有多复杂，而在于谁被允许去定制这份学习指南。

简单方法（如 SIGN）： 它们对每个学生一视同仁，但允许每个“学科”（特征通道）拥有自己独特的过滤器。想象一个图书馆，这里的每本书（学科）都有不同的封面颜色，但每个学生得到的阅读清单都是完全一样的。
华丽方法（如 HOGA）： 它们将每个“学生”视为独特的个体，但强迫所有“学科”共享同一个过滤器。想象一个图书馆，每个学生都会得到一份个性化的阅读清单，但清单中的每一本书都必须以完全相同的方式被阅读。

论文指出，最好的方法是两者的结合：每个学生都需要一份个性化的阅读清单，并且这份清单上的每个学科都需要有自己独特的过滤器。

解决方案：FilterMoE（“专家型”图书馆）

为了解决这个问题，作者构建了 FilterMoE。你可以把它想象成一个拥有一个小规模精英团队——专家馆员（“Experts”）的图书馆。

专家们： 与其尝试为每一个“学生-学科”组合编写一本独特的书（这几乎是不可能的），图书馆拥有一组预先写好的“谱系过滤器”（切比雪夫过滤器/Chebyshev filters）。这些过滤器就像是关于信息如何流动的通用且高质量的模板。
门控张量（聪明的馆员）： 这是神奇之处。当一个学生（节点）需要学习某个特定学科（通道）时，一个三维的“门控张量”就像一位超级聪明的馆员。它观察这个学生和这个学科，然后问道：“对于正在学习这个特定学科的这个特定学生来说，我们的 5 到 10 个专家模板中，哪一个最合适？”
混合方式： 馆员并不只是挑选一个，而是创造一种专家的定制化混合。这意味着，学生 A 在学习数学时可能会得到专家 1 和专家 3 的混合方案，而学生 B 在学习数学时可能会得到专家 2 和专家 4 的混合方案。

这种系统允许模型具有高度的适应性（针对特定的学生和学科进行定制），而无需为每一对“学生-学科”重新发明一个过滤器。它保留了“预传播”的速度优势，因为沉重的图扩散（graph diffusion）工作是在预处理阶段完成的，而“路由”专家仅仅是一个快速的稠密计算过程。

结果：为什么这很重要

作者在 11 个不同的数据集上测试了这个 “FilterMoE” 系统，涵盖了从小型社交网络到拥有数百万个节点（如整个亚马逊产品目录或学术论文）的海量图结构。

胜出者： FilterMoE 在 11 个数据集中的 9 个 上击败了现有的最佳方法。
大规模图： 它在所有三个大规模、超大规模基准测试中都是明显的赢家，其表现显著优于之前的最优方法。
核心启示： 论文证明了你不需要为每个新数据集手动挑选不同的“混合策略”。相反，你可以使用这种“专家混合”（Mixture of Experts）方法，它能自动学习如何平衡“学生特定”和“学科特定”的过滤。

简而言之，这篇论文说：“不要再去猜测该用哪种复杂的过滤器了。相反，给你的模型一小组专家过滤器，以及一个知道何时为每个学生和每个学科调用哪位专家的智能路由。” 这使得图学习变得更快、更准确，且更容易扩展。

技术摘要：门控滤波器，而非消息

问题陈述

预传播图神经网络（PP-GNNs）通过将依赖于图的计算与训练循环解耦，解决了标准消息传递图神经网络（MP-GNNs）的可扩展性限制。在 PP-GNNs 中，图传播作为预处理步骤执行一次，以生成稠密节点特征（hops），随后模型仅在这些特征上进行训练。虽然这种方法能够实现在大规模图上的训练并实现数量级的加速，但一个持久的谜题仍然存在：更复杂的特征聚合器并不能可靠地优于更简单的聚合器。

实证观察表明，简单的基于 MLP 的聚合器（例如 SIGN）在各种基准测试中往往能达到甚至超过复杂的跳数注意力机制（例如 HOGA）的性能。现有的侧重于原始架构容量的解释无法解释这一现象。本文认为，限制因素不在于聚合器的复杂度，而在于滤波器系数如何在预计算的扩散基（diffusion basis）中跨节点和特征通道进行共享。具体而言：

基于 MLP 的架构学习到的滤波器是依赖于通道但很大程度上在节点间共享的。
跳数注意力架构学习到的混合体是依赖于节点但很大程度上在通道间共享的。
这两种方法都未能充分实现联合节点与通道自适应滤波，这一领域是标准 PP-GNN 设计所未曾探索的。

方法论：FilterMoE

作者提出了 FilterMoE，一种混合专家模型（MoE）类型的 PP-GNN，它引入了联合节点与通道自适应滤波，同时严格遵守预传播的计算契约（在训练期间不进行稀疏消息传递）。

核心架构

预处理（离线）：
- 一次性构建切比雪夫扩散基： $B_k = T_k(\tilde{L})X$ ，其中 $k=0, \dots, K$ ， $\tilde{L}$ 是重缩放后的图拉普拉斯矩阵， $T_k$ 是切比雪夫多项式。
- 使用随机朗乔斯求积法（SLQ）生成用于分析滤波器响应的谱网格。
专家库：
- 并非为每个节点-通道对预测独立的多项式系数（这在计算上是极其昂贵的且缺乏归纳偏置），FilterMoE 学习一个包含 $M$ 个切比雪夫滤波器专家的小型专家库。
- 每个专家 $m$ 由一组切比雪夫系数 $\alpha_m$ 定义，代表特定的谱响应 $g_m(\lambda)$ 。
联合节点-通道路由：
- 一个 3D 门控张量 $G \in \mathbb{R}^{N \times M \times F}$ 用于路由专家。 $G_{i,m,f}$ 决定了专家 $m$ 对节点 $i$ 和特征通道 $f$ 的权重。
- 这使得每个节点-通道对都拥有唯一的有效滤波器 $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$ ，同时将所有滤波器约束为共享专家库的混合体。
路由变体：
- 直接联合 MLP： 将节点描述符直接映射到完整的 $M \times F$ 对数概率网格。
- 响应感知两阶段路由： 使用专家的谱响应草图作为键（keys）。它首先计算一个节点级的专家先验，然后利用通道级残差进行细化。这显式地将路由条件化为与图相关的专家谱形状。
训练目标：
- 主要损失函数为监督任务损失。
- 辅助正则化：
  - 多样性损失（Diversity Loss）： 在谱响应空间内（使用 SLQ 网格）鼓励专家之间具有截然不同的谱响应，以防止崩溃。
  - 平滑性损失（Smoothness Loss）： 惩罚高阶切比雪夫系数，以确保滤波器的稳定性。
  - MoE 平衡损失（MoE Balancing）： 标准的重要性与负载均衡损失，以确保专家使用的公平性。

核心贡献

图-滤波器视角分析： 本文将 PP-GNN 的性能重新定义为不是函数于聚合器容量，而是函数于滤波器系数如何共享。它指出，现有方法要么是节点共享/通道自适应，要么是通道共享/节点自适应，缺失了联合自适应的范式。
FilterMoE 架构： 一种新型 PP-GNN，通过由 3D 门控张量路由的共享切比雪夫专家，实现了联合节点与通道自适应滤波。
鲁棒的自动选择机制： FilterMoE 作为一个学习到的、鲁棒的默认机制，消除了在不同数据集上手动选择特定跳数聚合器（MLP vs. Attention vs. Fusion）的需求。
全面的评估： 在 11 个基准测试（包括同质、异质和大规模图）中的广泛实验证明了该方法的有效性。

实验结果

FilterMoE 在 11 个数据集上进行了评估，包括 4 个同质数据集、4 个异质数据集和 3 个大规模图（Pokec, OGBN-Products, OGBN-Papers100M）。

整体性能： FilterMoE 在 11 个数据集中的 9 个上超越了最强的 PP-GNN 基准模型（SIGN, HOGA, GAMLP），平均测试得分提升了 1.53 分。
大规模图： FilterMoE 在 所有三个大规模基准测试中排名第一，分别超过最强 PP-GNN 基准模型 +1.76 (Pokec)、+0.93 (OGBN-Products) 和 +0.71 (OGBN-Papers100M)。
与 MP-GNN 的比较： 在大规模图上，FilterMoE 在保持预传播训练效率的同时，超越了所有评估的 MP-GNN 基准模型。在较小规模图上，它与专门的自适应 MP-GNNs（如 AGDN 变体）保持竞争态势，但并未统一占据优势，这表明其主要优势在于 PP-GNN 范式。
消融实验：
- 路由： 联合节点-通道路由的表现始终优于单轴（仅节点或仅通道）变体。
- 算子： 性能增益并非完全源于切比雪夫算子；将基准模型中的算子替换为切比雪夫虽有提升，但未能缩小与 FilterMoE 的差距。
- 正则化： 谱平滑损失是最关键的正则化项，而多样性和 MoE 平衡损失提供的收益较小且取决于具体数据集。

意义与主张

本文声称，现有 PP-GNNs 的主要局限性不在于缺乏复杂的聚合器，而在于缺乏一种结构化机制，用于学习既具备联合节点与通道自适应性、又能保持可扩展性的图滤波器。

FilterMoE 将联合节点-通道滤波器路由确立为一种鲁棒的替代方案，用于取代针对特定数据集的跳数聚合器选择。通过将谱响应（学习到的专家）与路由机制（节点-通道门控）解耦，该模型实现了高表达力，同时没有重新引入邻居爆炸问题或每轮迭代的消息传递计算开销。结果表明，对于大规模节点分类任务，在共享滤波器库之上进行学习到的、自适应的路由策略，优于为每个数据集手动设计或调整特定的聚合头。

作者对研究范围保持谦逊，指出目前的工作侧重于用于节点分类的固定、同质图。将扩展到链路预测、图级任务、异构图以及动态图作为未来的研究方向，而非当前的能力范围。