🤖 machine learning

DuoGNN: Topology-aware Graph Neural Network with Homophily and Heterophily Interaction-Decoupling

本文介绍了 DuoGNN，这是一种可扩展且具有泛化能力的图神经网络架构，它通过拓扑边过滤和图凝聚技术将同质与异质交互进行解耦，从而在医疗及非医疗节点分类任务中有效解决过度平滑和过度挤压的局限性。

原作者： K. Mancini, I. Rekik

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： K. Mancini, I. Rekik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，有一种强大的工具，旨在理解关系而非仅仅是孤立的事实。想象一张地图，每一个兴趣点都是一个点，而连接它们的每一条路都是一条线。这就是图（graph），一种组织数据的方式，它反映了现实世界中事物是如何连接的：分子结合、社交网络形成，或器官在体内进行通信。为了理解这些地图，科学家们使用一种被称为图神经网络（Graph Neural Network）的计算机程序。这些程序通过让每个点观察其直接邻居，收集信息，然后将这些知识传递给下一层点来进行工作。这是一个局部对话的过程，理论上，它允许计算机通过倾听局部来理解整体图景。

然而，这种仅倾听直接邻居的方法存在一个隐藏的缺陷。当计算机试图通过一层又一层的深度去倾听时，每个点的独特身份会开始变得模糊。如果一个点属于某个特定群体，它的独特特征可能会在吸收了过多的周围信息后被冲淡，使其看起来与邻居完全一样，即使它们原本并不相同。这被称为过度平滑（over-smoothing）。与此同时，如果地图拥有狭窄的桥梁或瓶颈，许多路径必须挤过这些地方，信息会在传播较远之前就被挤压并丢失。这被称为过度挤压（over-squashing）。这两个问题阻碍了计算机观察横跨整个地图的连接的能力，限制了其诊断复杂疾病或理解大规模模式的能力。

为了解决这个问题，来自伦敦帝国理工学院的研究员凯文·曼奇尼（Kevin Mancini）和伊斯莱姆·雷克里克（Islem Rekik）开发了一种名为 DuoGNN 的新方法。与其强迫计算机以同样的方式对待地图上的每一个连接，他们的方法首先根据所连接的点之性质，将连接分为两个截然不同的类别。有些连接将相似的点连接在一起，比如一群看起来行为一致的肝肿瘤细胞。另一些则连接非常不同的点，比如将一个肿瘤细胞与附近的健康细胞相连。研究人员意识到，试图同时处理这两类连接会导致混乱和信息的丢失。

他们的解决方案包含一个充当信息交通控制器的三步过程。首先，系统扫描整个地图，并过滤掉那些导致狭窄瓶颈的连接，从而有效地将地图分解为由相似点组成的、连接良好的独立“岛屿”。这一步确保了计算机可以清晰地观察局部模式，而不被遥远且无关的噪声所干扰。第二步，系统从这些岛屿中提取最重要的代表，并构建一张全新的、规模小得多的地图，该地图仅连接不同类型的点。这张浓缩后的地图捕捉到了此前丢失的远程关系，但由于其规模大幅缩小，计算机可以快速处理而不会感到不堪重负。最后，系统同时运行两项独立的分析：一项研究相似点的局部岛屿，另一项研究不同类型点之间的连接。通过保持这两股信息流的独立，计算机避免了特征的模糊和数据的挤压。

研究人员在多个具有挑战性的数据集上测试了这种新架构，包括医学扫描中的肝肿瘤图像以及大量的科学论文集。在医学测试中，图像被转换为图结构，其中每个点代表肿瘤的一个微小部分，目标是对肿瘤类型进行分类。新系统表现出了持续的优越性，能够以更高的准确度和更好的可靠性正确识别肿瘤类型。例如，在处理一个涉及肝肿瘤的数据集时，新模型实现了约 80% 的准确率，而标准的 GCN 模型达到了 77.68%。在另一个关于科学论文的数据集上，它也展现了卓越的性能，比以往的方法更频繁地正确归类研究领域。

至关重要的是，研究表明，无论数据的排列方式如何，这种方法都能有效运作。无论是密集的医学图像簇，还是稀疏的引用网络，系统都会通过调整过滤的连接数量和选择的代表数量来进行适应。研究人员发现，对于非常大的图，他们的这种方法比其他依赖全局注意力（global attention）的热门技术更高效，因为后者通常需要消耗大量的计算机内存和时间。虽然新系统在处理较小任务时会使用稍多一点的内存，但随着数据规模的增长，它的扩展性要好得多，避免了其他模型在面对最大的医学数据集时出现的崩溃情况。

研究结果表明，通过尊重数据的自然结构并将相似交互与不同交互分离，计算机可以更有效地从复杂网络中学习。研究人员并未声称解决了该领域的每一个问题，但他们证明了拓扑感知设计（即一种关注连接的形状和流向的设计）可以显著提高机器理解世界的能力。他们的工作为在医学成像等领域应用人工智能提供了一条切实可行的路径，因为在这些领域，捕捉局部细节和远程关系对于准确诊断至关重要。该系统的代码现已开放，供他人测试和构建，为未来开发更稳健、更具扩展性的工具打开了大门。

DuoGNN 技术摘要

问题陈述
图神经网络 (GNN) 通过利用局部邻域聚合来捕捉短程空间交互，在包括医学成像在内的多个领域展现出了卓越的效能。然而，这种范式存在两个根本性的局限性，阻碍了模型的表达能力并限制了深层架构的使用：

过度平滑 (Over-smoothing)： 在异质性节点聚合中，随着层数的增加，节点嵌入变得难以区分，导致不同类别的节点特征趋于一致。
过度挤压 (Over-squashing)： 图瓶颈限制了消息传递，导致节点的感受野呈指数级增长，迫使大量信息坍缩到固定大小的特征向量中。

现有的解决方案，如基于 Transformer 的注意力机制、多尺度架构以及拓扑图重连技术，都面临着显著的缺陷。注意力机制受限于二次方时间复杂度 ( $O(|V|^2)$ ) 且缺乏拓扑感知能力。多尺度模型通常依赖于计算昂贵且具有特定拓扑依赖性的聚类算法。重连算法虽然在缓解瓶颈方面有效，但可能会过度扰动图结构，或者无法解决极大型或链状图中的问题。因此，目前缺乏一种能够同时捕获不同图拓扑结构中短程和长程交互 (LRIs) 的可扩展且通用的方法。

方法论：DuoGNN 架构
作者提出了 DuoGNN，这是一种能够解耦同质性和异质性交互并对其进行独立处理的拓扑感知架构。该模型通过三个阶段的流水线运行：

交互解耦阶段 (Interaction-Decoupling Stage)：
- 拓扑边过滤： 模型计算输入图中边的拓扑度量（例如中心性或曲率）。它移除具有最高值（例如最高中心性）的 $\kappa$ 条边，因为这些边最接近图的瓶颈。这有效地将图分解为同质连通分量，从而产生一个保留短程交互并减轻过度平滑风险的同质图 ( $G_{ho}$ )。
- 异质图凝聚： 为了恢复在边过滤过程中丢失的长程交互，模型识别 $G_{ho}$ 中人口最稠密的 $\mu$ 个簇。对于每个簇，它选择连接度最高的节点（假设该节点具有最可靠的表示），并构建一个独特的全连接图 ( $G_{he}$ )。这种凝聚技术通过大幅减少节点数量，在保留异质交互和长程交互 (LRIs) 的同时确保了可扩展性。
并行转换阶段 (Parallel Transformation Stage)：
- 模型通过独立的 GNN 模块处理 $G_{ho}$ 和 $G_{he}$ 。
- 同质模块： 使用标准聚合 ( $X^{(i+1)}_{ho} = \phi_{ho}(\hat{A}_{ho}X^{(i)}_{ho}W^{(i)}_{ho})$ ) 来聚合同一类别内节点的嵌入。
- 异质模块： 采用改进的聚合策略以防止过度平滑。它避免在第一层进行特征聚合以保留原始特征，并将所有层的输出拼接成一个线性层。这使得模型能够在多个平滑度水平上学习不同性质邻居之间的区别。
预测阶段 (Prediction Stage)：
- 将来自两个模块的输出进行拼接，并通过最后一个线性层生成最终的节点表示用于分类。

核心贡献
论文概述了三项核心贡献：

拓扑边过滤算法： 一种通过移除瓶颈边来提取同质交互的算法，使模型能够推广到任何图拓扑结构。
异质图凝聚： 一种通过将簇凝聚为更小的全连接图来提取异质交互的技术，确保了可扩展性。
双重聚合流水线： 一种通过独立处理同质和异质交互来防止过度平滑和过度挤压的机制，而非依赖单一的聚合范式。

结果与评估
DuoGNN 在医疗和非医疗数据集上针对标准基准模型（GCN、GIN、GAT）及其带有拓扑过滤的变体进行了基准测试：

数据集： MedMNIST (Organ-C 和 Organ-S，涉及 CT 扫描中的肝脏肿瘤分类) 和 Cora (科学出版物分类)。
性能： DuoGNN 的变体在所有任务中均一致优于基准模型。曲率增强变体（使用离散 Olivier 曲率）取得了最高的性能，这可能归功于其在检测受过度平滑或过度挤压影响区域方面的理论能力。
可扩展性： 虽然由于采用了双重聚合范式，DuoGNN 在小规模图上的 GPU 显存占用较高，但与基于注意力的模型（如 GAT，后者在 MedMNIST 数据集上因显存溢出 OOM 而无法运行）相比，它展示了卓越的可扩展性。异质凝聚技术降低了分析长程交互 (LRIs) 的计算负载。
消融实验： 简单的预处理技术（应用于基准模型的过滤）仅显示出边际改善，这表明要有效捕获长程交互 (LRIs)，完整的架构是必要的。

意义与主张
作者声称 DuoGNN 为解决 GNN 中长期存在的过度平滑和过度挤压问题提供了一个可扩展且通用的解决方案。通过利用拓扑属性来解耦交互类型，该模型扩展了 GNN 在医学成像及其他涉及具有复杂长程依赖的大规模数据集领域的适用性。论文强调，与以往要么无法推广到各种拓扑结构、要么会产生高昂计算成本的方法不同，DuoGNN 提供了一种精细的聚合协议，能够适应图的密度和结构，而无需依赖会导致性能下降的深层网络。

DuoGNN 技术摘要

类似论文