🤖 machine learning

Differentiable Lifting for Topological Neural Networks

本文介绍了 $\partial$ lift (DiffLift)，这是一个通用的框架，它实现了将图提升（graph liftings）到高阶结构的端到端、可微学习，从而克服了静态、无监督方法的局限性，并显著提升了拓扑神经网络在各种基准测试中的性能。

原作者： Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察一张连接图来教计算机理解世界。在人工智能领域，这些地图被称为图（graphs），其中点（如人或原子）通过线（如友谊或化学键）相互连接。多年来，一种被称为**图神经网络（Graph Neural Networks）**的聪明程序一直擅长阅读这些地图，但它们有一个盲点：它们大多只能看到谁与谁直接相连。它们会错过更宏观的景象，比如一整群朋友是如何聚在一起活动的，或者一个复杂的形状是如何由许多重叠的圆圈构成的。

为了解决这个问题，科学家们发明了拓扑神经网络（Topological Neural Networks）。把它们想象成拥有超能力的阅读者，能够观察一张图并说：“嘿，这三个点不仅仅是朋友；它们构成了一个三角形！”或者“这五个点构成了一个小圈子。”这种识别形状和群体（称为高阶结构）的能力，能帮助计算机更好地理解复杂的数据。但棘手的部分在于，为了看到这些形状，计算机首先必须被告知如何去观察。它需要一个“提升器（lifter）”，将平面的点线图转化为由形状组成的3D结构。直到现在，科学家们必须猜测使用哪种提升方法，就像是在看不见锁的情况下，试图猜出正确的钥匙。有时猜测是正确的，有时则会惨败，让计算机感到困惑。

这正是新论文中提出的一个巧妙解决方案—— $\partial$ lift（读作“DiffLift”）。与其猜测正确的钥匙，作者构建了一个智能的学习机器，它能为每一项特定的任务找出完美的提升方式。想象一下你有一盒乐高积木（你的数据）。旧的方法就像是遵循一份僵化的说明书，上面写着“始终建造一座城堡”，即使你其实想造一艘宇宙飞船。 $\partial$ lift 则像是一个机器人，它观察你的积木和你想要实现的目标，然后决定：“好吧，对于这艘宇宙飞船，我需要把这些积木组合成机翼；而对于那个火箭，我需要把它们组合成尾翼。”

研究人员在许多不同的谜题上测试了这个想法，从预测化学性质到分类社交网络。他们发现 $\partial$ lift 是一个游戏规则改变者。在许多测试中，它大幅超越了旧有的静态猜测方法——有时准确率能提高高达 45%。它的工作原理是观察数据，学习哪些点的群体是重要的，然后将它们“提升”成合适的形状（如三角形或气泡），以帮助计算机解决问题。

该论文表明，这种方法适用于不同类型的结构，包括超图（hypergraphs）（其中一条线可以同时连接许多个点）和胞复形（cell complexes）（类似于不同尺寸的建筑模块）。作者指出，通过让“提升”过程变得可学习且具有适应性，我们可以停止在错误的猜测上浪费时间，并让 AI 设计出观察数据的最佳方式。虽然该方法在确定最佳形状时需要消耗更多的计算能力，但结果表明这种额外的努力是值得的，尤其是在旧方法会陷入困境的复杂问题中。这是向着“AI 不再仅仅是遵循规则，而是理解所给数据的形状”这一目标迈出的重要一步。

技术摘要：用于拓扑神经网络的可微提升 (Differentiable Lifting for Topological Neural Networks)

问题陈述

拓扑神经网络 (TNNs) 已成为一类强大的模型，能够利用高阶结构（如环、团、单纯形）来增强传统图神经网络 (GNNs) 的表达能力。然而，在“提升”（lifting）过程中存在一个关键瓶颈：即将输入图转换为拓扑域（如超图、单纯复形或胞腔复形）的过程。

目前，这种提升操作主要是无监督且静态的。诸如环提升 (cycle lifting)、 $k$ -跳提升 ( $k$ -hop lifting) 或 $k$ -最近邻 ( $k$ -NN) 提升等方法，依赖于基于图连通性或节点特征的预定义启发式规则。正如论文所示，最优的拓扑域选择和提升程序是高度依赖数据和特定任务的。静态、无监督的提升往往会导致次优的拓扑表示，从而限制了 TNNs 的下游性能。虽然此前已针对胞腔复形探索过可微提升（例如 DCM），但仍缺乏一个适用于各种拓扑域（包括超图和单纯复形）的通用框架。

方法论： $\partial$ lift (DiffLift)

作者提出了 $\partial$ lift，这是一个用于学习图提升的通用、端到端可微框架。 $\partial$ lift 不再使用固定规则，而是学习识别并参数化候选高阶胞腔的分布，以将其纳入输出结构中。

核心机制

该框架通过一个迭代的、层次化的采样过程运行：

节点嵌入： 任意 GNN（如 GIN, GPS）计算输入图中每个节点的潜在表示 ( $z_v$ )。
候选提取： 基于这些嵌入，模型定义了一组候选胞腔。
- 对于超图，候选是通过在嵌入空间中根据由 $z_v$ 参数化的分布自适应采样 $k_v$ 个最近邻来形成的。
- 对于胞腔复形，该过程是层次化的。对于维度 $D=1$ ，候选边与超边类似进行构建。对于 $D \ge 2$ ，候选胞腔（例如 2-胞）源自当前复形中的环（或团），并遵循目标域的层次约束。
接受/拒绝： 对于每个候选胞腔 $C$ ，一个神经网络（通常是 MLP 或 DeepSet）处理 $C$ 中节点嵌入的多重集，以输出接受概率 $\phi(z_C)$ 。
随机采样： 伯努利采样决定该胞腔是否被包含在提升后的结构中。梯度通过直通估计器 (straight-through estimator) 在这个离散采样步骤中进行传播。
迭代： 该过程随着维度的增加（ $D \to D+1$ ）重复进行，直到达到最大维度 $D_{max}$ 。

特征提升

新形成的高阶胞腔的特征通过其组成节点特征的缩放求和投影来计算，确保提升后的结构与标准的 TNN 消息传递层兼容。

核心贡献

通用可微框架： $\partial$ lift 是一个通用的框架，能够实现跨多种拓扑域（包括超图、单纯复形和胞腔复形）的端到端学习，扩展了以往仅限于特定领域的研究。
自适应结构学习： 与静态方法不同， $\partial$ lift 根据特定任务的目标和学习到的节点表示，学习高阶胞腔的大小和组成（例如自适应超边大小）。
层次化采样： 该方法引入了一种迭代采样程序，其中低维胞腔为高维胞腔的生成提供信息，从而自然地模拟了拓扑对象的层次特性。
集成性： 该框架旨在无缝集成到现有的 TNN 流水线中，作为一个可学习的预处理层，为现成的 TNN 架构提供输入。

实验结果

作者在涵盖图分类（分子属性）和节点分类任务的 12 个数据集上评估了 $\partial$ lift，并使用了四种不同的 TNN 架构（CWN, CXN, CIN, UniGCNII, UniGIN）。

图分类： 在 24 项实验中的 22 项中， $\partial$ lift 的表现一致优于静态提升方法（环、 $k$ -跳、 $k$ -NN、核函数）。它比静态提升实现了高达 45% 的性能提升。例如，在 ZINC 数据集上，使用 CWN 时， $\partial$ lift 将平均绝对误差 (MAE) 从 0.46 降低到了 0.17。
节点分类： $\partial$ lift 取得了与静态提升及可微基准 DCM 相当或更优的性能。值得注意的是，它在异质数据集（如 Texas）上显著优于 DCM。在 Cora 数据集上，虽然 DCM 达到了 80.73%，而 $\partial$ lift 结合 TopoTune 达到了 86.82%，但 $\partial$ lift 结合 CWN 的结果为 80.17%，略低于 DCM。总体而言， $\partial$ lift 在不同数据集上均展示了强大的性能，通常大幅领先于 DCM。
鲁棒性： 该方法在不同骨干 GNN（GIN vs. GPS）之间表现出鲁棒性，尽管更丰富的表示（GPS）通常会产生更好的结果。
效率： 虽然由于采样和概率计算的原因， $\partial$ lift 相比静态方法有轻微的运行时开销，但它仍然在计算可行范围内。对于超图，该过程是易于并行的；对于胞腔复形，成本主要由环基 (cycle basis) 计算主导，但仍处于可控范围。

意义与主张

论文声称 $\partial$ lift 解决了拓扑深度学习中的一个根本局限：对无监督、任务无关的提升程序的依赖。通过使提升过程变得可学习且任务相关，作者证明了可以针对下游任务专门优化数据的拓扑结构。

作者强调，其方法带来了实质性的经验增益，表明“最优”拓扑域并非数据的固定属性，而是学习目标的函数。此外，他们提出，自适应提升可以通过学习引入高阶胞腔（例如 2-胞）来缓解过度挤压 (oversquashing) 问题，这些胞腔在图的瓶颈处创建了捷径，从而改善了远距离节点之间的信息流。

该工作总结道，虽然目前的实现受限于 TNN 库的约束而仅限于二维胞腔复形，但该框架可以推广到其他领域（如点云），并代表了迈向完全自适应拓扑深度学习的重要一步。