🤖 machine learning

RADE: Random Add-Drop Edge as a Regularizer

该论文提出了 RADE，一种随机图增强方法，通过具有训练-推理一致性且具备自适应、无超参数率平衡算法的随机添加和删除边的方式，同时缓解图神经网络中的过拟合和过度挤压问题。

原作者： Danial Saber, Amirali Salehi-Abari

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Danial Saber, Amirali Salehi-Abari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：“过度依赖型”与“过度困惑型”的学生

想象一下，图神经网络（GNN）就像一个试图学习复杂社交网络（如学校或城市）的学生。这个学生通过与他们的朋友（邻居）交谈并询问“你知道些什么？”来学习。

论文指出了这个学生面临的两个主要问题：

过拟合（“过度依赖型”学生）： 学生记住了他们在练习期间与特定朋友进行的每一场对话。如果他们在测试时遇到一群略有不同的朋友，他们就会感到困惑，因为他们并没有学习到通用的规则，而只是记住了练习环节中的具体细节。他们需要一种方法来停止死记硬背，转而学习底层的模式。
过度挤压（“过度困惑型”学生）： 想象一下，学生需要从住在城市另一端的某个朋友那里获取一个秘密。为了传递这条信息，它必须经过 100 个人。当信息到达学生手中时，它已经被挤压成了一张极小的、压缩过的便条。学生收到了信息，但所有重要的细节都在这种“挤压”中丢失了。这就是所谓的过度挤压（Over-squashing）。学生无法建立长距离关系的联系。

旧的解决方案：一刀切的修复方法

以往的方法试图分别解决这些问题，但它们都有缺陷：

为了防止过拟合： 老师告诉学生随机忽略一些朋友（边删除/Edge Deletion）。这迫使学生去倾听整个群体，而不是只听一个大嗓门。但是，这并不能帮助学生听到来自城市另一端的朋友；它只会让信号变得更弱。
为了防止过度挤压： 老师建造了新的“捷径桥梁”（重连/Rewiring），将远方的朋友直接连接起来。但是，这是一种僵化且永久性的改变。它并没有教会学生变得灵活或鲁棒；它只是改变了地图。

新的解决方案：RADE（随机增删边）

作者提出了 RADE，一种能同时解决这两个问题的方案。可以将 RADE 想象成一种**“动态练习演练”**，老师在练习期间不断重新调整教室的座位表，但带有一个非常聪明的转折。

1. 演练内容：随机移动座位

在练习（训练）期间，RADE 同时做两件事：

删除边（Drops Edges）： 它随机告诉某些朋友：“这一轮你们不能互相交谈。”
增加边（Adds Edges）： 它随机告诉陌生人：“你们两个这一轮可以交谈！”

这创造了一个混乱且不断变化的动态环境。学生无法记住特定的对话，因为座位表每次都在变化。这迫使他们学习网络的真实结构，从而解决了过拟合问题。

2. 奇迹时刻：“期望保持”修正

这里是难点所在。如果你在被重排过的地图上进行练习，但在原始地图上参加测试，学生会失败，因为他们练习的是错误的规则。这被称为训练-推理不一致（train-inference misalignment）。

RADE 通过一个数学“修正规则”解决了这个问题：

针对 RADE-OF（侧重于过拟设定的版本）： 当老师移除一个朋友时，他们会对学生说：“把你从剩余朋友那里听到的信息乘以 1.5。”当他们增加一个陌生人时，他们会说：“忽略那个陌生人的话。”
- 类比： 这就像一名音响工程师在实时调节音量旋钮。即使乐队成员（边）在变化，最终的音乐音量（信息）也与乐队没有变化时完全一样。这确保了学生学习正确的规则，而不会被噪音干扰。
针对 RADE-OFS（侧重于过度挤压的版本）： 这个版本更加聪明。它仍然会对被移除的朋友进行音量修正，但是它会保持新加入的陌生人的音量。
- 类比： 想象老师说：“忽略那些离开的朋友，但要继续倾听这些新加入的陌生人，因为他们可能拥有通往城市另一端朋友的捷径。”这创造了新的“捷径”，帮助学生清晰地听到远方的信息，从而解决了过度挤压问题。

3. 自动驾驶仪：GradNorm

通常情况下，老师必须猜测要移除或增加多少个朋友（即“超参数”）。如果移除太多，学生会惊慌失措；如果增加太少，学生学不到东西。

RADE 包含了一个自动驾驶仪（GradNorm）。

类比： 想象老师有一个仪表盘，用来测量学生的“压力水平”。如果学生太放松（学得不够），老师会自动增加混乱程度（增加边的变化）；如果学生太紧张（感到困惑），老师就会降低难度。系统会自动调整演练的难度，因此老师不需要去猜测设置。

实验结果：为什么它有效

论文在许多不同的“学校”（数据集）和“学科”（如 GCN, GIN, GAT 等模型）上进行了测试。

结论： RADE 是一个强大的正则化器。它始终能帮助学生在测试中表现得比以往的方法更好。
特殊情况： 当任务需要听到很远距离的信息时（例如预测复杂分子的性质），RADE-OFS 版本（即保留了新捷径的版本）表现最为出色。它证明了增加随机连接确实是有帮助的，只要你知道如何平衡它们。
“删除 vs 增加”的发现： 作者发现，仅仅删除朋友（Drop）和仅仅增加朋友（Add）是不能互换的。它们像是两种不同的工具：一把锤子和一把螺丝刀。你需要两者配合工作才能构建出最好的结构。仅使用其中一种的效果不如结合使用的 RADE 方法。

总结

RADE 是一种训练方法，它通过在网络中随机打乱连接，既防止了记忆化（过拟合），又同时创造了新的路径来聆听远方信息（过度挤压）。它使用一种数学上的“音量控制”来确保练习环节与实际测试相匹配，并使用一个自动驾驶仪来实时调整难度。这是一种简单且有效的方法，能让图神经网络变得更聪明、更鲁棒。

技术摘要：RADE —— 作为正则化项的随机加边与删边

问题陈述

图神经网络（GNNs），特别是消息传递神经网络（MPNNs），面临两个截然不同的挑战：过拟合（Overfitting）与过度挤压（Over-squashing）。

过拟合： 一个广泛存在的机器学习问题，即模型泛化能力不足。现有的 GNN 正则化方法通常依赖于随机图增强，主要是边删除（例如 DropEdge）。然而，这些方法可能会引入训练-推理失配（train-inference misalignment），即模型在扰动图上进行训练，但在推理时使用原始的固定图，从而可能导致分布偏移。
过度挤压： 一种结构性限制，即随着层数增加，来自远端节点的信息必须被压缩进固定大小的嵌入中，从而阻碍了捕捉长程依赖关系的能力。现有的解决方案通常涉及确定性的重连（rewiring）或添加快捷边（shortcut edges）以改善连通性。虽然这些方法能有效改善信息流，但它们本身并不具备针对过拟合进行正则化的特性。

先前的工作大多孤立地解决这些问题：随机增强可以实现正则化但无法改善长程通信，而重连方法可以改善连通性但缺乏正则化属性。

方法论

作者提出了 RADE (Random Add-Drop Edge)，这是一个随机图增强框架，通过在训练期间同时进行现有边的删除和非边的添加，同时解决过拟合和过度挤压问题。RADE 由两个关键组件构成：

1. 扰动机制

在每个训练轮次（epoch）中，RADE 从输入图 $G$ 中采样一个扰动后的邻接矩阵 $A'$ ：

边删除（Edge Deletion）： 以概率 $p$ 删除现有边。
边添加（Edge Addition）： 以概率 $q$ 添加非边。
这推广了 DropEdge（其中 $q=0$ ），并允许纯粹的随机加边（其中 $p=0$ ）。

2. 聚合修正机制

为了防止训练-推理失配，RADE 引入了显式的消息聚合修正规则。作者根据训练目标提出了两种变体：

RADE-OF（仅针对过拟合）： 旨在解决过拟合问题，确保训练时的聚合对于原始输入图的推理聚合是**期望保持（expectation-preserving）**的。
- 机制： 对现有边上的消息进行缩放，以匹配其期望贡献。对新添加的边上的消息进行中心化处理（减去加权均值），使其总体的期望贡献为零。
- 结果： 随机扰动仅作为基于方差的正则化项起作用，而不会改变推理规则。
RADE-OFS（针对过拟合与过度挤压）： 同时针对这两个问题。
- 机制： 它修正了删除效应（对现有边进行缩放），但保留了添加边的期望贡献。
- 推理对齐： 推理时的聚合被修改为包含添加边的确定性期望贡献。
- 结果： 训练过程通过随机性进行正则化，而推理过程则受益于稠密化的图结构，从而为长程通信创造了额外的路径。

3. 自适应速率选择 (GradNorm)

为了避免针对特定数据集对 $p$ 和 $q$ 进行超参数调优，RADE 采用了小批量梯度范数平衡算法（mini-batch gradient-norm balancing algorithm）。

它将基于方差的正则化效应视为一种隐式目标。
它在训练期间动态调整 $p$ 和 $q$ ，以使正则化代理的梯度范数与监督损失的梯度范数相匹配。
一个惩罚项通过相对于图密度的添加率进行归一化，以防止过度增加图的密度。
这使得 RADE 在实践中实际上是**无须超参数（hyperparameter-free）**的。

核心贡献

统一框架： RADE 是首个通过同时利用随机边删除和边添加，在单一随机增强框架内同时解决过拟合和过度挤压问题的算法。
理论对齐： 论文提供了一个关于期望保持聚合的原则性推导，确保随机训练与推理规则对齐，从而消除了分布偏移。
原语的不可互换性： 作者从理论和实证上证明了边删除和边添加会产生不可互换的正则化效应。它们作用于不同的节点统计量（现有边 vs 非边），且两者的结合比单独使用其中之一效果更佳。
自适应正则化： 引入基于 GradNorm 的规则来自适应调整删除和添加速率，消除了手动进行超参数搜索的需求。

实验结果

作者在多种节点分类和图分类基准测试中，使用 GCN、GIN 和 GAT 作为骨干网络评估了 RADE-OF 和 RADE-OFS。

节点分类： RADE-OF 在大多数数据集上一致优于具有竞争力的正则化器（Dropout、DropEdge、DropNode、DropMessage）。RADE-OFS 在存在中度过度挤压的数据集（如 PubMed）上表现相当或略好。
图分类： RADE-OFS 展示了最显著的增益，特别是在已知存在过度挤压或需要长程交互的数据集（如 peptides-func、MUTAG）上。它在这些任务中超越了所有基准模型。
消融实验：
- 去除期望保持修正（EPC）或自适应速率选择（GradNorm）会导致性能显著下降，证实了两者对齐与自适应性的必要性。
- 将 RADE 分解为“仅删除”和“仅添加”变体表明，组合方法始终优于单一组件变体，验证了两种操作的互补性。
- 自适应速率选择在所有数据集上均优于固定的、经过精细调优的速率。

意义与主张

论文声称 RAVE 提供了一个简单且有效的增强框架，弥合了正则化与连通性增强之间的鸿沟。

针对过拟合： RADE-OF 是一个鲁棒的、无须超参数的正则化器，它对齐了训练与推理，避免了标准随机增强带来的弊端。
针对过度挤压： RADE-OFS 通过在推理时保留添加边的收益，有效地缓解了过度挤压，使其特别适用于需要长程信息流的任务。
实用性： 通过使用梯度范数平衡规则，RADE 消除了繁琐的、针对特定数据集的扰动速率调优需求，使其成为现有 GNN 训练流水线中理想的即插即用替代方案。

作者总结道，结合受期望保持修正和自适应速率控制的随机边删除与边添加，为 GNN 中两个最持久的挑战提供了一个统一的解决方案。