📊 statistics

DiPhon: Diffusion on Graphons for Scalable Graph Generation

DiPhon 是一个可扩展的图生成框架，它利用 graphon 理论和 Jacobi 随机微分方程，使在小图上训练的扩散模型能够在无需重新训练的情况下，生成具有渐进更大规模且保留核心拓扑特性的图。

原作者： Sergio Rozada, Yiming Qin, Manuel Madeira, Pascal Frossard, Alejandro Ribeiro

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Sergio Rozada, Yiming Qin, Manuel Madeira, Pascal Frossard, Alejandro Ribeiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“缩放”难题

想象一下，你有一份制作完美小蛋糕的食谱。你知道做一个6英寸的小蛋糕需要多少面粉、糖和鸡蛋。现在，有人请你为一个盛大的婚礼制作一个100英尺高的巨型蛋糕。

如果你只是简单地将配料翻倍或增加几倍，蛋糕可能会塌陷。如果你试图把做好的小蛋糕像拉扯太菲（taffy）糖一样拉长，它就会断裂。这就是当前生成图（由连接的点组成的网络，如社交网络或分子结构）的 AI 模型面临的问题。它们在处理小型网络时表现出色，但当你尝试生成一个庞大的网络时，它们就会崩溃。每当规模改变时，它们都必须从头开始重新训练，这既昂贵又低效。

解决方案：“蓝图”（Graphons）

作者 Sergio Rozada 及其团队决定不再仅仅关注单个蛋糕（具体的图），而是开始思考蓝图（让蛋糕成为蛋糕的底层规则）。

在数学中，这个蓝图被称为 Graphon。

类比： 想象 Graphon 就像一张连续的、无限的城市地图。它不在乎你是在看一个只有10户人家的社区，还是一个拥有1000万户人家的整座城市。地图描述的是在任意两点之间发现一条道路的概率。
目标： 如果你掌握了这个无限地图的规则，你就应该能够放大或缩小，并生成任何规模的有效城市（图），而无需更改规则。

挑战：“围栏”问题

为了生成这些图，该团队使用了一种称为扩散（Diffusion）的技术。可以将扩散想象成一位雕塑家，正慢慢地将一块大理石雕刻成雕像。

前向过程： 你从一个完美的雕像（真实的图）开始，慢慢加入噪声，直到它变成一堆随机的尘埃。
反向过程： 你训练一个 AI，让它从那堆尘埃中慢慢移除噪声，从而重新显现出雕像。

症结所在： 大多数现有的扩散模型使用“高斯噪声”（类似于旧电视上的雪花噪声）。这种噪声没有边界；它可以无限高或无限低。但一个图是由边（连接）组成的，边要么存在（1），要么不存在（0）。在真实的图中，你不可能拥有“0.5”条边，更不可能有“-5”条边。

问题在于： 如果使用标准噪声，AI 可能会尝试生成一个 1.5 或 -0.2 的边概率。这打破了现实的“围栏”。

创新点：DiPhon（“有界”的雕塑家）

该团队引入了 DiPhon。他们没有使用标准噪声，而是使用了一种特殊的数学工具——雅可比随机微分方程（Jacobi SDE）。

类比： 想象雕塑家是在一个正好 1 米宽的玻璃盒子里工作的。无论他们如何推挤粘土，玻璃墙都会迫使粘土保持在 0 到 1 之间。
工作原理： Jacobi 过程的设计使得“噪声”会自然地撞击墙壁（0 和 1）并弹回，永远不会逃逸。这确保了 AI 始终处于有效的概率范围内。

魔术技巧：“先离散化，后扩散”

论文证明了一个聪明的数学技巧。

他们定义了一个在玻璃盒内运动的“完美”无限蓝图（Graphon）。
然后，他们将这个蓝图切分成一个网格（就像像素化的图像），使其可以被计算机计算。
结果： 他们证明了即使他们在处理一个像素化的网格（有限的图），其平均行为也与完美的无限蓝图完全一致。
- 一阶矩（平均值）： 生成图的平均形状与蓝图完美匹配。
- 二阶矩（方差）： “波动”或随机性略有不同，但这种差异很小且是可预测的，并且会随着图规模的增大而消失。

实验结果：一个模型，任何规模

团队在三种类型的网络上测试了 DiPhon：

社交集群 (SBM)： 朋友圈。
热门枢纽 (PA)： 热门节点会变得更加热门的网络（例如 Twitter）。
树状结构： 分支网络（例如家谱）。

实验过程：

他们在小型图（例如 40 到 80 个节点）上训练 DiPhon。
然后，他们要求它生成巨大的图（高达 300 个节点），且无需重新训练。

结果：

其他模型： 当被要求生成更大的图时，标准模型（如 DiGress 或 GDSS）开始失效。它们的结构发生了坍塌，或者生成的图看起来与训练数据完全不像。
DiPhon： 它一直保持完美运行。它生成了巨大的树状结构、巨大的社交集群和巨大的枢纽网络，这些网络看起来与训练时的小型网络完全一致，只是规模变大了。

总结

可以将 DiPhon 视为一种尺寸的通用翻译器。

旧方法： 你需要为每种语言的大小准备不同的字典。
DiPhon 方法： 你学习语言的语法（Graphon）。一旦掌握了语法，你可以写出一个包含 5 个单词或 5000 个单词的句子，它依然符合逻辑。

通过将数学过程保持在“有界”状态（即 0 到 1 的玻璃盒内），并证明小规模数学与大规模数学的一致性，DiPhon 使得 AI 能够仅利用从小样本中获得的知识，就能生成大规模、复杂的网络。

技术摘要：DiPhon —— 用于可扩展图生成的图子（Graphon）扩散模型

1. 问题陈述

扩散模型已成为图生成领域的领先范式，特别是在分子设计和神经架构搜索等领域。然而，将这些模型扩展到大规模图仍是一个根本性的挑战。现有方法面临两个主要局限性：

训练与部署成本： 处理大规模图时，扩散模型的训练和部署计算成本极高。
缺乏尺寸可迁移性： 即便是在小规模图上进行训练，目前尚不清楚其学习到的生成机制是否能在不重新训练的情况下泛化到更大的图规模。

现有的图扩散方法在处理稠密图设定时难以解决这一问题。离散扩散模型作用于类别型边变量，阻碍了向图子（graphon）所需的连续空间维度的自然扩展。相反，基于高斯随机微分方程（SDE）的方法虽然在点处注入噪声，但会产生无界的轨迹，这无法直接解释为边概率（边概率必须在 $[0, 1]$ 之间），使其与图子理论的联系至多是隐性的。

2. 方法论

本文提出了 DiPhon，一个利用图子（即稠密图序列的尺寸无关极限对象）实现尺寸可扩展图生成的扩散框架。该方法通过以下步骤弥合了连续图子动力学与离散图生成之间的鸿沟：

2.1 前向过程：基于 Jacobi SDE 的图子扩散

作者直接在图子空间 $W: [0, 1]^2 \to [0, 1]$ 上构建了一个连续扩散过程。为了确保过程保持在有效的概率范围 $[0, 1]$ 内，他们采用了一个Jacobi 随机微分方程（SDE）：
$dW_t(x, y) = \kappa (\mu - W_t(x, y)) dt + \sigma \sqrt{W_t(x, y)(1 - W_t(x, y))} dB_t(x, y)$
其中 $\mu \in (0, 1)$ 是平稳均值， $\kappa > 0$ 是拉力速率， $\sigma > 0$ 是噪声强度。扩散项在边界处消失，使过程保持有界。

2.2 离散化：从图子到图

由于连续图子无法直接观测，作者提出了一个先离散化后扩散的策略。他们将单位正方形划分为 $N^2$ 个单元格，并为每个单元格定义一个离散过程 $\tilde{W}_t^{ij}$ 。

重归一化： 为了确保离散过程与连续“先扩散后离散化”的理想状态在统计特性上匹配，对离散 SDE 的参数进行了重归一化。具体而言，噪声振幅进行了缩放（ $\tilde{\sigma}^2 = \sigma^2 N^2$ ），并调整了漂移速率（ $\tilde{\kappa}$ ）以补偿离散化带来的影响。
初始条件： 过程从观测到的二元图 $A_0$ 开始，其中每个条目 $A_0^{ij}$ 被视为底层图子单元格平均值的伯努利采样。

2.3 逆向过程与学习

使用标准的基于评分（score-based）公式推导逆向时间 SDE，该公式需要边缘评分 $\nabla \log \tilde{p}_t$ 。

可解评分： 对于 Jacobi 过程，其条件评分具有涉及移位 Jacobi 多项式及其导数的闭式表达式。
去噪目标： 由于真实的初始图子条目是不可观测的，作者训练一个图神经网络（GNN） $\Phi_\theta$ ，通过观测到的噪声状态 $\tilde{W}_t$ 来预测干净的初始图 $A_0$ 。该网络通过二元交叉熵损失（去噪目标）进行训练。
采样： 在推理期间，从平稳分布（Beta 分布）开始向 $t=0$ 进行逆向 SDE 积分。学习到的去噪器在每一步提供必要的评分估计，最终状态通过独立的伯努利抽取转换为二元图。

3. 核心贡献

本文做出了四个主要贡献：

C1 (公式化)： 一种基于 Jacobi SDE 的新型图子扩散过程，并通过离散化其底层动力学推导出 DiPhon。
C2 (矩对齐)： 通过理论特征化证明，离散的 DiPhon 过程能够精确匹配连续图子过程的一阶矩。二阶矩的差异被推导为闭式形式，并表明其受单元格内方差和离散化因子的控制，且随着图规模的增大而趋于消失。
C3 (采样与极限)： 一种从模型边缘分布中生成图的采样程序。作者证明了在平稳状态下，生成的图在同态密度上收敛于 Erdős–Rényi 图子，从而建立了该过程的结构极限。
C4 (经验可扩展性)： 实验验证表明，DiPhon 可以在小规模图上进行训练，并成功生成更大规模、分布外（out-of-distribution）的图，同时在各种图族中保持核心拓扑特性。

4. 实验结果

作者在三种合成图族（随机块模型 SBM、偏好附着 PA 图和树状图 Trees）上评估了 DiPhon。

设置： 模型在小规模图（例如 40–80 个节点）上训练，并在逐渐增大的规模（最高达 300 个节点）上进行测试。
基准模型： 将 DiPhon 与离散扩散方法（DiGress, DeFoG）以及高斯扩散模型（GDSS, GruM）进行对比。
发现：
- 矩对齐： 实验证实，离散过程的经验均值和方差与从连续图子理论中推导出的理论闭式参考值一致。
- 可扩展性： DiPhon 在所有数据集和节点规模下均保持了高准确度。相比之下，离散扩散方法在较大规模时表现出性能崩溃，而高斯基准模型则表现出不一致性，特别是在树状结构上。
- 鲁棒性： 值得注意的是，即使在连续图子理论严格意义上并不适用的稀疏领域——树状图上，DiPhon 依然有效，这表明该方法的经验适用范围超出了其理论保证。

5. 重要性与主张

本文声称 DiPhon 通过利用图子作为扩散动力学的载体，为可扩展图生成提供了一条原则性的路径。

尺寸无关性： 通过在图子空间内运行，模型本质上学习的是一个与节点数量无关的分布，从而实现了从小规模训练阶段到大规模推理阶段的迁移。
理论基础： 使用 Jacobi SDE 确保了边概率的有界性，并允许对矩匹配和同构密度收敛进行严谨分析，解决了以往高斯或离散方法的局限性。
实际应用价值： 无需重新训练即可生成大规模图的能力，为需要可变图规模的应用（如分子设计或网络分析）提供了显著优势。

作者承认存在局限性，指出其理论保证是针对稠密图开发的，并且依赖于矩匹配而非全分布距离的界定。此外，训练过程需要模拟前向轨迹，与具有可解转移密度的模型相比，会引入额外的开销。然而，该框架被呈现为一个基础架构，未来可以自然地扩展到节点特征和加权边。