💻 computer science

Bias mitigation in graph diffusion models

该论文提出了一种无需修改网络结构的综合方法，通过设计新的朗之万采样算法对齐前向最大扰动分布以消除反向起始偏差，并引入基于新定义分数差异的分数校正机制来缓解暴露偏差，从而在多种图扩散模型上实现了最先进的生成质量。

原作者： Meng Yu, Kun Zhan

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Meng Yu, Kun Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个让“图生成模型”（一种能画出新分子、新社交网络或新电路图的 AI）画得不够好、不够像真东西的问题。

为了让你更容易理解，我们可以把图生成模型想象成一位正在学习画画的“天才画家”，而扩散模型（Diffusion Model）就是这位画家独特的**“先乱涂再修正”的绘画教学法**。

1. 画家是怎么学习的？（扩散模型的基本原理）

想象一下，老师（训练过程）教画家画画：

正向过程（加噪）： 老师先给一张完美的画（比如一个真实的分子结构），然后一步步往上面泼墨水、撒沙子，直到最后这张画变成了一团完全看不清的纯白色噪点（就像电视没信号时的雪花屏）。
反向过程（去噪）： 然后，老师让画家看着这团白噪点，尝试一步步把墨水和沙子擦掉，还原出最初的画。

理想情况是： 泼墨到最后，画应该彻底变成“纯白噪点”；画家一开始画画时，也应该从“纯白噪点”开始擦除。

2. 画家遇到了什么麻烦？（两大偏见问题）

这篇论文发现，现有的画家（现有的图扩散模型）在两个关键环节出了错，导致画出来的东西很怪：

问题一：起跑线没对齐（Reverse-Starting Bias / 反向起始偏见）

比喻： 老师泼墨时，因为怕泼太猛把画彻底毁了（数据量不够大、网络不够强），所以只泼到了“半白半黑”的状态就停了，并没有泼成彻底的“纯白”。
矛盾： 但是，画家在开始“擦除”（反向生成）时，却误以为自己面对的是“纯白”的画，直接对着纯白画布开始擦。
后果： 这就像画家拿着擦除“纯白”的招式，去擦一张“半黑”的画。一开始就用力过猛，方向全错，导致最后画出来的东西歪七扭八。这就叫**“起跑线没对齐”**。

问题二：越擦越错（Exposure Bias / 暴露偏见）

比喻： 在擦除的过程中，画家每擦一步，都会产生一点点误差。
- 在训练时，老师给画家看的是“完美的上一张图”，画家擦得很准。
- 但在实际画画时，画家只能看到自己刚才擦完的那张图（上面已经带了一点刚才的误差）。
后果： 就像滚雪球，第一步擦歪了一点，第二步基于这个歪的图再擦，就会更歪。擦到最后，整张画都变形了。这就叫**“越擦越错”**。

3. 这篇论文做了什么？（S++ 解决方案）

作者给这位画家设计了一套**“双管齐下”的急救方案**，不需要换画家（不用改网络结构），也不需要请新老师（不需要额外训练新模型），只需要改变一下**“怎么开始画”和“怎么修正笔触”**。

第一步：重新校准起跑线（Langevin Sampling / 兰吉文采样）

做法： 既然老师泼墨只泼到了“半白半黑”，那画家就不要从“纯白”开始擦了。
比喻： 作者让画家先用一种特殊的“微调笔法”（Langevin 采样），在开始正式擦除之前，先在“半白半黑”的状态下多停留一会儿，让画布真正适应那个状态。
效果： 这样，画家就站在了真正的起跑线上，不再因为起跑线错位而一开始就用力过猛。这解决了**“起跑线没对齐”**的问题。

第二步：引入“纠错镜”（Score Correction / 分数修正）

做法： 画家在擦除时，不仅看自己刚才画的，还拿一面“镜子”照一下。
- 这面镜子是画家自己画的一堆“半成品”（伪数据）训练出来的。
- 作者比较“真画家”和“镜子画家”的笔触差异。
比喻： 就像你写字时，不仅看自己写的，还拿一个“参考字帖”对比。如果发现“真画家”的笔触偏了，就利用这个**“差异”**（Score Difference）把笔触往回拉一拉。
效果： 这个“纠错镜”能告诉画家：“嘿，你刚才那一笔太用力了，往回拉一点！”这样就能在擦除的过程中不断修正误差，防止雪球越滚越大。这解决了**“越擦越错”**的问题。

4. 为什么这很厉害？（核心优势）

不用换人： 不需要重新训练那个昂贵的“画家”（神经网络），也不需要请新的助手。
哪里都能用： 无论是画分子（药物研发）、画社交网络图，还是画电路图，这套方法都能用。
效果惊人： 实验证明，用了这套方法后，画出来的东西（生成的图）不仅更像真的，而且画得更快、更稳。

总结

这就好比一个**“老练的修图师”发现，以前的修图软件在把照片变模糊再变清晰的过程中，“变模糊”没变到位，但“变清晰”却按变到位的标准去修**，导致修出来的照片全是鬼影。

这篇论文就是发明了一个**“智能对齐器”**：

先让照片真正对齐到那个“半模糊”的状态（解决起跑线问题）。
再在修图过程中，时刻拿着**“对比尺”**修正偏差（解决越修越歪的问题）。

最终，让 AI 画出的图既快又好，达到了目前最顶尖的水平（SOTA）。

这是一篇发表于 ICLR 2025 的会议论文，题为《图扩散模型中的偏差缓解》（Bias Mitigation in Graph Diffusion Models）。该论文由兰州大学信息科学与工程学院的 Meng Yu 和 Kun Zhan 撰写。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

论文指出，现有的图扩散模型（Graph Diffusion Models）存在两个关键的偏差问题，导致生成质量下降：

反向起始偏差 (Reverse-Starting Bias)：
- 现象：在理想的扩散过程中，前向加噪过程应将数据完全扰动至标准高斯分布，而反向去噪过程应从标准高斯分布开始。然而，受限于图数据的规模和网络的表达能力，现有的图扩散模型（如 GDSS, GSDM, HGDM 等）通常采用保守策略，截断前向扩散过程。
- 后果：这导致前向扩散的最大扰动分布（Maximum Perturbation Distribution）显著偏离标准高斯分布（通常处于“低噪声”状态，信噪比大于 1）。但在反向采样时，模型仍默认从标准高斯分布开始。这种起始点的不匹配导致了严重的反向起始偏差，直接影响了生成质量。
暴露偏差 (Exposure Bias)：
- 现象：在前向过程中，模型基于真实数据加噪；而在反向采样过程中，模型基于预测的噪声（或分数）进行迭代去噪。由于分数网络（Score Network）的预测误差，采样过程中的输入 $\hat{x}_t$ 与前向过程中的真实 $x_t$ 不匹配。
- 后果：这种不匹配会随着采样步数的增加而累积和传播，进一步降低生成样本的质量。

2. 方法论 (Methodology)

作者提出了一种名为 S++ 的综合方法，无需修改网络架构或引入额外的生成器/判别器，即可同时缓解上述两种偏差。该方法包含两个核心组件：

A. 基于朗之万采样的反向起始对齐 (Langevin Sampling for Reverse-Starting Alignment)

原理：利用朗之万采样（Langevin Sampling）算法，在反向采样的起始阶段（时间 $T$ ），利用预训练好的分数网络 $s_{\theta, T}(\cdot)$ 引导采样。
目的：使反向采样的起始分布与前向扩散的最大扰动分布对齐，而不是强行从标准高斯分布开始。
优势：
- 消除了反向起始偏差。
- 将起始点推至“低噪声”状态（即前向扩散实际达到的状态）。在此状态下，模型对分数预测误差的鲁棒性更强，从而天然地减轻了暴露偏差。

B. 基于分数差异的分数修正机制 (Score Correction based on Score Difference)

动机：为了进一步稳定朗之万采样并修正采样过程中的暴露偏差，作者提出了一种无需重新训练网络的修正策略。
核心思想：
1. 利用预训练网络 $s_{\theta, t}$ 生成一批伪数据。
2. 使用这批伪数据训练一个伪分数网络 $s_{\psi, t}$ 。由于伪数据本身包含偏差， $s_{\psi, t}$ 会学习到这种偏差。
3. 计算两个网络的分数差异： $\Delta s = s_{\theta, t} - s_{\psi, t}$ 。
修正公式：
$\tilde{s}_{\theta, t} = \frac{s_{\theta, t} + \lambda (s_{\theta, t} - s_{\psi, t})}{\omega}$
- 其中 $\lambda$ 控制修正步长（方向）， $\omega$ 控制修正幅度。
- 理论依据：分数差异中包含了关于真实数据 $x_0$ 的信息。通过利用这一差异，可以将有偏的预测分数拉向无偏（更接近真实）的方向，从而修正暴露偏差。
特点：该方法完全基于现有模型，不改变网络结构，不引入额外组件，可无缝集成到现有的图扩散模型中。

3. 主要贡献 (Key Contributions)

系统性分析：首次系统地识别并分析了图扩散模型中的“反向起始偏差”和“暴露偏差”，并揭示了两者之间的内在联系（反向起始偏差加剧了暴露偏差）。
提出 S++ 框架：
- 利用朗之万采样解决反向起始偏差，将采样起点对齐到实际的前向最大扰动分布。
- 提出基于分数差异的修正机制，在不修改网络的前提下进一步抑制暴露偏差。
通用性与 SOTA 性能：该方法无需重新训练或修改网络架构，可应用于多种图扩散模型（GDSS, GSDM, HGDM, MOOD）和多种任务（通用图生成、分子生成），在多个数据集上取得了最先进（SOTA）的结果。

4. 实验结果 (Results)

论文在多个数据集和任务上进行了广泛验证：

通用图生成 (Generic Graph Generation)：
- 数据集：Community-small, Enzymes, Grid。
- 指标：度分布 (Deg)、聚类系数 (Clus)、轨道数 (Orbit) 的 MMD 距离。
- 结果：S++ 显著优于所有基线模型。例如，在 GDSS 上，S++ 将平均 MMD 从 0.064 降低至 0.029（OC 模式）和 0.028（WC 模式），甚至优于带有校正器的基线模型。
分子图生成 (Molecular Graph Generation)：
- 数据集：QM9, ZINC250k。
- 指标：FCD (Frechet ChemNet Distance), NSPDK MMD, 有效性 (Validity)。
- 结果：在 QM9 上，GDSS-OC-S++ 的 FCD 从 4.584 降至 1.661，有效性从 73.5% 提升至 94.0%。在 ZINC250k 上也取得了显著改进。
药物发现任务 (Drug Discovery)：
- 在 MOOD 模型上应用 S++，在 5 种蛋白质靶点的对接评分（Docking Score）优化任务中，新颖命中率（Novel Hit Ratio）和 Top 5% 对接评分均优于基线。
效率提升：
- S++ 能够用更少的采样步数（如 N=100）达到甚至超过基线模型在大量步数（N=1000）下的性能，显著减少了采样时间。
消融实验：
- 证明了反向起始对齐和分数修正两个组件缺一不可，且单独使用任一组件也能带来性能提升。

5. 意义与影响 (Significance)

理论突破：揭示了图扩散模型中由于数据规模和网络能力限制导致的“截断”现象是偏差产生的根源，挑战了传统扩散模型假设（即前向过程必须达到标准高斯分布）在图领域的适用性。
实用价值：提出了一种**即插即用（Plug-and-Play）**的解决方案。研究人员无需重新训练昂贵的图扩散模型，即可通过 S++ 显著提升现有模型的生成质量和采样效率。
领域扩展：为图生成任务提供了一种新的优化思路，即通过调整采样策略和分数修正来弥补模型能力的不足，而非单纯依赖增加模型参数量。

总结：这篇论文通过深入分析图扩散模型的偏差来源，提出了一套无需修改网络架构的高效修正方案（S++），成功解决了反向起始偏差和暴露偏差问题，显著提升了图生成任务的性能，具有重要的理论意义和应用价值。