🤖 machine learning

Dependency-Aware Discrete Diffusion for Scene Graph Generation

本文提出了一种依赖感知、分层约束的离散扩散模型，该模型通过解耦结构与语义，从自然语言生成结构化场景图，从而相较于现有的文本到图像及图生成基线方法，提升了下游图像生成任务中的组合保真度。

原作者： Rajalaxmi Rajagopalan, Romit Roy Choudhury

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajalaxmi Rajagopalan, Romit Roy Choudhury

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位艺术家描述一个复杂的场景，以便他将其画出来。如果你只说“画一个人和一块冲浪板”，艺术家可能会画出这个人站在板子旁边、拿着板子，甚至是在板上冲浪。这种描述是模糊的。

现在，想象一下，你给艺术家的不是句子，而是一份蓝图。这份蓝图就是“场景图”。它就像一张流程图，其中：

**节点（点）**代表物体（人、冲浪板）。
**边（线）**将它们连接起来。
线上的标签确切地告诉你正在发生什么（例如，“骑行”、“拿着”、“站在旁边”）。

问题在于，计算机擅长阅读文本，但很难自动将这些模糊的文本转化为完美、结构化的蓝图。现有的工具往往将蓝图的每个部分视为独立的，就像在猜测一辆车的颜色时，根本不在乎这辆车是否真的存在。这导致了混乱且不合逻辑的绘图。

引入 DiScGraph：一种“感知依赖”的蓝图构建器

本文介绍了一种名为DiScGraph的新 AI 模型，它就像一位精通蓝图构建原理的大师建筑师。以下是它的工作原理，通过简单的类比来说明：

1. “建房”类比（核心问题）

想象你在建造一座房子。

旧方法（通用图模型）： 建造者试图同时打地基、砌墙和安装窗户，将它们视为相互独立的任务。由于没有检查依赖关系，他们可能会在没有墙的地方安装窗户。
DiScGraph 方法： 这位建造者遵循严格、逻辑的顺序：
1. 首先，决定存在哪些房间（物体：“有一个厨房和一个卧室”）。
2. 接下来，决定哪些房间是连接的（边：“厨房连接到卧室”）。
3. 最后，决定这些连接中发生什么（关系：“厨房通向卧室”）。

DiScGraph 认识到，如果没有先建立“连接”（边），就不可能存在“关系”（如“骑行”）。它强制 AI 先构建结构，再填充细节。

2. “噪声与去噪”游戏（它是如何学习的）

该模型使用一种称为离散扩散的技术。这就像玩反向的“传话”游戏：

前向过程（添加噪声）： AI 拿着一份完美的蓝图开始将其打乱。它随机删除单词、移除连接，或将“骑行”改为“拿着”。关键在于，它是智能地这样做的：如果它删除了人与冲浪板之间的连接，它也会自动删除“骑行”这个词。它知道如果没有链接，这个动作就毫无意义。
反向过程（清理）： AI 学习反向玩这个游戏。它从一份被打乱、混乱的蓝图开始，尝试重建完美的蓝图。因为它学习了“建房”顺序（物体 $\to$ 连接 $\to$ 动作）的规则，它确切地知道如何修复混乱。

3. “奖励系统”（倾听用户）

有时，你希望蓝图匹配特定的句子，比如“一个人在波浪上冲浪"。

AI 生成一份蓝图。
然后它检查：“这份蓝图匹配这句话吗？”它使用一个工具（CLIP），充当翻译，将蓝图的含义与文本进行比较。
如果蓝图匹配良好，它会获得“高分”（奖励）。如果它说“人拿着冲浪板”而你要求的是“冲浪”，它会得到低分。
AI 利用这个分数来调整其生成过程，实际上是在说：“好吧，再试一次，但要确保动作与‘冲浪’这个词相匹配。”这无需从头重新训练整个模型。

他们发现了什么？

研究人员在标准数据集（如 Visual Genome 和 COCO）上测试了 DiScGraph，并将其与其他方法进行了比较。

更好的蓝图： 与之前的模型相比，它创建了更合乎逻辑、更准确的场景图，特别是对于罕见或复杂的关系（例如“一只狗追着一只猫”与仅仅是“一只狗和一只猫”）。
更好的画作： 当他们使用这些新蓝图来生成图像（使用 SDXL 等工具）时，生成的图片在遵循指令方面要好得多。如果提示语很复杂且包含许多物体，生成的图像就不会混淆或搞错谁在做什么。

总结：
DiScGraph 是一种让计算机将混乱的文本转化为结构化、逻辑化蓝图的新方法。通过强制计算机理解结构先于意义（在定义关系之前需要先有连接），它为图像生成创造了更好的计划，从而生成真正符合用户要求的图片。

技术摘要：面向场景图生成的依赖感知离散扩散模型

1. 问题陈述

场景图（SGs）提供了一种视觉场景的结构化表示，将对象编码为节点，将关系编码为边。虽然基于场景图的条件图像生成已被证明比纯文本提示能显著提高组合保真度，但仍存在一个显著的瓶颈：从自然语言提示生成结构化的场景图。

现有方法面临两个主要挑战：

歧义性：自然语言通常定义不足（例如，“一个人和一个冲浪板”并未定义两者之间的关系），因此需要建模条件分布 $p(G|T)$ ，而非确定性映射。
结构复杂性：场景图与通用图（如分子或交通网络）存在根本差异，因其具有层次结构、长尾关系词汇表以及强条件依赖性。具体而言，关系的存在取决于边的存在，而边的存在又取决于所涉及的对象。

先前的离散扩散模型（如 DiGress）将节点和边视为独立的分类变量。这种独立性假设不适用于场景图，因为层次化依赖（对象 $\to$ 边 $\to$ 关系）至关重要。标准方法难以处理“无边”类别主导分布的问题，导致稀有关系在破坏过程中丢失。

2. 方法论：DiScGraph

作者提出了 DiScGraph，这是一种专为场景图生成设计的依赖感知、层次约束离散扩散模型。该方法包含四个核心组件：

2.1 层次化场景图表示

DiScGraph 不再将边和关系建模为单一的耦合分类变量，而是将其解耦为因子化状态空间 $G = (V, E, R^+)$ ：

$V$ （对象）：节点标签。
$E$ （边）：二元存在指示器（ $e_{ij} \in \{0, 1\}$ ）。
$R^+$ （关系）：仅在活动边（ $e_{ij}=1$ ）上定义的关系标识。
这强制了约束 $e_{ij}=0 \implies r_{ij}=0$ ，确保了语义有效性，并将结构稀疏性与语义学习解耦。

2.2 结构感知前向过程

前向加噪过程经过重新设计，以尊重层次约束：

边门控破坏：关系破坏取决于边状态。如果边处于非活动状态（ $e_{ij}=0$ ），关系被确定性设置为 0。如果边处于活动状态，则根据标准离散扩散核对关系进行破坏。
混合破坏策略：模型采用随机破坏和吸收掩码破坏的混合策略。掩码策略在隐藏语义信息（对象和关系）的同时保留图结构（边），使模型能够在不破坏底层拓扑的情况下学习语义。这防止了稀有关系在训练期间与压倒性的“无边”类别竞争。

2.3 因子化反向采样器

反向生成过程遵循依赖感知序列： $V \to E \to R$ 。

因子化预测：模型按特定顺序预测干净状态 $x_0$ ：首先预测对象标识（ $V_0$ ），然后基于对象预测边的存在（ $E_0$ ），最后基于对象和活动边预测关系标识（ $R_0$ ）。
边门控后验：关系的反向转移概率被修改以处理三种情况：
1. $t-1$ 时刻边缺失：关系确定为 0。
2. $t$ 和 $t-1$ 时刻边均活动：标准离散后验更新。
3. 边重新激活（ $t$ 时刻非活动， $t-1$ 时刻活动）：关系从去噪器干净预测导出的边缘分布中采样，而非从当前噪声状态中采样。

2.4 基于奖励倾斜推理的文本条件生成

为了在不重新训练扩散模型的情况下生成基于文本提示的场景图（ $p(G|T)$ ），作者采用使用序贯蒙特卡洛（SMC）和奖励倾斜采样的免训练条件化方法：

奖励函数：文本提示与序列化场景图之间的 CLIP 相似度得分作为奖励 $R(G, T)$ 。
倾斜采样：在反向扩散轨迹中，粒子根据其文本提示的对齐程度进行重采样。状态的概率通过 $\exp(\beta R(\hat{G}_0, T))$ 进行倾斜，其中 $\hat{G}_0$ 是当前时间步预测的干净图。

3. 主要贡献

层次化因子分解：引入因子化状态空间，显式地将边的存在与关系语义解耦，解决了将其视为独立变量的局限性。
依赖感知扩散：一种新颖的前向和反向过程，尊重场景图固有的条件依赖（对象 $\to$ 边 $\to$ 关系），防止稀有关系分布的崩溃。
免训练文本条件化：一种利用奖励倾斜采样和 CLIP 将生成的场景图与文本提示对齐的方法，避免了对复杂条件模型进行重新训练的需求。
全面评估：在标准基准（Visual Genome、COCO、LAION-SG）上展示了最先进的性能，涵盖图指标、布局预测和下游图像生成质量。

4. 实验结果

该模型在 Visual Genome、COCO 和 LAION-SG 数据集上进行了评估。

无条件图生成：DiScGraph 在所有指标上均优于连续基线（DiffuseSG）和离散图基线（DiGress、GraphGDP）。值得注意的是，它在 Relation-MMD 和 Attach-TV 方面取得了显著改进，表明其对真实关系分布的学习以及对象与关系之间的语义一致性更优。它在 Rare-K-TV 上也表现出强劲性能，有效建模了长尾关系。
布局预测：当通过布局头提取边界框时，DiScGraph 在与专用布局生成模型（LayoutDM、LayoutDiffusion）的竞争中取得了有竞争力的 F1 分数，表明结构学习有效地转移到了几何定位上。
文本到图像生成：当用于条件化下游图像生成器（SDXL-SG、GLIGEN）时，与纯文本组合方法（ComposeDiff、CO3）相比，DiScGraph 生成的图像具有更高的 ImageReward、BLIP-VQA 和 SG-IoU 分数。这种改进在多对象和复杂关系场景中尤为明显，证实了结构化场景图提供了比单纯文本嵌入更鲁棒的先验。

5. 意义与主张

该论文指出，现有离散扩散图方法的主要局限性在于假设节点和边之间相互独立，这对于场景图而言是不成立的。通过引入依赖感知、层次约束的扩散过程，DiScGraph 成功捕捉了视觉场景特有的复杂条件依赖和长尾分布。

作者断言，这种方法为结构化数据的连续扩散提供了一种稳健的替代方案，提供了一种难以在文本嵌入中编码的“结构化先验”。结果表明，从文本生成场景图并利用其条件化图像生成是一种提高组合保真度的可行策略，特别是在文本提示模糊或复杂的场景中。

论文承认了局限性，包括依赖 CLIP 作为奖励函数（可能无法捕捉所有细微差别）、图 Transformer 随场景规模呈二次方扩展，以及目前需要采样细化以确保高质量输出。未来的工作建议探索更强的学习奖励模型和稀疏注意力机制以实现可扩展性。