DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation

本文提出了一种名为 DivCon 的“分而治之”方法，通过将布局预测分解为推理与规划、将图像生成按难易程度分步合成，有效解决了现有文生图模型在复杂数值与空间关系下的可扩展性难题，并在 HRS 和 NSR-1K 基准测试中显著提升了多物体生成的质量与准确性。

要点

这篇论文介绍了一种名为 DivCon（Divide and Conquer，即“分而治之”）的新方法，旨在解决当前 AI 画图（文生图）技术中一个最大的痛点：AI 很难听懂复杂的指令，比如“画 5 个苹果和 3 个香蕉，苹果在左边，香蕉在右边”。

以前的 AI 要么画错数量，要么把位置搞混。DivCon 就像给 AI 请了一位**“超级项目经理”**，把复杂的画画任务拆解成几个简单的步骤，让 AI 一步步搞定。

下面我用几个生活中的比喻来为你通俗地解释这项技术：

1. 核心问题：AI 是个“急性子”的画家

以前的 AI 画图（比如 Stable Diffusion），就像是一个很有才华但有点急躁的画家。

• 如果你让他画“一只猫”，他画得很棒。
• 但如果你让他画“左边一只猫，右边一只狗，中间还有 5 个苹果”，他往往会顾此失彼。他可能只画了一只猫，或者把苹果画成了梨，甚至把猫和狗画在了一起。
• 这是因为 AI 试图一口气把整幅画“喷”出来，脑子一下子转不过那么多复杂的逻辑（数量、位置）。

2. 解决方案：DivCon 的“两步走”策略

DivCon 把这个“一口吃成胖子”的过程，拆成了两个聪明的阶段：

第一阶段：先画“草图”（布局预测）

比喻：从“乱写乱画”变成“填字游戏”

以前，让 AI 直接根据文字画草图（布局），就像让一个小学生直接写出一篇完美的作文，他可能会写错字数或逻辑。
DivCon 把任务拆成了两步：

1. 先做“阅读理解”和“数数”：让 AI 先别急着画，而是像做数学题一样，先把文字里的数量（几个？）和位置（在哪？）提取出来。
   • 比如： 看到“两个遥控器”，AI 先确认“数量=2"；看到“在植物旁边”，AI 确认“位置=旁边”。
2. 再做“填格子”：有了确定的数字和位置后，AI 再像玩填字游戏一样，把这些物体填进画布里。
   • 效果： 即使是用比较“轻量级”（便宜、小）的 AI 模型，只要按这个步骤走，也能画出和那些“超级大模型”（如 GPT-4）一样精准的草图。这就像让一个普通学生，只要按步骤解题，也能考出满分。

第二阶段：分批次“精修”（图像生成）

比喻：先画“容易的”，再补“难的”

有了草图后，AI 开始正式上色画画。以前的方法是一次性把所有东西都画完，结果往往是：简单的东西画好了，复杂的东西（比如细节多的物体或位置奇怪的物体）就糊了。

DivCon 采用了**“先易后难”**的策略：

1. 第一轮：先画“简单户”。AI 先快速把整幅图画一遍。
2. 检查员上岗：系统会自动检查，看看哪些物体画得像（比如“苹果”画得很像），哪些画得不像（比如“香蕉”画歪了，或者“狗”画丢了）。
3. 第二轮：只修补“困难户”。系统把那些画得好的部分锁住（保护起来），只让 AI 集中精力去重新画那些画得不好、很难画的部分。
   • 效果： 这就像装修房子，先刷好容易刷的墙面，最后专门拿小刷子去修补那些难搞的角落，保证每个细节都完美。

3. 这项技术带来了什么好处？

• 省钱又高效：以前为了画好复杂的图，必须用那种超级昂贵、巨大的 AI 模型（像 GPT-4）。现在，DivCon 让小模型也能干大模型的活，大大降低了计算成本。
• 指哪打哪：无论是让你画"5 个杯子”还是“猫在狗和椅子中间”，AI 都能精准地数对数量、摆对位置，不再乱画。
• 质量更高：因为分步处理，画出来的图不仅数量对、位置对，而且细节更清晰，看起来更真实。

总结

DivCon 的核心思想就是：别试图一口吃成个胖子。

它把“让 AI 画复杂的图”这个难题，拆解成了**“先数数定位”和“先易后难修补”**两个小任务。就像盖房子，先打好地基（布局），再一层层盖，遇到难盖的楼层就专门加固。结果就是：用更少的资源，造出了更结实、更漂亮的房子（图像）。

技术摘要

DivCon 论文技术总结

1. 研究背景与问题 (Problem)

尽管基于扩散模型（Diffusion Models）的文本到图像（T2I）生成技术近年来取得了显著进展，但在处理包含具体数量、不同尺寸、丰富细节以及复杂空间关系的提示词时，现有模型仍存在明显局限。

现有的改进方案通常采用“大语言模型（LLM）+ 布局到图像扩散模型”的范式，利用 LLM 强大的推理能力预测物体布局（Bounding Boxes），再指导扩散模型生成图像。然而，这些方法面临两大核心挑战：

1. 对闭源大模型的依赖：大多数方法依赖 GPT-4 等大规模闭源 LLM 进行布局预测，导致计算成本高、可访问性差且难以扩展。轻量级开源模型在此任务上的表现尚未得到充分探索。
2. 生成难度不均导致的合成失败：现有方法通常一次性并行合成所有物体。由于不同物体（如形状、纹理复杂度不同）的生成难度存在差异，复杂物体往往导致生成质量下降、数量错误或空间位置偏差，最终图像出现不一致性。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 DivCon (Divide and Conquer)，一种无需训练（training-free）的分治策略框架。该框架将复杂的 T2I 生成任务解耦为两个主要阶段，每个阶段进一步细分为两个子步骤：

阶段一：文本到布局预测 (Text-to-Layout Prediction)

目标：利用轻量级 LLM 实现高精度的布局预测。

1. 数值与空间推理 (Numerical & Spatial Reasoning)：
   • 首先，使用小型量化 LLM 从文本提示中提取结构化的数值约束（物体类别及数量）或空间约束（物体实例及大致位置，如“左上”）。
   • 将推理结果解析为 Token 级别的约束条件。
2. 带约束解码的边界框规划 (Bounding Box Planning with Constrained Decoding)：
   • 利用上述推理结果作为前缀控制 Token（Prefix Control Tokens），引导 LLM 进行受约束的解码。
   • 数值约束：强制每个类别在输出中出现的次数严格等于推理出的数量。
   • 空间约束：在解码每个物体的边界框坐标前，插入包含物体名称和位置的前缀（如 "apple(top-left):"），引导模型将物体定位到特定区域，同时允许模型自由完成剩余坐标。
   • 效果：这种解耦结构使得轻量级模型（如 TinyLlama, Phi-2）的布局预测精度达到了与 GPT-4 相当的水平。

阶段二：布局到图像生成 (Layout-to-Image Generation)

目标：通过分步合成解决不同物体的生成难度差异。

1. 第一轮生成 (First-Round Generation)：
   • 利用布局条件，通过扩散模型一次性生成包含所有物体的初始图像。
2. 一致性评估 (Consistency Evaluation)：
   • 根据布局中的边界框裁剪生成的物体，计算裁剪区域与文本描述中物体名称的 CLIP 相似度。
   • 设定阈值，将高相似度物体标记为“易样本”（Good Enough），低相似度物体标记为“难样本”（Hard Samples）。
3. 第二轮细化 (Second-Round Refinement)：
   • 保留高保真区域：提取第一轮生成过程中所有时间步的潜在表示（Latent Representation），利用掩码（Mask）保留“易样本”的潜在特征。
   • 重绘难样本：在第二轮前向传播中，用保留的潜在特征替换噪声图中对应“易样本”的区域，仅对“难样本”区域（即低一致性物体）进行重新去噪和生成。
   • 效果：这种方法让扩散模型能够专注于修复困难的物体，同时保持简单物体的质量，从而提升整体图像的一致性和保真度。

3. 主要贡献 (Key Contributions)

1. 提出 DivCon 框架：一种创新的“分治”策略，将复杂的 T2I 任务分解为多个子任务，显著提升了数值和空间推理能力。
2. 轻量级 LLM 的高效布局预测：通过将布局预测解耦为“推理”和“规划”两步，并引入约束解码，使得轻量级、开源、量化的 LLM 在布局预测精度上能够媲美甚至超越 GPT-4，大幅降低了计算成本。
3. 基于难度的渐进式图像合成：在布局到图像阶段，提出了一种两阶段生成策略，根据物体生成难度进行渐进式合成，解决了多物体场景下复杂物体生成质量差的问题。
4. SOTA 性能表现：在 HRS 和 NSR-1K 基准测试中，DivCon 在数值准确性、空间准确性以及图像感知质量上均超越了现有的最先进模型。

4. 实验结果 (Results)

定量结果

• 布局预测：在 HRS 和 NSR-1K 数据集上，使用 DivCon 框架的轻量级模型（如 Qwen3-8B + DivCon）在数值和空间推理指标上显著优于原始模型，并在多项指标上超越 GPT-4（例如 HRS 数值 F1 分数提升 0.94%）。
• 图像生成：
  • HRS 数据集：数值 F1 提升超过 8%，数值准确率提升 9%，空间准确率提升超过 40%。
  • NSR-1K 数据集：数值 F1 提升 8%，空间准确率提升 50%。
  • 图像质量 (FID)：DivCon 生成的图像 FID 分数与 Stable Diffusion 相当，且显著优于 Attention-Refocusing 等方法，证明了其在保持高提示词忠实度的同时具备优秀的视觉质量。
• 效率：相比需要多次前向传播的其他方法（如 LLM-Grounded），DivCon 在保持高质量的同时实现了约 1.87 倍的加速。

定性结果

• 多物体数量控制：在包含大量物体（如"5 个勺子，4 个橙子"）的提示词中，DivCon 能准确生成指定数量，而基线模型常出现数量不足或多余。
• 复杂空间关系：在处理复杂的空间关系（如"A 在 B 和 C 中间”）时，DivCon 能准确构建物体位置，避免了基线模型常见的物体缺失、边界扭曲或颜色融合问题。
• 用户研究：在涉及 17 名参与者的用户研究中，DivCon 生成的图像在忠实度排名中位列第一。

5. 意义与影响 (Significance)

• 降低门槛与提升可访问性：DivCon 证明了通过巧妙的算法设计（分治与约束解码），轻量级开源模型完全可以替代昂贵的闭源大模型进行复杂的视觉规划任务，极大地降低了 T2I 生成技术的部署成本和门槛。
• 解决复杂场景生成难题：针对多物体和复杂空间关系的生成痛点，提出了一种通用的、无需重新训练扩散模型的解决方案，显著提升了生成图像的逻辑一致性和物理合理性。
• 推动可控生成发展：该工作为文本到图像的可控生成提供了新的思路，即通过解耦推理与生成、分步处理难度，可以显著提升生成模型在细粒度控制方面的能力，为未来更复杂的视觉任务奠定了基础。

局限性：论文也指出，当文本描述涉及物体极度重叠时，基于布局条件的扩散模型仍可能无法准确生成所有物体，这是当前布局引导生成模型的固有局限。