论文技术总结：DOS (Directional Object Separation in Text Embeddings)

1. 研究背景与问题 (Problem)

近年来，文本到图像（T2I）生成模型（如 Stable Diffusion 系列）在生成高质量图像方面取得了显著进展。然而，当提示词（Prompt）包含多个对象时，这些模型仍然面临严峻挑战，主要表现为：

• 对象忽略 (Object Neglect)：生成的图像中缺失了提示词中指定的部分对象。
• 对象混合 (Object Mixing)：多个对象的特征发生混淆，导致生成的物体既像 A 又像 B，或者特征错位。

作者通过大量实验发现，这种失败在以下四种特定场景中尤为严重：

1. 形状相似 (Similar Shapes)：两个对象形状相似（如“甜甜圈”和“戒指”）。
2. 纹理相似 (Similar Textures)：两个对象纹理相似（如“斑马”和“条纹衬衫”）。
3. 背景偏见差异 (Dissimilar Background Biases)：两个对象通常关联的背景截然不同（如“山羊”通常在陆地，“章鱼”通常在水中），模型难以在单一背景中平衡两者。
4. 多对象 (Many Objects)：提示词中包含三个或更多对象，导致对象间关系复杂化，上述问题叠加。

现有的解决方案主要分为两类：

• 潜在空间修改 (Latent Modification)：如 Attend-and-Excite，通过迭代更新中间图像潜在变量来引导生成。缺点是推理速度慢（需要多次梯度更新），且可能引入视觉伪影。
• 文本嵌入修改 (Text Embedding Modification)：如 TEBOpt，仅修改语义 Token 嵌入。缺点是改进有限，未能完全解决对象混合问题。

2. 方法论 (Methodology: DOS)

作者提出了 DOS (Directional Object Separation，方向性对象分离) 方法。该方法的核心思想是在将文本输入 T2I 模型之前，修改 CLIP 文本嵌入，通过注入“方向性信息”来强制模型区分不同的对象。

2.1 核心动机

基于对 CLIP 嵌入的两个关键观察：

1. 信息混合：CLIP 使用因果掩码机制，导致后续 Token 的嵌入中混合了前面 Token 的信息，造成对象间的信息混淆。
2. 方向性编码：两个 CLIP 文本嵌入之间的差值编码了方向性信息（例如 $Embedding(A) - Embedding(B)$ 可以表示从 B 到 A 的方向）。

2.2 具体实现步骤

DOS 方法针对三种类型的 CLIP 文本嵌入进行操作：

1. 语义 Token 嵌入 (Semantic Token Embeddings)：对应提示词中的具体对象名词。
2. EOT 嵌入 (End-of-Text Embedding)。
3. Pooled 嵌入 (Pooled Embeddings)。

步骤一：计算成对分离向量 (Pairwise Separation Vectors)

对于提示词中的每一对对象 $(obj_n, obj_m)$，计算分离向量 $s^{(n,m)}$：

• 对于语义 Token 嵌入：使用纯提示词（Pure Prompts，如"a {obj_n}"）来避免信息混合。分离向量定义为两个纯对象嵌入的差值：
  $$s^{(n,m)}_{obj} = c^{pure,n}_{obj} - c^{pure,m}_{obj}$$
• 对于 EOT 和 Pooled 嵌入：利用信息混合的特性，构造对比提示词（Contrastive Prompts）：
  • 分离提示词：$P_{sep} = \text{"a } \{obj_n\} \text{ separated from a } \{obj_m\}"$
  • 混合提示词：$P_{mix} = \text{"a } \{obj_n\} \text{ mixed with a } \{obj_m\}"$
  • 分离向量定义为两者嵌入的差值：
    $$s^{(n,m)}_{EOT/pool} = c^{sep}_{EOT/pool} - c^{mix}_{EOT/pool}$$

步骤二：计算自适应强度 (Adaptive Strengths)

并非所有对象对都需要同等程度的分离。作者设计了一个机制，根据对象的视觉相似度（形状、纹理）和背景偏见差异来动态调整分离向量的强度 $\alpha$。

• 利用预定义的 42 个形状/纹理词汇和 36 个背景短语，计算对象与这些属性的余弦相似度。
• 通过皮尔逊相关系数和移位温sigmoid 函数，计算出一个强度系数 $\alpha^{(n,m)}$。如果两个对象容易混淆（形状/纹理相似）或背景冲突大，则赋予更高的分离强度。

步骤三：构建并应用 DOS 向量

• 将所有对象对的分离向量根据自适应强度进行加权平均，得到最终的 DOS 向量 $v^{DOS}$。
• 更新嵌入：
  • 语义 Token：$c'_{obj} = c_{obj} + v^{DOS}_{obj}$
  • EOT/Pooled：$c'_{EOT/pool} = c_{EOT/pool} + \sum v^{DOS}_{EOT/pool}$
• 将修改后的嵌入输入到 T2I 模型中进行生成。

3. 主要贡献 (Key Contributions)

1. 问题定义：系统性地识别并分析了导致多对象生成失败的四种关键场景（形状、纹理、背景偏见、多对象数量）。
2. 方法创新：提出了 DOS 方法，利用 CLIP 嵌入的方向性差异，通过修改三种不同类型的文本嵌入（Token, EOT, Pooled）来解决对象混合和忽略问题，而非仅修改语义 Token。
3. 自适应机制：引入了基于视觉属性和背景偏见的自适应强度调整，使分离策略更具针对性。
4. 高效性：与基于潜在空间迭代的方法（如 Attend-and-Excite）相比，DOS 仅在推理前修改嵌入，推理速度提升约 4 倍，且无需改变模型架构。

4. 实验结果 (Results)

作者在 SDXL 和最新的 SD3.5 模型上进行了广泛实验，并在四个基准测试（对应上述四种问题场景）中进行了评估。

• 定量指标：

  • 成功率 (Success Rate, SR)：DOS 在所有基准和模型上均取得了最高的成功率。例如在 SDXL 的"Many Objects"场景下，SR 从基线的 23.00% 提升至 48.00%。
  • 混合率 (Mixture Rate, MR)：DOS 显著降低了对象混合率。在 SDXL 的"Many Objects"场景下，MR 从 27.50% 降至 15.50%。
  • 相比次优的文本嵌入修改方法 TEBOpt，DOS 在 SR 上提升了 10.50%-24.00%。

• 人类评估：

  • 在 Amazon Mechanical Turk 上进行的人类偏好测试中，DOS 在四个基准上均获得最高票数，比第二名高出 26.24% - 43.04%。

• 推理效率：

  • DOS 的推理时间与基线模型几乎相同（约 13 秒），而 Attend-and-Excite 和 CONFORM 等潜在空间修改方法需要约 58 秒（慢 4-5 倍）。

• 消融实验：

  • 证明同时修改 Token、EOT 和 Pooled 三种嵌入效果最佳。
  • 证明自适应强度机制比固定强度能带来更好的性能。

5. 意义与影响 (Significance)

• 解决核心痛点：DOS 有效解决了多对象生成中普遍存在的“对象丢失”和“对象混淆”问题，显著提升了复杂提示词的生成质量。
• 高效实用：作为一种仅修改文本嵌入的“即插即用”方法，它不需要昂贵的迭代优化过程，极大地降低了计算成本，使其在实际应用中更具可行性。
• 理论洞察：该工作深入挖掘了 CLIP 文本嵌入中的方向性信息，证明了通过简单的向量运算（差值）即可提取并增强对象间的分离性，为理解 T2I 模型中的文本 - 图像对齐机制提供了新的视角。
• 通用性：实验表明 DOS 不仅适用于特定场景，还能在包含属性绑定的复杂提示词中保持甚至提升性能，具有广泛的适用性。

总结：DOS 是一种高效、有效且无需重新训练模型的方法，通过利用 CLIP 嵌入的方向性特征，显著提升了多对象图像生成的准确性和鲁棒性，是目前解决该领域问题的 State-of-the-Art 方案之一。