ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

技术摘要：ISAC（实例到语义注意力控制）

问题陈述
近期的开源权重文本生成图像（T2I）扩散模型在处理多实例提示词时表现挣扎，频繁出现两种主要的失效模式：计数失败（遗漏或合并请求的对象）和语义混淆（属性在相似对象之间泄漏）。作者将这些失败归因于扩散过程中的早期去噪阶段。虽然现有的无需训练的引导方法（如 Attend-and-Excite、Self-Cross）依赖交叉注意力（CA）在标记（token）层面分离概念，但它们假设不同的实例区域已经显现。在早期去噪步骤中，受标记调控的语义往往是粗糙且纠缠的，导致基于 CA 的引导难以划定可靠的实例边界，特别是对于语义相似的对象（例如“一只狗和一只羊”或“两匹马”）。

方法论
本文提出了 ISAC（实例到语义注意力控制），这是一种无需训练、与模型无关的目标函数，它强制执行一种层级化的“实例优先”生成策略。ISAC 通过在去噪轨迹上解耦结构形成与语义绑定来运行，采用两阶段方法：

1. 阶段 1：实例形成 ($L_{ins}$)

   • 观察： 在早期去噪步骤中，即使标记语义尚未发育完全，自注意力（SA）图也会暴露类别无关的实例布局。
   • 机制： 该方法将 SA 图聚类为 $N$ 组（其中 $N$ 是总请求的实例数量），以导出类别无关的实例布局。为了确保分离，它在生成的实例掩码之间应用了**最大像素级重叠（MPO）**惩罚，从而排斥重叠区域。
   • 细化： 通过从 CA 图构建前景门（foreground gate）来限制聚类仅在相关区域进行，并将归一化空间坐标与 SA 特征拼接，以提高聚类过程中的空间连贯性（例如使用 K-means）。

2. 阶段 2：实例感知语义分离 ($L_{sem}$)

   • 机制： 一旦在阶段 1 中建立了稳定的实例边界，ISAC 会将这些结构信号注入到交叉注意力图中。
   • 目标： 应用“排斥与绑定”损失。指向不同实例的标记被推开（排斥），而描述同一实例的标记（例如一个物体及其属性）则被拉近（绑定）。这确保了属性被绑定在特定的实例区域内，而不会泄漏到其他区域。

3. 损失调度

   • ISAC 使用时间依赖型调度结合这两个阶段：$\lambda_{ins}(t) = t/T$ 且 $\lambda_{sem}(t) = 1 - t/T$。这确保了早期步骤专注于建立实例结构，而后期步骤则专注于细化语义分配。

核心贡献

• 定量诊断： 作者提供了定量分析，表明对于处于同一超类（supercategory）内的对象对（例如动物、车辆），其语义混淆程度显著高于不同类别的对象对，从而验证了“实例优先”分离的必要性。
• ISAC 框架： 一种新型无需训练、与模型无关的目标函数，它将实例形成与语义绑定分离，无需微调、外部视觉模型或额外的训练数据。
• IntraCompBench： 一个专门设计的基准测试，用于压力测试超类内组合（2–5 个实例），专门针对计数失败和语义混淆最普遍的场景。
• 广泛适用性： 该方法被证明适用于多种扩散骨干网络（SD1.5, SD3.5-M, Flux, Qwen-Image）以及文本生成图像和布局生成图像任务。

结果

• 性能： 在 IntraCompBench 上，ISAC（特别是其潜在优化变体 ISACLO）显著优于先前的无需训练的方法。例如，在 SD1.5 上，同类提示词的多类准确率从约 20%（最强基线）提升至 36%，在 HRS-Bench 上的空间得分也几乎翻倍（0.135 提升至 0.263）。
• 计数准确度： ISACLO 实现了比计数监督方法（如 CountGen、Counting Guidance）更高的实例计数准确度，且无需辅助模型或微调。在 SD1.4 上，它实现了 70% 的实例计数准确度，而 Counting Guidance 为 49%。
• 布局生成图像（Layout-to-Image）： 当应用于布局控制器（如 GLIGEN）时，ISAC 能将粗糙、重叠的边界框细化为密集的实例掩码，防止相邻对象发生合并。
• 效率： 虽然 ISACLO 由于反向传播引入了延迟，但其潜在选择变体（ISACLS）提供了一种无需梯度的替代方案，通过根据 ISAC 分数从批次中选择最佳样本，适用于更大规模的模型（如 Flux.2, Qwen-Image）。

意义与主张
论文声称，ISAC 提供了一条切实可行且可复现的路径，用以缩小开源权重扩散模型与商业系统（通常使用专有数据和推理循环）之间的可靠性差距。通过在分配语义之前显式地稳定实例边界，ISAC 解决了早期扩散步骤中多实例失效的根本原因。作者强调，这种“实例优先”的层级结构是实现解耦结构–语义控制的一个极具前景的方向，不仅适用于 T2I，也可能适用于视频及其他结构化生成领域。该工作证明，通过推理时的注意力操控，可以在不承担重新训练或外部感知模型计算成本的情况下，实现高保真的多实例生成。