Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment

本文提出了对比对象扩散对齐（CODA）方法，通过引入寄存器槽位吸收残差注意力并应用对比对齐损失，有效解决了现有基于扩散模型的物体中心学习中的槽位纠缠与对齐弱问题，显著提升了在复杂场景下的物体发现、属性预测及组合图像生成能力。

要点

这篇论文介绍了一种名为 CODA 的新方法，旨在让计算机更聪明地“看”世界。为了让你轻松理解，我们可以把计算机处理图像的过程想象成在一个拥挤的派对上识别不同的人。

🎭 核心问题：派对上的混乱

想象一下，你走进一个非常拥挤的派对（这就好比一张复杂的照片，里面有车、人、树、交通灯等）。

• 旧方法（Slot Attention） 就像派对了几个“观察员”，他们的任务是给每个人贴标签。
  • 问题 1（纠缠不清）： 有时候，一个观察员太忙了，他不仅记住了“穿红衣服的女士”，还顺便记住了她旁边的“狗”和“路灯”。结果，当你想单独把“女士”画出来时，画里却混进了狗和路灯。这就是论文里说的**“槽位纠缠” (Slot Entanglement)**。
  • 问题 2（指鹿为马）： 有时候，观察员们会搞混。比如，把“女士”分成了三个观察员（过度分割），或者把“女士”和“狗”当成一个人（分割不足）。他们无法准确地把“标签”和“人”对应起来。

💡 解决方案：CODA 的两大绝招

为了解决这些混乱，作者给观察员团队加了两个新工具：“注册槽位” (Registers) 和 “对比对齐” (Contrastive Alignment)。

1. 注册槽位：派对的“垃圾桶”或“备用座位”

• 比喻： 想象观察员们手里拿着一个“注意力篮子”。当他们在看派对时，有些东西（比如背景里的模糊墙壁、杂乱的噪音）既不属于“女士”，也不属于“狗”，但观察员们又不得不把注意力分给它们。
• 旧方法： 观察员们被迫把这些杂乱的背景强行塞进“女士”或“狗”的篮子里，导致篮子内容混杂。
• CODA 的做法： 我们给观察员团队增加了一些特殊的“空篮子”（注册槽位）。这些篮子不装任何具体的人或物，它们专门用来吸收那些没处放的、杂乱的背景注意力。
• 效果： 现在，“女士”的篮子里只装女士，“狗”的篮子里只装狗。那些杂乱的背景噪音都被“空篮子”吸走了。这样，每个观察员都能更专注、更清晰地描述一个独立的物体。

2. 对比对齐：严格的“找茬”游戏

• 比喻： 以前，观察员只要能把所有人拼凑成一张完整的派对照片就算及格了。但这导致他们可能偷懒，只要整体像就行，不管局部对不对。
• CODA 的做法： 我们引入了一个**“找茬”机制（对比损失）**。
  • 我们会故意把“女士”的标签贴到“狗”身上，或者把“女士”的标签和隔壁派对的人混在一起。
  • 然后问观察员：“嘿，这个标签和这张图匹配吗？”
  • 如果观察员说“匹配”，我们就惩罚他；如果他说“不匹配”，我们就奖励他。
• 效果： 这迫使观察员必须极其精准地知道：这个标签到底对应图里的哪一部分。这就像给观察员上了一堂严格的“指认课”，确保他们不再指鹿为马。

🎨 最终成果：完美的“乐高”积木

有了这两个改进，CODA 带来的最大好处是**“可组合性” (Compositional Generation)**。

• 以前的模型： 就像一盒拼好的乐高，虽然整体是个城堡，但你很难把“塔楼”单独拆下来，因为塔楼和城墙粘在一起了。
• CODA 模型： 就像一盒分装完美的乐高积木。
  • 你可以只拿出“女士”这块积木，让 AI 只画女士（即使背景是空的）。
  • 你可以把“女士”和“狗”的积木拼在一起，生成一张新的图。
  • 你可以把“女士”拿走，换成“猫”，AI 能生成一张“猫和狗”的新图，而且画面非常自然。

🚀 总结

简单来说，CODA 就像给计算机视觉系统装上了**“收纳盒”（注册槽位）和“纠错器”**（对比对齐）。

• 收纳盒把没用的背景噪音吸走，让每个物体都干干净净。
• 纠错器强迫系统把物体和标签一一对应，不再搞混。

这使得 AI 不仅能看清复杂的场景，还能像人类一样，灵活地拆解、重组和编辑场景中的物体，为未来的图像编辑、机器人控制和创意生成打下了坚实的基础。

一句话总结： CODA 让 AI 学会了在混乱的派对上，不仅能分清每个人，还能把每个人单独拎出来，随意组合成新的画面。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 《Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment》（基于寄存器与对比对齐的改进型以物体为中心的扩散学习），简称 CODA。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

以物体为中心的学习 (Object-Centric Learning, OCL) 旨在将复杂场景分解为结构化、可解释的物体表示，这对于视觉推理、因果推断和组合生成至关重要。虽然 Slot Attention (SA) 结合预训练扩散模型（如 Stable Diffusion）在 OCL 领域取得了进展，但现有方法（如 Stable-LSD, SlotAdapt）仍面临两个核心挑战：

1. Slot 纠缠 (Slot Entanglement)： 单个 Slot 往往编码了多个物体或其碎片的信息，导致无法从单个 Slot 生成忠实于该概念的图片。这种纠缠破坏了表示的解耦性，使得组合生成（Compositional Generation）变得困难。
2. 对齐弱 (Weak Alignment)： Slot 与图像内容之间的对应关系不一致。在真实世界图像中，常出现过度分割（一个物体被分成多个 Slot）或欠分割（多个物体合并为一个 Slot）的现象，且边界不准确。

此外，直接利用预训练的文本 - 图像扩散模型作为解码器时，模型倾向于优先响应文本条件，导致 Slot 表示与视觉内容的对齐受到干扰。

2. 方法论 (Methodology)

作者提出了 CODA (Contrastive Object-centric Diffusion Alignment) 框架，通过三个关键组件解决上述问题：

(1) 寄存器 Slot (Register Slots)

• 机制： 引入与输入图像无关的“寄存器 Slot"（通过填充 Token 编码得到）。这些 Slot 不包含语义信息，但在注意力机制中充当“注意力汇 (Attention Sinks)"。
• 作用： 在 Cross-Attention 中，Softmax 强制所有注意力权重之和为 1。当 U-Net 的查询无法强烈匹配任何语义 Slot 时，剩余的注意力质量会随机分散。寄存器 Slot 吸收了这些残差注意力，防止语义 Slot 之间相互干扰或吸收背景噪声。
• 效果： 显著减少了 Slot 纠缠，使语义 Slot 能更专注于有意义的物体 - 概念关联。

(2) 交叉注意力微调 (Finetuning Cross-Attention)

• 机制： 针对预训练扩散模型（如 SD）存在的文本条件偏差，作者仅微调 Cross-Attention 层中的 Key (K)、Value (V) 和 Output (O) 投影矩阵，而冻结其他参数。
• 作用： 这种轻量级的适配策略使模型能够更好地将 Slot 表示与视觉内容对齐，同时保留了预训练模型的强大生成能力，避免了从头训练带来的质量下降或引入额外适配器层（Adapter）的复杂性。

(3) 对比对齐目标 (Contrastive Alignment Objective)

• 机制： 提出了一种对比损失函数。除了标准的去噪损失（Denoising Loss）外，还引入一个负样本损失。
  • 正样本： 图像与其对应的真实 Slot 序列。
  • 负样本 (Hard Negatives)： 通过从同一批次中的其他图像随机替换部分 Slot 构建“混合 Slot"，形成与当前图像不匹配但具有挑战性的负样本。
• 目标： 最大化真实 Slot 与图像的互信息 (Mutual Information, MI)，同时最小化错误 Slot 与图像的似然。
• 理论联系： 论文证明了该训练目标实际上是最大化 Slot 与输入图像之间互信息的可处理代理 (Tractable Surrogate)。

3. 主要贡献 (Key Contributions)

1. 架构创新： 首次将“寄存器 Slot"引入基于扩散的 OCL 框架，有效解决了 Slot 纠缠问题，且计算开销极小。
2. 训练策略： 提出了一种轻量级的 Cross-Attention 微调策略和对比对齐损失，无需外部监督信号（如文本描述或分割掩码）即可实现强对齐。
3. 理论深度： 从互信息最大化的角度理论化了训练目标，证明了对比损失在提升表示质量方面的作用。
4. 全面评估： 在合成数据集 (MOVi-C/E) 和真实世界数据集 (VOC, COCO) 上进行了广泛验证，证明了其在物体发现、属性预测和组合生成方面的优越性。

4. 实验结果 (Results)

CODA 在多个基准测试中显著优于现有的无监督 OCL 方法（如 SlotAdapt, Stable-LSD, SlotDiffusion 等）：

• 物体发现 (Object Discovery)：
  • 在 COCO 数据集上，前景调整兰德指数 (FG-ARI) 提升了 +6.14%。
  • 在 VOC 数据集上，实例级发现 (mBOi, mIoUi) 和语义级发现 (mBOc, mIoUc) 均有显著提升（例如 mIoUc 提升 +7.00%）。
• 属性预测 (Property Prediction)：
  • 在 MOVi 数据集上，CODA 学习到的 Slot 在物体类别分类准确率上大幅领先（MOVi-C 达到 74.12%，MOVi-E 达到 78.06%），表明其编码了更解耦、信息量更大的物体特征。
• 组合图像生成 (Compositional Generation)：
  • 单 Slot 生成： CODA 能够从单个 Slot 生成忠实、连贯的物体图像，而基线方法通常生成模糊或无意义的纹理。
  • 组合编辑： 在 COCO 上的组合生成任务中，CODA 在 FID (31.03) 和 KID (30.44) 指标上均优于 SlotAdapt，证明了其强大的场景重组能力。
• 消融实验： 证实了寄存器 Slot、Cross-Attention 微调和对比损失三者缺一不可，共同贡献了性能提升。

5. 意义与影响 (Significance)

• 解决核心痛点： CODA 有效解决了扩散模型在 OCL 任务中长期存在的“纠缠”和“对齐弱”问题，使得基于 Slot 的生成模型真正具备了可组合性 (Compositional) 和可控性。
• 无需监督： 该方法完全基于无监督学习，不依赖昂贵的物体边界标注或文本描述，降低了 OCL 在真实场景中的应用门槛。
• 高效可扩展： 通过简单的寄存器机制和轻量微调，CODA 在保持计算效率的同时，显著提升了复杂场景下的表现，为未来的视觉推理、机器人控制和视频编辑等任务提供了更鲁棒的底层表示框架。
• 开源贡献： 作者提供了代码和预训练模型，促进了该领域的进一步研究。

总结： CODA 通过引入“寄存器”吸收残差注意力，并利用对比学习强制 Slot 与图像内容的对齐，成功构建了一个解耦性强、对齐度高的物体中心扩散学习框架，在合成与真实世界数据集上均取得了 State-of-the-art 的性能。