💻 computer science

MS-CustomNet: Controllable Multi-Subject Customization with Hierarchical Relational Semantics

MS-CustomNet 是一种新颖的多主体定制框架，它通过引入层级关系语义和 MSI 数据集，实现了零-shot 多主体图像的生成，在保持个体身份一致性的同时，赋予用户对主体间空间布局与交互关系的细粒度显式控制能力。

原作者： Pengxiang Cai, Mengyang Li

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengxiang Cai, Mengyang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 MS-CustomNet 的新 AI 技术，它能让人们像导演一样，精准地控制 AI 绘画中“多个角色”的出场、位置和互动关系。

为了让你更容易理解，我们可以把现在的 AI 绘画比作一个**“有点迷糊但才华横溢的画家”**。

1. 以前的痛点：画家“记不住”且“听不进去”

单个人物定制（以前的技术）： 如果你给画家看一张你自家狗的照片，说“画这只狗在草地上”，他通常能画得很像。这就像给画家一个主角，他记得住。
多个人物定制（现在的难题）： 如果你说“画一只狗、一只猫和一个杯子，狗要坐在杯子里，猫要躲在杯子后面"，以前的 AI 就会晕头转向。
- 它可能会把狗和猫的特征搞混（比如猫长出了狗的耳朵）。
- 它可能根本听不懂“杯子”和“狗”谁在谁上面，画出来的东西乱七八糟，或者把狗画在杯子旁边而不是里面。
- 比喻： 就像你让一个新手厨师做一道复杂的“宫保鸡丁”，他能把鸡肉炒熟，但如果你要求“花生米必须浮在鸡肉上面，辣椒必须藏在鸡肉下面”，他可能完全做不到，或者把花生米炒糊了。

2. MS-CustomNet 的解决方案：给画家配了个“超级导演”和“剧本”

这篇论文提出的 MS-CustomNet 就像是给这位画家配了一位**“超级导演”和一个“分镜剧本”**。

A. 核心功能：像搭积木一样精准控制

身份保留（Identity Preservation）： 无论怎么摆弄，那只狗还是那只狗，不会变成别的动物。
空间控制（Spatial Control）： 这是最厉害的地方。你可以明确告诉 AI：“把 A 放在 B 的里面"，或者“把 C 放在 D 的后面"。
- 比喻： 以前 AI 画画像是在**“泼墨”，墨汁流到哪里算哪里；现在 MS-CustomNet 像是“搭乐高”**。你给 AI 一个指令：“把红色的积木（狗）插在蓝色的积木（杯子）中间”，AI 就能精准地执行，不会把积木粘错地方。

B. 三大创新点（如何做到的？）

造了一本“超级教材”（MSI 数据集）：
- 以前的 AI 学画画，教材里大多是“一只猫”或“一只狗”的图，很少教它们“猫和狗怎么打架”或者“猫怎么坐在狗背上”。
- 作者们从现有的图片库（COCO）里，专门挑出了那些**“多物体互动”的复杂场景（比如桌子上有书、杯子和笔），整理成了一本“多角色互动教材”**。这让 AI 学会了物体之间复杂的“邻里关系”。
分阶段“特训”（Dual Stage Training）：
- 第一阶段（学位置）： 先不管画得像不像，先教会 AI 把东西摆对位置。就像先教孩子把积木搭在桌子上，别掉下去。
- 第二阶段（学细节）： 位置摆好了，再教 AI 把细节画得栩栩如生。这时候再追求毛发、光影的逼真度。
- 比喻： 就像练书法，先练“间架结构”（字写得正不正），再练“笔锋神韵”（字好不好看）。如果一开始就追求神韵，结构往往就歪了。
循序渐进的“难度升级”（Curriculum Learning）：
- 一开始，AI 只练习画2 个物体（比如一只猫和一个碗）。
- 等它学会了，再让它挑战3 个、4 个甚至 5 个物体的复杂场景。
- 比喻： 就像打游戏，先打新手关，再打困难关。如果一上来就让 AI 画“十个角色在同一个画面里互动”，它肯定会崩溃。

3. 效果怎么样？

论文里的测试显示，MS-CustomNet 在**“听指挥”**这方面表现极佳：

位置控制： 如果你让它把“蛋糕放在碗里”，它真的能把蛋糕画在碗里面，而不是旁边。
长相保持： 即使画得很复杂，那只特定的狗还是那只狗，不会变成别的品种。
整体和谐： 画面看起来不像拼贴画，而是一个自然的场景。

总结

简单来说，MS-CustomNet 就是让 AI 从**“只会画单人的肖像画家”进化成了“能听指挥排演复杂舞台剧的导演”**。

以前你只能对 AI 说：“画一只可爱的狗。”
现在你可以对 AI 说：“画一只特定的狗，让它坐在一个特定的杯子里，旁边还有一只特定的猫在看着它，背景是办公室。”

AI 不仅能听懂，还能精准地把每一个角色放在它该在的位置，并且保证每个角色都长得和你给的照片一模一样。这对于需要精确控制画面的设计师、游戏开发者或者普通用户来说，是一个巨大的进步。

MS-CustomNet 技术总结

1. 研究背景与问题 (Problem)

基于扩散模型（Diffusion Models）的文生图技术虽然取得了显著进展，但在**多主体定制（Multi-Subject Customization）**场景下仍面临严峻挑战。现有的定制化方法（如 DreamBooth、CustomNet 等）主要侧重于单主体定制，当扩展到同一场景中包含多个不同主体时，存在以下核心痛点：

概念混淆与身份丢失：直接应用单主体方法容易导致不同主体间的特征“泄露”（Concept Bleeding）或身份识别失败。
缺乏细粒度的空间控制：现有方法难以提供用户定义的、显式的组合结构（如遮挡关系、层级顺序）和精确的空间位置控制。通用的注意力机制通常是隐式的，无法保证用户指定的“物体 A 在物体 B 内部”或“物体 A 遮挡物体 B"等复杂空间关系被准确执行。
数据匮乏：缺乏包含复杂多主体交互、具有明确空间布局标注的公开训练数据集。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 MS-CustomNet，这是一个专为多主体定制设计的框架，旨在实现零样本（Zero-shot）集成多个用户提供的对象，并允许用户显式定义其层级排列和空间布局。

2.1 MSI 数据集构建 (MSI Dataset)

针对多主体交互数据的缺失，作者基于 COCO 数据集构建了 MSI (Multi-Subject Interaction) 数据集：

筛选机制：通过面积阈值（ $\beta=0.015$ ）和主体数量阈值（ $\alpha=2$ ）筛选出包含显著多主体的场景图像。
多视图参考池：为每个类别构建包含多视角的参考图像池，以增强模型的泛化能力，避免简单的“复制粘贴”。
布局图生成：利用 COCO 的标注生成布局图（Layout Map, $M_L$ ），明确编码主体的 2D 位置、缩放比例及相对层级（通过遮挡先验自动确定堆叠顺序）。
数据格式：最终数据元组包含：多张参考图像 $\{x_{ref,k}\}$ 、文本提示 $T$ 、布局图 $M_L$ 和原始场景图像 $y_s$ 。

2.2 模型架构 (MS-CustomNet Framework)

基于潜在扩散模型（LDM）和 CustomNet 进行改进，核心组件包括：

类别感知主体嵌入：引入类别编码器（Category Encoder），将参考图像的视觉特征（CLIP 提取）与其类别标签结合，生成类别感知的主体嵌入 $f_{s,k}$ ，通过交叉注意力机制注入 U-Net，以区分不同主体。
布局条件控制：将布局图 $M_L$ 编码为条件张量 $c_L$ ，直接拼接至 U-Net 的潜在变量中，强制模型遵循用户指定的空间位置和层级关系。
文本条件：利用 CLIP 文本编码器处理提示词，指导背景生成和语义一致性。

2.3 训练策略 (Training Strategies)

为了提升模型在复杂多主体场景下的稳定性和效果，提出了两种关键训练策略：

双阶段训练 (Dual Stage Training, DST)：
- 第一阶段：侧重于布局学习和主体间的基础交互，使用较高的学习率。
- 第二阶段：侧重于身份细节的精细化和保真度提升，降低学习率进行微调。
主体数量课程学习 (Curriculum Learning on Subject Quantity, CLSQ)：
- 训练过程中逐步增加样本中允许的最大主体数量（从 $K_{min}=2$ 到 $K_{max}=5$ ）。
- 让模型先学习简单的双主体交互，再逐步适应更复杂的多主体场景，避免初始训练过于困难导致的收敛问题。

3. 主要贡献 (Key Contributions)

MS-CustomNet 框架：首个将单主体定制扩展至多主体领域的框架，特别强调对用户定义的组合结构和空间关系的显式、确定性控制。
创新训练策略：提出了 DST 和 CLSQ 策略，显著提升了模型在复杂多主体构图中的稳定性和身份保持能力。
MSI 数据集：发布了基于 COCO 构建的专用多主体交互数据集，填补了该领域高质量训练数据的空白。
性能验证：证明了该方法在零样本多主体定制任务中的有效性，实现了主体身份保持与精确空间控制的平衡。

4. 实验结果 (Results)

在构建的 MSI-Bench 基准测试中，MS-CustomNet 与 IP-Adapter、CustomNet、 $\lambda$ -ECLIPSE、SSR-Encoder 等先进方法进行了对比：

定量指标：
- 身份保持 (DINO-I)：在多主体任务中达到 0.61，优于对比方法（如 SSR-Encoder 的 0.57）。
- 位置控制 (YOLO-L)：达到 0.94，显著高于其他方法，证明了其在精确空间定位上的优势。
- 语义一致性 (CLIP-B)：达到 0.34，表明背景与文本提示具有良好的对齐。
定性分析：
- 能够准确执行复杂的空间指令，例如“将蛋糕放在碗里"（体现包含/层级关系）或“书堆的堆叠顺序”。
- 相比仅使用掩码（Mask）控制位置的方法（如 SSR-Encoder），MS-CustomNet 能更好地处理遮挡关系和深度层次，避免主体特征混淆。
- 消融实验表明，布局图（ML）、双阶段训练（DST）和课程学习（CLSQ）的引入是性能提升的关键，缺一不可。

5. 意义与价值 (Significance)

填补控制空白：解决了现有生成模型在多主体场景中缺乏显式、可复现的空间结构控制的问题，使用户能够像设计师一样精确控制画面构图。
应用潜力：对于需要精确控制物体位置、遮挡关系和层级结构的场景（如广告设计、游戏资产生成、教育素材制作）具有极高的实用价值。
资源开源：MSI 数据集的发布将推动社区在多主体交互理解和可控生成领域的进一步研究。
效率与效果平衡：相比依赖私有大数据集和超大模型的 SOTA 方法，MS-CustomNet 在轻量级架构下实现了更优的可控性，为高效部署提供了新范式。

综上所述，MS-CustomNet 通过引入显式的布局控制和创新的训练策略，成功实现了高保真、结构精确的多主体图像生成，是可控图像生成领域的重要进展。