技术摘要：用于扩散模型的通用少样本空间控制

问题陈述

预训练的文本生成图像（T2I）扩散模型在根据自然语言提示词生成高质量图像方面取得了显著成功。然而，基于语言的控制往往缺乏精细视觉操控所需的精度，例如强制执行特定的物体位置、形状或场景布局。为了解决这一问题，现有的方法采用了空间控制适配器（如 ControlNet、Uni-ControlNet），将显式的空间信号（边缘图、深度图、姿态）注入到冻结的扩散模型中。

尽管这些适配器非常有效，但它们面临两个关键限制：

1. 高昂的训练成本： 它们通常需要为每个特定的空间控制任务独立进行训练，这需要大量的计算资源和数以千计的有标签示例（例如，每个任务 150K 张图像）。
2. 适应性差： 复用预训练的多任务适配器或无需训练的方法，往往无法泛化到与训练分布显著不同的新颖空间条件。无需训练的方法虽然避免了数据成本，但通常依赖于耗时的潜空间优化过程，这增加了生成时间并限制了可控性。

本文认为，需要一种通用的框架，能够在测试时仅使用少量标注示例（少样本学习），即可利用新颖的空间条件来控制扩散模型，且不会产生显著的生成时间开销。

方法论：通用少样本控制 (UFC)

作者提出了通用少样本控制 (Universal Few-Shot Control, UFC)，这是一种通用的控制适配器，旨在通过支持集（support set）中的图像-条件对，引导冻结的 T2I 扩散模型处理任意的新颖空间条件。

核心机制

UFC 通过两个主要组件解决了异构输入格式（例如，稀疏关键点与稠密深度图）以及严重数据匮乏的挑战：

1. 通过补丁级匹配实现的任务无关特征插值：
   UFC 并非直接将特定任务的条件编码为固定表示，而是利用了查询条件（$y^q_\tau$）与支持集（$S_\tau = \{(x_i, y^i_\tau)\}$）之间的类比关系。

   • 编码器： 该方法使用一个冻结的图像编码器 $f$（提取支持图像的视觉特征）和一个可学习的条件编码器 $g_\tau$（对查询和支持条件进行编码）。
   • 匹配： 查询补丁的控制特征是通过根据查询条件与支持条件之间的相似度，对支持补丁的视觉特征进行加权插值而构建的。
   • 公式： 第 $k$ 个查询补丁的控制特征 $I(y^{q,k}_\tau; S_\tau)$ 计算如下：
     $$I(y^{q,k}_\tau; S_\tau) = \sum_{i=1}^N \sum_{j=1}^M \sigma(g_\tau(y^{q,k}_\tau), g_\tau(y^{i,j}_\tau)) \cdot f(x^{i,j})$$
     其中 $\sigma$ 是一个补丁级相似度函数。这确保了生成的控制特征无论具体任务 $\tau$ 如何，都处于统一的视觉特征空间内，从而促进了鲁棒的泛化。

2. 参数高效的适配：
   为了在不对微小支持集过拟合的情况下快速适应新任务，UFC 采用了结合参数高效微调的元学习策略：

   • 元训练： 模型在包含多个任务的基于情节（episodic）的元训练数据集上进行训练。在每个情节中，模型学习将查询条件和支持集映射到控制特征。
   • 微调： 对于新任务，仅使用支持集对条件编码器中一小组任务特定参数（例如偏置项或 LoRA 参数）以及匹配/投影层进行微调。共享的主干网络参数保持冻结。

架构实例化

作者在 ControlNet 框架内实例化了 UFC，并使用了 Stable Diffusion（包括 UNet 和 DiT 主干）。

• 条件编码器 $g_\tau$ 和图像编码器 $f$ 被初始化为预训练 UNet 编码器的副本。
• 补丁级匹配在编码器的多个层级通过多头交叉注意力块进行。
• 生成的控制特征通过零初始化的线性层进行投影并添加到扩散模型的特征中，这与标准的 ControlNet 注入方式类似。

核心贡献

1. 首个少样本空间控制框架： 本文提出了第一个专门为文本生成图像扩散模型中的少样本空间控制设计的方案，使得利用极少量的标注数据（例如 30 个示例）生成具有新颖条件的图像成为可能。
2. 通用适配器设计： 通过利用补丁级匹配来插值任务无关的视觉特征，UFC 将多样化的空间模态（边缘、深度、姿态、分割）统一到单一的控制机制中，克服了以往方法的领域差异问题。
3. 数据与计算效率： 使用仅 0.1% 的全量训练数据（150 个示例），UFC 即可达到与全监督基线相当的竞争性能，且适配所需的参数量显著减少。
4. 架构无关性： 研究证明该方法在 UNet 和 DiT (Diffusion Transformer) 主干上均有效，确保了其在现代扩散架构上的适用性。

实验结果

作者在六个新颖的空间控制任务上评估了 UFC：Canny 边缘、HED 边缘、深度 (Depth)、表面法线 (Surface Normal)、人体姿态 (Human Pose) 和 Densepose。评估过程涉及在这些任务的子集上进行元训练，并在留出的任务上通过少样本微调（30-shot）进行测试。

• 可控性： 在所有任务中，UFC 的表现始终优于现有的少样本和无需训练的基线方法（如 Prompt Diffusion、Ctrl-X、Uni-ControlNet）。例如，在 Canny 任务上，UFC 实现了 0.3239 的 SSIM，而 Prompt Diffusion（少样本）为 0.22120，Ctrl-X（无需训练）为 0.2901。
• 图像质量： UFC 在实现精确空间控制的同时，保持了极高的图像质量（FID 分数与全监督基线相当）。
• 少样本性能： 仅使用 30 个支持示例，UFC 即可实现与空间条件一致的细粒度控制。当使用 150 个示例（0.1% 的全量数据）进行微调时，UFC 在 Normal、Depth 和 Canny 任务上的表现与全监督基线持平。
• 消融实验： 移除匹配机制或微调步骤会导致性能显著下降，这证实了类比插值和参数适配对于泛化能力的必要性。
• 向 3D 的泛化： 该方法还测试了新颖的 3D 条件（网格、线框、点云），展示了其泛化到元训练集之外的未见空间模态的能力。

意义与主张

本文声称，UFC 代表了空间控制在生成式 AI 中实用性和灵活性方面迈出的重要一步。通过使利用极少量示例即可使用预训练扩散模型处理新颖空间条件成为可能，UFC 消除了昂贵的、特定任务的训练流程需求。

作者强调，他们的方法弥合了全监督控制适配器的僵化性与无需训练的方法的有限适应性之间的鸿沟。他们将 UFC 定位为一种实现“多功能且数据高效”控制的解决方案，使得部署新兴或利基任务的空间控制变得可行。

论文最后也适度承认了局限性：该框架目前是为空间控制生成而非外观保持型任务（如风格迁移或图像修复）设计的，并且与仅通过上下文学习即可进行适配的大语言模型不同，它仍然需要针对每个新任务进行少量的微调。然而，作者认为开发类似于空间控制的此类上下文学习能力是未来研究的一个充满前景的方向。