技术摘要：半监督学习下扩散模型的多目标学习

1. 问题陈述

扩散模型正日益被部署为条件生成器，用于执行多样化任务，例如跨异构提示域的文生图合成，或跨多种环境的机器人控制。这些场景自然构成了一个**多目标学习（MOL）**问题，即单个模型必须在多个目标分布上实现帕累托最优性能。

在此设定下的一个核心挑战是训练“通才”模型的统计成本。为了处理多个目标，通才模型类（$\mathcal{F}$）通常需要具备比单个任务所需的“专家”模型类（$\mathcal{H}_k$）大得多的容量。在完全监督设定下，训练通才模型的样本复杂度与其自身复杂度（$C_\mathcal{F}$）成正比，这往往高得令人望而却步。

此外，现实世界的部署通常面临非对称数据体制：

• 配对数据 $(x, y)$（例如，精心策划的文本 - 图像对或专家机器人演示）稀缺且获取成本高昂。
• 非配对条件数据 $y$（例如，原始文本提示或状态观测）则十分丰富。

本文探讨以下问题：我们能否通过利用弱监督（未标记条件）数据，以样本高效的方式学习一个帕累托最优的扩散模型？

2. 方法论

作者提出了一种两阶段半监督训练框架，旨在调和通才模型对高容量的需求与配对数据稀缺之间的矛盾。

第一阶段：专家训练

对于 $K$ 个目标（目标分布 $P_k$）中的每一个，利用有限的可用配对数据 $\{(x_i^k, y_i^k)\}_{i=1}^n$ 训练一个轻量级的专家分数函数 $h_k \in \mathcal{H}_k$。

• 假设专家类 $\mathcal{H}_k$ 的复杂度（$C_{\mathcal{H}_k} \ll C_\mathcal{F}$）显著低于通才类。
• 训练过程最小化配对数据上的去噪分数匹配目标。

第二阶段：通过伪采样进行通才训练

训练一个大型通才模型 $f \in \mathcal{F}$，以逼近所有目标下的帕累托最优集。

• 伪样本生成：利用训练好的专家 $\{h_k\}$ 生成伪配对数据。对于每个丰富的未标记条件 $y_i^k \sim P_Y^k$，专家生成一个伪目标 $\tilde{x}_i^k \sim P_{h_k}(\cdot|y_i^k)$。
• 目标：通才模型在原始标记数据与生成的伪配对数据的组合上进行训练。训练目标最小化所有 $K$ 个目标分数匹配损失的标量化 $S$：
  $$\hat{f}_S = \arg\min_{f \in \mathcal{F}} S(\tilde{L}_1(f), \dots, \tilde{L}_K(f))$$
  其中 $\tilde{L}_k$ 是在伪样本上计算的经验损失（包含一个修正项以考虑专家的偏差）。

扩展到序列决策

该框架被扩展到模仿学习中的扩散策略。在此，“条件”是状态 $s$，“目标”是动作 $a$。作者解决了在线策略 rollout 中固有的分布偏移问题：由于专家状态分布难以直接采样，第二阶段利用在环境动力学下由学习到的专家策略生成的轨迹，为通才策略收集伪数据。

3. 主要理论贡献

样本复杂度界限

本文建立了所提出的半监督方法的非渐近泛化界限。

• 主要结果（定理 3.2）：达到目标误差 $\epsilon$ 所需的配对（标记）样本数量仅取决于专家类的复杂度（$C_{\mathcal{H}_k}$），而与通才类（$C_\mathcal{F}$）无关。
  • 所需标记样本：$\tilde{O}\left(\frac{K C_\mathcal{H}}{\epsilon^2}\right)$。
  • 所需未标记条件：$\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$。
• 对比：相比之下，通才模型的常规完全监督训练需要 $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$ 个标记样本。这证明了当 $C_\mathcal{F} \gg C_\mathcal{H}$ 时，样本效率有显著提升。
• 线性标量化（定理 3.5）：对于线性（加权和）标量化和凸函数类，作者推导出了更精确的速率，进一步细化了近似误差的界限。

分布估计与策略保证

• 分布估计：本文弥合了分数匹配误差与分布估计（总变差距离）之间的差距。它证明了学习到的通才模型在逼近目标条件分布方面实现了帕累托最优性能。
• 扩散策略（定理 3.6）：作者提供了半监督设定下模仿学习中扩散策略次优性差距的首个理论保证。他们表明，该框架成功处理了由在线策略 rollout 引起的分布偏移，同时保留了从专家到通才流程的样本效率优势。

4. 实验结果

作者在两个不同的领域验证了其理论：

1. 机器人操作（StackCube & PickCube）：

   • 设置：训练扩散策略以应对不同域随机化（场景、光照、相机姿态）下的任务。
   • 结果：半监督 MOL 方法显著优于仅使用标记数据的基线，特别是在**分布外（OOD）**设定下（例如，StackCube Level 2 成功率提升 +16%，Level 3 提升 +14%）。这表明伪 rollout 为处理分布偏移提供了关键的监督信号。

2. 图像修复（CelebA-HQ 图像修复）：

   • 设置：使用三种不同的掩码类型（交替线条、面部区域、宽笔触）对人脸进行修复。
   • 结果：与仅使用标记数据的基线相比，半监督方法在所有掩码类型上均提高了 PSNR、SSIM 和 LPIPS，证明了该方法在生成式图像任务中的有效性。

5. 意义与主张

本文声称提供了一个原则性的统计框架，用于半监督体制下扩散模型的多目标学习。其主要意义在于：

• ** bridging 理论与实践**：它将“专家到通才”的蒸馏流程形式化，从理论上论证了在标记数据稀缺时，为何这种方法比直接多任务学习更具样本效率。
• 样本效率：它证明了学习复杂通才模型的统计成本可以与其自身容量解耦，转而依赖于在有限数据上训练的轻量级专家的复杂度。
• 处理分布偏移：它将这些保证扩展到序列决策（模仿学习），解决了机器人领域的一个关键实际挑战。

作者保持了谦逊的态度，承认其保证依赖于可实现性假设（即真实分数函数位于专家类内），并且目前尚未解决超出所测试特定域随机化水平的分布外（OOD）泛化问题。他们视此项工作为理解生成模型半监督多目标学习统计特性的基础性一步。