技术摘要：结构化扩散桥：去噪扩散桥的归纳偏置

1. 问题陈述

模态翻译——即在异构域之间（例如图像到 3D、低分辨率到高分辨率）映射信息的任务——本质上约束不足。虽然多种跨模态映射可以产生相同的边缘分布，但现有的去噪扩散桥模型（DDBMs）和潜在去噪扩散桥模型（LDDBMs）主要依赖完全配对的数据集来定义有效的翻译。

这种对配对监督的排他性依赖施加了单一的数据驱动约束，隐式地同时强制执行语义对应、分布有效性和几何一致性。作者认为，这种策略可能并非最优，因为模型可能会在最小化重建误差的同时，却不遵循潜在的流形结构。此外，这种方法在未配对或半配对设定下会失效，因为在这些设定中，真实对应关系不可用或稀缺，从而限制了扩散桥在现实世界场景中的应用，而在这些场景中，密集配对往往不可行。

2. 方法论：结构化扩散桥（SDB）

本文提出了结构化扩散桥（SDB），这是一个在潜在去噪扩散桥模型（LDDBMs）基础上增强显式、可组合结构约束的框架。SDB 不再将配对监督视为先决条件，而是将其视为更广泛目标中的一个可选启发式方法，该目标刻画了可接受解的空间。

核心方法论涉及在源边缘分布 $p_X$ 和目标边缘分布 $p_Y$ 之间的共享潜在空间中学习一个随机扩散桥。为了解决联合分布 $p(x, y)$ 的歧义性，SDB 引入了三个关键组件：

2.1. 边缘匹配（MM）

该约束确保扩散桥终止于目标边缘分布 $p_Y$。

• 机制：在训练期间，目标样本被编码并受到破坏。桥评分函数通过去噪评分匹配（DSM）进行训练。
• 启发式：为了减少耦合歧义，采用**赢家通吃（WTA）**分配策略。对于每个目标样本，抽取多个条件候选项，梯度仅通过最小化损失的候选项进行传播。容量约束防止少数低信息样本主导训练。

2.2. 作为桥可逆性的循环一致性（CC）

为了在不依赖配对数据的情况下强制执行几何一致性和可逆性，SDB 在两个层级引入了循环一致性约束：

• 端点循环一致性：强制要求重构的潜在表示 $\hat{z}_0$（通过翻译 $z_0 \to z_T \to \hat{z}_0$ 获得）在统计上与原始 $z_0$ 一致。这形式化为最小化 $\| \hat{z}_0 - z_0 \|^2$。
• 轨迹级循环一致性：将可逆性扩展到中间扩散状态。它要求前向潜在路径 $z_{t}^{X \to Y}$ 和反向潜在路径 $z_{T-t}^{Y \to X}$ 在匹配的扩散时间 $t$ 处保持一致。这在整个轨迹上正则化了随机流，防止了那些可能满足端点约束但在中间步骤中表现出不连贯动力学的情况。

2.3. 统一目标

最终训练目标将这些启发式方法与可选的配对监督相结合：
$$\mathcal{L}_{total} = \mathcal{L}_{DSM} + \lambda_{end}\mathcal{L}_{end}^{cycle} + \lambda_{traj}\mathcal{L}_{traj}^{cycle} + \lambda_{pair}\mathbb{1}_{(x,y) \in D_{pair}}\mathcal{L}_{pair}$$
其中，当有配对数据可用时，$\mathcal{L}_{pair}$ 恢复了 DDBMs 的标准数据驱动启发式方法。该框架允许在未配对（$\rho=0$）、半配对（$0 < \rho < 1$）和完全配对（$\rho=1$）设定下无缝运行。

3. 主要贡献

作者将其贡献总结如下：

1. 复合目标公式：他们将扩散桥训练公式化为复合目标，将配对监督视为多个约束之一，而非唯一的驱动因素。
2. 显式结构正则化：他们引入了边缘匹配和多级循环一致性（端点和轨迹），证明了即使在完全配对的设定中，几何增强也能提高翻译质量。
3. 低资源设定下的鲁棒性：他们证明了随着配对数据的减少，SDB 仍保持有效性，在大幅放宽配对要求的情况下实现了接近完全配对的质量，并且在完全未配对设定中仍然适用。
4. 消融分析：他们提供了全面的分析，隔离了每个约束的贡献，突出了它们在塑造扩散轨迹和解决耦合歧义中的作用。

4. 实验结果

该方法在合成基准和现实世界任务（图像超分辨率和多视图到 3D 体素生成）上进行了验证，涵盖了不同水平的配对监督（$\rho$）。

• 合成基准：在具有已知内容 - 风格结构的受控环境中，SDB 表明仅靠边缘匹配会导致内容准确性差和循环误差高。添加端点和轨迹循环一致性显著提高了耦合质量和可逆性。SDB 在半配对设定中始终优于仅配对的基线，并在未配对设定中保持了强劲的性能。
• 图像超分辨率（FFHQ $\to$ CelebA-HQ）：
  • 完全配对（$\rho=1$）：SDB 实现了 25.9 的 PSNR，超过了 LDDBM 基线（25.6）。
  • 半配对（$\rho=0.5$）：与完全监督基线相比，SDB 保持了有竞争力的性能（PSNR 25.2）。
  • 未配对（$\rho=0$）：SDB 实现了 19.0 的 PSNR，展示了有意义的翻译能力，而 DiWa 和 LDDBM 等基线在此设定下无法适用。
• 多视图到 3D（ShapeNet）：
  • SDB 在配对和半配对设定中优于基于扩散的基线（EDM、LDDBM）。
  • 关键在于，虽然基线在未配对设定（$\rho=0$）中失效或无法适用，但 SDB 仍然适用，实现了 0.549 的 IoU 和 0.657 的 1-NNA，显示出对有限配对的鲁棒性。

5. 意义与主张

本文声称，扩散桥为超越完全配对数据的模态翻译提供了灵活的基础。通过将原则性的几何增强（通过循环一致性）与基于示例的方法相结合，SDB 解决了模态翻译约束不足的本质。

作者强调：

• 密集配对对于语义对齐并非总是必要的；几何约束有效地捕捉了翻译的基本机制。
• 该框架允许随着配对减少而优雅降级，而非灾难性失败。
• 显式结构约束即使在配对数据充足时也能提升性能，这表明当前的数据驱动方法可能未充分利用问题固有的结构。

这项工作将 SDB 定位为并非配对方法的替代品，而是一个更通用的框架，它通过显式结构约束加强了基于桥的翻译，使其在配对数据稀缺或不存在的情况下变得可行。