Single Image Super-Resolution via Bivariate `A Trous Wavelet Diffusion

本文提出了 BATDiff，一种基于双变量 A Trous 小波扩散的无监督单图像超分辨率模型，通过构建保留全空间分辨率的多尺度表示并建模跨尺度依赖关系，有效解决了扩散方法在生成高频细节时缺乏底层证据支持及易产生伪影的问题，从而实现了更清晰且结构一致的重建。

要点

这篇文章介绍了一种名为 BATDiff 的新方法，用来解决“单张图片超分辨率”（SISR）的问题。简单来说，就是如何把一张模糊、低清的小照片，变成一张清晰、高清的大照片，而且不需要拿成千上万张类似的“标准答案”照片来训练电脑。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项技术：

1. 核心难题：猜谜游戏的陷阱

想象一下，你手里有一张模糊的旧照片（低分辨率图像），你想把它变清晰。

• 传统方法（有监督学习）：就像让一个学生背“标准答案”。老师给他看一万张“模糊猫图”和对应的“清晰猫图”，让他死记硬背。虽然效果不错，但如果让他猜一张“模糊的狗图”，他可能会因为背的是猫，而画出一只长着猫耳朵的狗（这就是所谓的“幻觉”或“伪影”）。
• 扩散模型（Diffusion Models）：这是一种更聪明的方法，它不背答案，而是学习“自然界的规律”。它像是一个画家，通过不断去噪（把模糊变清晰）来作画。
• 现有扩散模型的痛点：虽然画家很有才，但他有时候太自由了。在画细节（比如头发丝、树叶纹理）时，他可能画得很漂亮，但跟底层的结构对不上。比如，底层的轮廓是圆的，他画出来的细节却是方的。这就好比盖楼，地基是圆的，上面却盖了个方形的尖顶，虽然局部好看，但整体结构很怪。

2. BATDiff 的解决方案：三层“脚手架”策略

BATDiff 的核心思想是：不要一次性把细节画出来，要像盖楼一样，一层一层地搭，并且每一层都要紧紧抓住下一层。

比喻一：a Trous 小波变换 = “无损的洋葱皮”

通常，把图片分解成不同层次（比如先看清轮廓，再看清纹理）时，很多方法会像切洋葱一样，切掉一层就变小一层，导致信息丢失或错位。
BATDiff 使用了一种叫 a Trous 小波变换 的技术。

• 比喻：这就像剥洋葱，但它用的是“无损剥皮法”。每一层皮（从最粗的轮廓到最细的纹理）都保持和原来一样大的尺寸，只是内容不同。
• 作用：这样，最外层的“大轮廓”和最内层的“小细节”在空间位置上永远是完美对齐的，不会错位。

比喻二：双变量扩散（Bivariate Diffusion） = “父子接力赛”

这是 BATDiff 最厉害的地方。

• 传统做法：画家在画细节时，只盯着自己手里的笔（当前的模糊状态），完全不管上一级的大轮廓。
• BATDiff 的做法：它引入了**“父子依赖”**机制。
  • 比喻：想象你在画一幅画。
    • 父亲（粗尺度）：负责画大轮廓（比如人的身体形状）。
    • 孩子（细尺度）：负责画细节（比如衣服的褶皱）。
    • 关键规则：孩子在画每一笔细节时，必须时刻看着父亲刚才画的那一笔。如果父亲画的是直线，孩子就不能画成波浪线。
  • 在 BATDiff 中，这个“看着”的过程是实时同步的（Time-aligned）。孩子在生成细节的瞬间，父亲的状态也是最新的。这确保了细节不会“跑偏”，完美贴合在大结构上。

比喻三：LR 一致性约束 = “锚点”

因为 BATDiff 是“无监督”的（没有标准答案），它完全靠内部统计规律来猜。为了防止猜得太离谱，它加了一个“锚点”。

• 比喻：就像你在雾中开车（生成图像），虽然看不清路，但你手里紧紧攥着那张模糊的原始照片（低分辨率输入）。
• 作用：每画一步，电脑都会检查：“我画的这张大图，如果把它变模糊，还能和手里那张原始小图一样吗？”如果不一样，就立刻修正。这保证了生成的图片既清晰，又忠实于原图，不会凭空捏造出不存在的物体。

3. 总结：BATDiff 到底强在哪里？

如果把超分辨率比作修复一幅破损的古画：

• 以前的方法：要么靠死记硬背（容易画错），要么靠自由发挥（容易画歪，细节和结构不搭）。
• BATDiff 的方法：
  1. 先把画分成“大轮廓”和“小细节”两层，保证它们位置永远对齐（a Trous 技术）。
  2. 在修复细节时，强迫细节层时刻参考轮廓层的最新状态（双变量父子机制），确保细节长在该长的地方。
  3. 全程拿着原图做对比，防止画跑偏（LR 一致性）。

结果：
实验证明，BATDiff 生成的图片更清晰、边缘更锐利、纹理更自然，而且不会出现那种“看着像真的，但结构很假”的幻觉。最重要的是，它不需要成千上万张训练数据，单靠一张图自己就能学会怎么变清晰，非常灵活且实用。

一句话总结：BATDiff 就像一位严谨的工匠，在修复模糊照片时，不仅懂得如何添加细节，更懂得让细节紧紧依附于整体结构，从而还原出最真实、最清晰的画面。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
单图像超分辨率（SISR）旨在从单张低分辨率（LR）图像恢复高分辨率（HR）图像。这是一个病态逆问题，因为高频信息在成像过程中不可逆地丢失。

现有方法的局限性：

• 基于扩散模型的方法： 虽然近年来扩散模型在生成高质量图像方面取得了显著进展，但大多数现有的基于扩散的 SR 方法仅在单一空间域（像素空间或潜在空间）进行操作。
  • 问题： 这种单一尺度的操作可能导致生成的高频细节缺乏底层低频证据的支持，从而产生结构不一致的伪影（artifacts）或“幻觉”纹理。
  • 缺乏跨尺度依赖建模： 自然图像中，高频系数通常依赖于相邻较粗尺度（低频）的“父”系数（Parent-Child dependencies）。现有的扩散模型通常未显式建模这种跨尺度的统计依赖关系。
• 无监督/单图像学习的困境： 虽然单图像超分辨率（SISR）利用图像内部统计信息，避免了外部数据集带来的特定纹理幻觉，但 LR 观测本身存在歧义性，容易导致生成的高频细节不一致。

目标：
开发一种能够恢复高频细节，同时保持全局结构一致性，且能有效利用跨尺度统计依赖的无监督 SISR 框架。

---

2. 方法论 (Methodology)

作者提出了 BATDiff（Bivariate A Trous Wavelet Diffusion），这是一个基于扩散模型的无监督框架。其核心思想是将**a trous` 小波变换与双变量（Bivariate）跨尺度条件扩散**相结合。

2.1 核心组件

1. a trous 小波分解 (Undecimated `A Trous Wavelet Transform)：

   • 利用 a trous 算法构建一个平移不变的多尺度表示。
   • 优势： 与传统的下采样小波不同，它在每个分解层级都保持全空间分辨率。这意味着低频（平滑分量）和高频（细节分量）在空间上是精确对齐的，消除了尺度间的空间错位问题。
   • 图像被分解为一系列平滑分量 $\{c^{(s)}\}$ 和细节平面 $\{w^{(s)}\}$。

2. 双变量跨尺度条件扩散 (Bivariate Cross-Scale Conditioning)：

   • 机制： 在反向扩散过程中，不仅根据当前尺度的噪声状态进行去噪，还显式地引入相邻较粗尺度（父尺度）的时间对齐状态作为条件。
   • 数学形式： 对于尺度 $s$，去噪过程建模为条件概率 $p_\theta(x^{(s)}_{t-1} \mid x^{(s)}_t, x^{(s-1)}_t)$。
   • 作用： 父尺度 $x^{(s-1)}_t$ 提供了当前时刻的结构先验，引导细尺度生成与粗尺度结构保持一致，减少跨尺度漂移（cross-scale drift）和伪影。

3. LR 一致性约束 (LR-Consistency Constraint)：

   • 在推理的每一步反向扩散后，施加一个轻量级的梯度下降修正步骤。
   • 通过最小化退化模型误差 $\|\mathcal{D}(x) - y\|_2^2$，强制生成的图像在退化后与原始 LR 输入 $y$ 保持一致。
   • 这确保了生成过程不会偏离观测数据，同时利用扩散先验补充缺失的高频信息。

2.2 推理流程 (Inference)

1. 构建参考： 将 LR 图像 $y$ 上采样得到 HR 网格参考 $x_{ref}$。
2. 多尺度构建： 对 $x_{ref}$ 进行 a trous 分解，构建从粗到细的干净目标序列 $\{x^{(s)}_0\}$。
3. 训练： 使用共享的去噪网络 $\epsilon_\theta$，通过合成噪声训练，学习预测不同尺度的噪声。
4. 采样：
   • 从最粗尺度开始，逐步向细尺度推进。
   • 在每个尺度 $s$ 和 timestep $t$，利用双变量输入（当前尺度噪声状态 + 父尺度时间对齐状态）预测噪声。
   • 执行 LR 一致性修正。
   • 最终输出最细尺度的重建结果。

---

3. 主要贡献 (Key Contributions)

1. 双变量跨尺度条件机制： 首次在反向扩散推理中引入了建模多尺度统计依赖的机制，通过显式的“父 - 子”条件耦合，增强了高频生成的结构一致性。
2. 空间对齐的多尺度表示： 利用 a trous 小波分解构建了空间精确对齐的多尺度金字塔，解决了传统多尺度方法中常见的空间错位问题，使得跨尺度条件化更加稳定。
3. 无监督 SISR 框架： 提出了一种完全基于内部学习（Internal Learning）的框架，无需成对的 LR-HR 训练数据，同时通过 LR 一致性约束保证了与观测输入的一致性。

---

4. 实验结果 (Results)

实验在标准的 SR 基准数据集（DIV2K, Set5, Set14, Urban100）上进行，主要对比了 ×4 和 ×8 的放大倍率。

• 定量性能：

  • 在极具挑战性的 Urban100 数据集（×4）上，BATDiff 达到了 28.53 dB PSNR 和 0.8502 SSIM，显著优于现有的扩散模型（如 StableSR, SRDiff）和非扩散模型（如 SwinIR, ZSSR）。
  • 在 Set5 和 Set14 上也取得了最佳的 PSNR 和 SSIM 分数。
  • 在 ×8 放大倍率下，BATDiff 同样展现了优越的泛化能力，而许多基于坐标表示的有监督方法在超出训练分布时性能下降明显。

• 定性分析：

  • 生成的图像边缘更清晰，轮廓更锐利。
  • 在重复纹理、细线条图案和高对比度边界区域，BATDiff 减少了过平滑现象，并避免了其他生成式模型常见的视觉不一致伪影。
  • 结构连续性更好，减少了局部相位不一致和结构抖动。

• 消融实验 (Ablation Study)：

  • 组件贡献： 单独使用 LR 一致性仅得 26.93 dB；加入 a trous 分解提升至 27.46 dB；加入双变量条件化后进一步提升至 28.53 dB。
  • 父信号选择： 实验证明，使用时间对齐的父状态 ($x^{(s-1)}_t$) 比使用最终粗估计 ($x^{(s-1)}_0$) 或错位状态效果更好，证实了跨尺度时间一致性的重要性。

---

5. 意义与价值 (Significance)

1. 理论突破： 该工作揭示了在扩散模型中显式建模跨尺度统计依赖（Parent-Child dependencies）对于恢复高频细节结构一致性的关键作用。它证明了将小波域的多尺度特性与扩散生成的概率框架结合，可以有效解决生成式 SR 中的结构失配问题。
2. 无需外部数据： 作为一个无监督框架，BATDiff 摆脱了对大规模成对训练数据的依赖，使其在真实世界场景（如未知退化、特定领域图像）中具有更强的适用性和鲁棒性。
3. 通用性与灵活性： 由于基于 HR 网格参考而非特定的上采样层，该框架天然支持非整数倍放大，且推理过程灵活。
4. 未来方向： 为扩散模型在图像恢复任务中引入多尺度先验提供了新的范式，即通过“结构化引导”而非单纯的“数据驱动生成”来提升重建质量。

总结： BATDiff 通过巧妙结合 a trous 小波变换的空间对齐特性和双变量扩散的条件生成机制，成功解决了现有扩散 SR 模型中高频细节结构不一致的痛点，在无监督设置下实现了 state-of-the-art 的重建质量。