💻 computer science

RASR: Retrieval-Augmented Super Resolution for Practical Reference-based Image Restoration

本文介绍了 RASR，这是一种实用的基于参考的超分辨率范式，它从数据库中自动检索语义相关的高分辨率图像以增强低质量输入，并得到了新的 RASR-Flickr30 基准和 RASRNet 基线模型的支持，后者将语义检索与基于扩散的生成相结合，以弥合学术研究与实际应用之间的差距。

原作者： Jiaqi Yan, Shuning Xu, Xiangyu Chen, Dell Zhang, Jiantao Zhou, Jie Tang, Gangshan Wu, Jie Liu

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaqi Yan, Shuning Xu, Xiangyu Chen, Dell Zhang, Jiantao Zhou, Jie Tang, Gangshan Wu, Jie Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一张在动物园拍摄的模糊、像素化的猫的照片。你希望让它重新变得清晰锐利。

旧方法（“猜谜游戏”）：
通常，计算机程序会尝试通过猜测缺失的细节可能是什么样子来修复这个问题。它们就像一位仅凭模糊草图就试图绘制老虎的艺术家。有时它们能猜对，但经常会产生“幻觉”细节——在应该有斑点的地方画上条纹，或者让毛发看起来像塑料。这被称为单图像超分辨率（SISR）。

更好的方法（“参考指南”）：
一种更聪明的方法是基于参考的超分辨率（RefSR）。计算机不再靠猜测，而是查看一张相似的猫的完美高质量照片，并将该照片中的细节复制到你模糊的照片上。这就像在你的草图旁边放一张完美的参考照片，以便临摹。

问题所在：
“更好方法”的症结在于，它通常需要你手动找到那张完美的参考照片，并将其与模糊照片配对。在现实世界中，当你拍照时，口袋里很少会恰好有一张完美的参考照片。如果你身处博物馆或动物园，你并没有一张预先选定的、针对该特定动物的高质量照片随时可用。这使得“更好方法”在现实生活中难以应用。

新解决方案：RASR（“智能图书管理员”）
本文介绍了一个名为RASR（检索增强超分辨率）的新系统。将 RASR 想象成一位超级聪明的图书管理员。

图书馆： 想象一个巨大的图书馆，里面收藏了成千上万张按类别整理的高质量动物、艺术品和风景照片。
请求： 你拿着一张模糊的水獭照片走进图书馆。
检索： 不是你进行搜索，而是图书管理员（系统）瞬间扫描图书馆，找到最相似的高质量水獭照片，并为你取来。
修复： 系统随后利用那张完美的参考照片来修复你的模糊照片，添加原本缺失的真实毛发纹理和锐利细节。

如何测试：
为了证明这行之有效，作者构建了一个名为RASR-Flickr30的新“测试图书馆”。它包含 30 种不同动物物种的照片。对于每一张模糊的测试照片，系统都必须从一个数据库中找出正确的参考照片，该数据库每种物种约有 100 张高质量图像，而不是直接提供预先匹配好的配对。

他们开发了一种名为RASRNet的特定工具来执行此操作。它包含两个主要部分：

查找器： 一个“视觉检索器”，它查看你的模糊照片，并基于物体是什么（其语义含义），而不仅仅是匹配微小的像素块，在数据库中找到最佳匹配的参考照片。
艺术家： 一个“扩散生成器”（一种 AI 艺术家），它结合你的模糊照片和找到的参考照片，将它们融合在一起，生成清晰、逼真的结果。

结果：
当他们将 RASRNet 与其他方法进行比较测试时：

与“猜测”方法相比，它生成了更清晰、具有更逼真纹理（如毛发和羽毛）的图像。
与依赖人工配对的旧“参考”方法相比，它更能修复具有现实世界问题（如噪声或光线不佳）的照片。
本质上，它成功弥合了利用参考照片这一酷炫的学术构想与现实中实际可用的实用工具之间的鸿沟。

简而言之：
RASR 就像给照片修复艺术家一根魔法棒，能瞬间从庞大的数据库中找出完美的参考照片，使他们能够用真实、准确的细节修复你的模糊照片，而不是凭空捏造虚假细节。

技术摘要：RASR：面向实用参考图像复原的检索增强超分辨率

1. 问题陈述

单图像超分辨率（SISR）旨在从低分辨率（LR）输入重建高分辨率（HR）图像。尽管卷积神经网络（CNN）、Transformer 和扩散模型的最新进展提升了感知质量，但 SISR 仍然是一个病态问题。它往往难以生成细粒度的纹理，特别是在内容复杂或模糊的区域。

基于参考的超分辨率（RefSR）通过利用与 LR 输入共享语义或结构相似性的辅助高质量参考图像来转移真实纹理，从而解决这一问题。然而，现有的 RefSR 方法存在一个关键局限：它们依赖于人工策划的目标 - 参考图像对。这一假设严重限制了其可扩展性和现实世界的适用性，因为用户很少在推理时拥有完美配对的参考图像。在开放世界场景中高效获取合适参考图像的挑战仍未得到充分探索。

2. 方法论：RASR 与 RASRNet

为了弥合学术研究与实际部署之间的差距，作者提出了检索增强超分辨率（RASR），这是一种仅给定 LR 输入即可从参考数据库中自动检索语义相关 HR 图像的范式。

A. 任务定义

RASR 任务定义为 $RASR(I_{LR}) = G(I_{LR}, I_{REF}) = G(I_{LR}, R(DB, I_{LR}))$ ，其中：

$DB$ 是预策划的高质量参考图像数据库。
$R$ 是基于 $I_{LR}$ 选择语义最相关的 $I_{REF}$ 的检索器。
$G$ 是基于两个输入重建 HR 输出的生成函数。

B. 网络架构（RASRNet）

提出的基线模型RASRNet集成了两个主要模块：

真实世界图像参考检索器（RIRR）：
- 与在退化 LR 图像上失效的基于纹理的方法不同，RIRR 采用基于语义的检索。
- 它利用DINOv2视觉编码器从参考图像中提取嵌入。
- 检索通过余弦相似度匹配执行，以识别给定 LR 输入的最相似参考。
参考扩散超分辨率（RefDSR）：
- 这是一个即插即用的生成器（ $G_\theta$ ），构建在预训练的 SISR 扩散骨干网络（如 StableSR）之上。
- 冻结策略：原始 VAE 编码器（ $E$ ）、解码器（ $D$ ）和 UNet（ $F$ ）的参数被冻结，以保留生成能力。
- ControlNet 集成：引入了一个可训练的 ControlNet 分支（ $F^{REF}_\theta$ ）。它在下采样块（DownBlocks）中利用LoRA模块和零卷积层。
- 特征注入：参考图像 $I_{REF}$ 由冻结的 VAE 编码器（ $E^{REF}$ ）编码为潜在表示 $z_{REF}$ 。该表示被输入到 ControlNet 分支中。
- 条件融合：参考特征仅注入到 UNet 的前三个解码器块中。基于文本的交叉注意力机制仅应用于最后一个解码器块。这种设计确保早期阶段在语义指导下专注于结构重建，而最终阶段通过文本条件优化全局保真度和风格。
- 训练目标：模型使用 MSE 损失、感知 LPIPS 损失、GAN 损失（使用固定的 DINO 骨干判别器）以及用于增强纹理真实感的Gram 损失（ $L_{Gram}$ ）的加权和进行训练。

C. 数据集：RASR-Flickr30

作者推出了RASR-Flickr30，这是首个专为 RASR 设计的基准数据集。

来源：从 Flickr.com 收集的图片。
焦点：30 种动物物种，因其多样性和种内一致性而被选中。
结构：对于每个物种，数据集提供 40 张训练图像、5 张测试图像以及约 100 张参考图像，以支持开放世界的动态检索。这与依赖固定目标 - 参考对的先前数据集形成对比。

3. 实验结果

实验在 RASR-Flickr30 测试集和 WR-SR 数据集上进行，将 RASRNet 与最先进的基于 GAN 的 SISR、RefSR 以及基于扩散的方法进行了比较。

定量性能

在 RASR-Flickr30 测试集上，RASRNet 始终优于 SISR 基线和其他 RefSR 方法：

保真度：相较于 OSEDiff 基线，实现了**+0.38 dB PSNR的提升和+0.0063 SSIM**的改善。
感知质量：在感知误差指标上表现出显著降低：-0.0131 LPIPS、-0.0172 DISTS和**-8.76 FID**。
无参考指标：NIQE 提升了**-0.0870**，并在 MUSIQ（+0.98）和 CLIPIQA（+0.0134）上取得了增益。
与 RefSR 的比较：先前的 RefSR 方法（如 C2-Matching、DATSR）在具有真实退化的图像上表现不如基于 GAN 的 SISR 模型。RASRNet 利用扩散架构，证明在基于块匹配的对应网络通常失效的复杂退化情况下更为鲁棒。

定性观察

视觉比较（例如水獭和孔雀示例）表明，虽然其他基于扩散的方法（StableSR、DiffBIR、PASD）在去噪、结构准确性或纹理平滑度方面存在困难，但 RASRNet 成功重建了更丰富的纹理（例如毛发、羽毛）和更逼真的面部特征，从而产生了忠实且视觉上引人入胜的复原结果。

4. 意义与贡献

该论文声称有三项主要贡献，推动了图像复原领域的发展：

新范式（RASR）：提出了检索增强超分辨率，消除了对人工参考配对的需求。这使得在现实世界场景（如博物馆、动物园）中的灵活部署成为可能，在这些场景中，特定类别的参考数据可以预先策划。
基准数据集（RASR-Flickr30）：创建了首个具有按类别划分的参考画廊的检索增强 SR 数据集，促进了开放世界动态检索的研究。
有效基线（RASRNet）：引入了一个结合语义检索与基于扩散的生成器的强基线。结果表明，检索增强可以有效地弥合学术 RefSR 研究与现实世界适用性之间的差距，为未来的工作提供了有前景的方向。

作者保持了谦逊的语气，将 RASRNet 定位为验证检索增强范式潜力的基线，而非声称它是解决所有超分辨率挑战的最终方案。