💻 computer science

GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

GramSR 是一个基于单步扩散的超分辨率框架，它用来自 DINOv3 编码器的密集视觉特征替代文本条件，并采用三阶段 LoRA 架构，以在真实场景中实现卓越的结构保真度与纹理真实感。

原作者： Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一张模糊、低质量的猫的照片。你想把它变成一幅清晰、高清的杰作。这就是**单图像超分辨率（SR）**的工作。

很长一段时间里，计算机试图通过基于简单数学来猜测缺失的像素应该是什么样子。后来，它们开始使用“生成式人工智能”（就像那些根据文本创作艺术的工具）来填补空白。但这里有个问题：大多数这些人工智能工具都是通过文本描述来被告知要画什么的。

问题：“模糊描述”的鸿沟

可以这样想：你是一位艺术家，正试图根据隔壁房间一位朋友的描述来画一只特定的猫。

旧方法（文本条件）：你的朋友喊道：“它是一只毛茸茸的、大眼睛的猫！”
- 问题：艺术家知道猫的“概念”，但他们不知道你的照片中胡须的确切位置、毛发图案如何旋绕，或耳朵的具体形状。艺术家可能会画出一只通用的毛茸茸的猫，看起来与你模糊照片中的那只特定猫毫无相似之处。描述太模糊，缺乏修复确切细节所需的“空间地图”。

解决方案：GramSR

这篇论文的作者，GramSR，决定停止大声喊出描述，而是开始向艺术家递上一份模糊照片本身的放大、详细的蓝图。

以下是他们如何做到的，分解为简单的步骤：

1. “眼睛”（视觉条件）

GramSR 不使用文本描述，而是使用一种特殊的 AI“眼睛”叫DINOv3来观察模糊的照片。

类比：想象 DINOv3 是一位超级敏锐的侦探，它不只是说“这是一只猫”，而是递给艺术家一叠便利贴。每张纸条上写着：“这里有一块毛发，”“那里有一根胡须的曲线，”以及“这是鼻子的纹理。”
为何有帮助：这为人工智能提供了原始图像结构的精确、逐像素的地图，确保新的高清版本忠实于原始形状，而不仅仅是通用概念。

2. “三阶段训练”（LoRA 团队）

为了学习如何完美修复照片，人工智能使用一种称为LoRA的技术（就像给自行车加装小型专用辅助轮）分三个不同的阶段进行训练。

阶段 1：清洁工（像素级）
- 目标：去除污垢和模糊。
- 类比：把这想象成一名清洁工。他们擦洗图像以去除噪点、模糊和压缩伪影。他们专注于让图片看起来干净、锐利，完美匹配基本的颜色和形状。
阶段 2：讲故事的人（语义级）
- 目标：让它看起来真实自然。
- 类比：现在，一位创意总监介入。他们确保这只猫看起来像真正的猫，而不是塑料玩具。他们添加“氛围”和感知细节，使图像感觉生动且合理。
阶段 3：纹理艺术家（纹理级）
- 目标：修复微小的、重复的图案（如毛发或织物）。
- 秘密武器：这是论文最大的创新。前面的步骤可能让猫看起来不错，但毛发可能看起来像光滑的塑料。这个阶段使用一种称为Gram 矩阵的东西。
- 类比：想象毛发的纹理就像地板上的特定瓷砖图案。Gram 矩阵是一种工具，用于检查瓷砖之间的关系是否正确。它会问：“这些毛发 strands 之间的相互关联方式是否与真实照片中的相同？”它迫使人工智能匹配纹理的统计“节奏”，确保毛发看起来蓬松且细节丰富，而不是光滑的。

3. “遥控器”（推理）

一旦人工智能训练完成，你就会得到一个带有三个滑块的遥控器：

滑块 1（清洁）：你希望去除多少模糊？
滑块 2（真实感）：你希望增强多少“氛围”？
滑块 3（纹理）：你希望锐化多少微小细节？
这让用户能够完全按照自己的意愿调整结果，而无需重新训练整个系统。

结果

作者在许多不同类型的照片上测试了这种方法，包括现实世界的模糊图像（而不仅仅是计算机生成的图像）。

结果：GramSR consistently 击败了其他顶级方法。
原因：因为它不依赖模糊的文本描述。通过使用“蓝图”（视觉特征）和“纹理节奏检查”（Gram 矩阵），它恢复了不仅清晰，而且具有与现实场景完美匹配的逼真、详细纹理的图像。

简而言之：GramSR 不再要求人工智能根据文字“猜测”，而是开始让它直接“看到”细节，利用专门的三步训练过程，以手术般的精度清洁、激活和纹理化图像。

以下是论文《GramSR：基于扩散模型的超分辨率视觉特征条件化》的详细技术总结。

1. 问题陈述

单图像超分辨率（SR）旨在从低分辨率（LR）输入重建高分辨率（HR）图像。尽管深度学习推动了该领域的发展，但现有方法在涉及复杂、未知退化的现实场景中仍面临重大挑战。

当前扩散方法的局限性：近期的基于扩散的 SR 方法（如 StableSR、SeeSR）利用了来自大规模文本到图像模型（如 Stable Diffusion）的强大生成先验。然而，它们依赖于源自图像描述或标签的文本条件。
- 语义鸿沟：文本描述仅提供高层语义概念（例如“一只猫”、“一条街道”），但缺乏忠实恢复所需的空间对齐的视觉信息、细粒度几何结构以及局部纹理模式。
- 纹理丢失：现有的训练目标通常优先考虑像素级保真度或语义一致性，但未能显式建模纹理统计（重复模式和特征相关性），导致结果过度平滑或出现伪影。
效率：多步扩散采样计算成本高昂。虽然存在一步法，但由于依赖文本提示和简化的损失函数，这些方法往往遭受过度平滑或细节恢复受限的问题。

2. 方法：GramSR

作者提出了GramSR，这是一个基于扩散的一步 SR 框架，通过两项主要创新解决上述局限性：用密集视觉特征替代文本条件，并引入一种感知纹理的训练策略。

A. 视觉特征条件化

GramSR 不使用文本提示，而是基于直接从 LR 输入中提取的密集视觉特征对扩散模型进行条件化。

编码器：使用预训练的DINOv3编码器从 LR 图像中提取块级视觉特征（ $F_{ViT}$ ）。这些特征捕捉了从局部纹理到全局上下文的分层信息，同时保持与输入的空间对齐。
集成：一个轻量级 MLP 适配器将这些视觉特征投影到扩散 U-Net 的条件空间中。DINOv3 编码器在训练期间保持冻结。

B. 三阶段 LoRA 训练策略

为了分离 SR 中相互冲突的目标（退化去除、语义增强和纹理保持），GramSR 采用了一种顺序训练策略，使用三个不同的 LoRA（低秩适应）模块附加到 U-Net 上：

像素级 LoRA（ $\Delta\theta_{pix}$ ）：
- 目标：去除退化（噪声、模糊、下采样伪影）。
- 损失：使用 $\ell_2$ 损失（ $L_{MSE}$ ）进行优化，以确保准确的像素级重建和稳定的收敛。
语义级 LoRA（ $\Delta\theta_{sem}$ ）：
- 目标：增强感知真实感并生成语义丰富的细节。
- 损失：使用LPIPS（感知损失）和**分类器分数蒸馏（CSD）**损失的组合， alongside $L_{MSE}$ 进行优化。在此阶段，像素级 LoRA 被冻结。
纹理级 LoRA（ $\Delta\theta_{gram}$ ）：
- 目标：强制纹理一致性并保持二阶特征统计。
- 机制：计算 DINOv3 特征的Gram 矩阵。Gram 矩阵捕捉空间位置之间的相关性，编码了对局部空间排列不变的全局纹理统计。
- 损失：最小化 SR 输出与真实值（Ground Truth）的 Gram 矩阵之间的弗罗贝尼乌斯范数差异（ $L_{gram}$ ）。
- 训练：冻结前两个 LoRA；仅使用平衡像素、感知和 Gram 损失的联合损失函数训练纹理模块。

C. 三重引导推理

在推理阶段，模型允许通过调整独立的引导尺度（ $\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$ ）来灵活控制恢复过程。最终预测是基础模型与三个 LoRA 贡献的加权和，使用户能够在结构保真度和纹理真实感之间进行权衡。

3. 主要贡献

视觉条件化优于文本：论文证明，用基于DINOv3 的密集视觉特征替代抽象的文本提示，显著改善了空间对齐和细节恢复，弥合了语义先验与像素级恢复之间的鸿沟。
用于纹理的 Gram 矩阵对齐：引入专门的纹理级 LoRA并通过 Gram 矩阵损失进行优化，显式建模了纹理统计，这是基于扩散的 SR 中常被忽视的组成部分。
顺序解耦：三阶段训练策略有效地分离了退化去除、语义增强和纹理对齐，防止了目标之间的相互干扰。
效率：该框架作为一步扩散模型运行，提供实时性能，同时实现了优于多步方法的卓越质量。

4. 实验结果

该方法在标准基准（DIV2K, RealSR, DRealSR）上进行了评估，并与最先进的一步扩散方法（SinSR, OSEDiff, PiSA-SR, AdcSR）进行了比较。

定量性能：
- GramSR 在所有数据集上始终优于竞争对手。
- 在RealSR上，它取得了最高的 PSNR（26.81）和 SSIM（76.68），同时显著降低了感知误差（LPIPS: 23.05, DISTS: 17.91, FID: 100.71）。
- 它在RealSR 和 DRealSR（现实世界数据集）上表现出特别的优势，这些数据集存在复杂的退化，在保真度和感知指标方面均显著优于最接近的竞争对手（PiSA-SR）。
定性分析：
- 视觉比较显示，GramSR 产生的纹理更连贯，伪影更少，优于 SinSR（通常纹理不一致）或 OSEDiff（倾向于过度平滑）。
- 它成功保留了其他方法未能重建的细粒度结构和重复模式。
消融研究：
- 视觉条件化：用 DINOv3 特征替代文本提高了 PSNR/SSIM 并降低了感知误差。
- 纹理 LoRA：添加基于 Gram 的 LoRA 进一步降低了 LPIPS、DISTS 和 FID，证实了其在增强纹理真实感方面的作用。
- 训练策略：顺序三 LoRA 方法优于联合训练或合并 LoRA 策略，证明了目标解耦的必要性。
- 泛化性：该方法对各种视觉编码器（CLIP, SigLIP, DINOv2/v3）表现稳健，其中DINOv3-B在表征能力和空间精度之间提供了最佳权衡。

5. 意义

GramSR 代表了基于扩散的图像恢复的重大转变，即从基于文本的语义先验转向空间对齐的视觉先验。通过通过 Gram 矩阵对齐显式建模纹理统计，它解决了当前生成式 SR 方法中的一个关键盲点。该框架为一步扩散模型提供了新范式，证明了高效、实时的 SR 可以同时实现高保真结构恢复和逼真的纹理生成。这种方法对于输入图像遭受复杂、未知退化且细粒度纹理保持至关重要的现实世界应用尤为有价值。