🤖 machine learning

Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representation Alignment

本文提出了一种表示对齐（REPA）框架，该框架利用预训练的 DINOv2 编码器来引导扩散模型和基于流的模型解决逆问题，并从理论上证明该方法通过最小化嵌入空间散度，在提升重建质量与感知真实性的同时，减少了各类任务中的推理步数。

原作者： Loukas Sfountouris, Giannis Daras, Paris Giampouras

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Loukas Sfountouris, Giannis Daras, Paris Giampouras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Align & Invert》的通俗解释，辅以生动的类比。

宏观视角：用“智能向导”修复破损照片

想象你有一张精美的高分辨率照片，但它受损了。也许它变得模糊，也许缺失了一部分（比如一块黑框遮住了人脸），或者它被缩小成了微小的像素点。你的目标是修复它，还原出原始图像。

在人工智能领域，我们拥有强大的工具，称为扩散模型（Diffusion Models），它们擅长“幻觉”或想象受损或缺失图像应该是什么样子。它们的工作方式就像一位雕塑家，慢慢从石块上凿去噪点，直到雕像显现。

然而，有时这些 AI 雕塑家会稍微迷失方向。它们可能修复了模糊，却让纹理看起来像塑料；或者在填补缺失的人脸时，填入了错误的特征。它们擅长图像的结构，但有时难以把握让照片在人类眼中显得真实的氛围或精细细节。

问题所在：“盲目”的雕塑家

这篇论文指出了一个具体问题：当 AI 试图修复受损照片时，它没有原始的“蓝图”（即真实值）可供对比。它是在不知道问题的情况下猜测答案。

为了提供帮助，研究人员通常会告诉 AI：“确保你的猜测与你收到的模糊像素相匹配。”但这还不够。AI 需要更好地感知什么是“真实”。

解决方案：“艺术评论家”（REPA）

作者引入了一种名为REPA（表示对齐）的新方法。要理解这一点，不妨想象 AI 雕塑家在一个黑暗的房间里工作。

雕塑家（扩散模型）：这是试图修复照片的 AI。在工作过程中，它对自己生成的图像拥有内在的“感觉”。
艺术评论家（DINOv2）：这是一个预训练的 AI，是识别视觉特征的专家。它就像一位经验丰富的艺术评论家，看过数百万张照片，确切知道什么是“真实”的树、“真实”的眼睛或“真实”的纹理。它不在乎像素，而在乎图像的意义和结构。

魔法时刻：
通常，雕塑家和艺术评论家说着不同的语言。雕塑家思考的是“潜在代码”（抽象数学），而评论家思考的是“视觉特征”。

这篇论文的创新之处在于，它迫使雕塑家在工作过程中倾听评论家。它们不仅查看最终图片，而且在每一步过程中都进行检查。

雕塑家说：“我认为图像的这部分是一棵树。”
评论家检查其内部数据库后说：“是的，但你当前草稿中那棵树的纹理与真实的树不匹配。调整你的内部表示，使其更像真实的树。”

通过不断将雕塑家的内在想法与评论家的专业知识对齐，最终结果变得更加逼真和细致。

他们如何处理“缺失的蓝图”

你可能会问：“但是等等，如果原始照片受损了，评论家怎么知道这张特定照片中‘真实’的树长什么样？”

这篇论文有一个巧妙的变通方法。由于没有原始照片，他们使用了一个代理（替代者）。

在过程早期：AI 使用受损、模糊的照片作为评论家的粗略指南。
在过程后期：随着 AI 开始清理图像，它使用自己当前对干净图像的最佳猜测作为指南。

这就像修复一幅旧画。起初，你只能看着那幅肮脏、划痕累累的版本。但随着你开始清理，你开始利用新显露出来的干净部分，来指导你修复剩余肮脏的部分。论文表明，“艺术评论家”（DINOv2）非常稳健，即使图像模糊或有噪点，它仍能识别主题内容，从而使这种替代策略完美奏效。

结果：更清晰、更快速、更真实

作者在四种类型的图像损伤上测试了这种方法：

超分辨率：将小且模糊的图像变大并变清晰。
去模糊：修复运动模糊（如相机抖动）。
图像修复：填补图像中缺失的方形块。
高斯去模糊：修复一般的模糊不清。

发生了什么？

质量提升：图像看起来更加逼真。纹理（如皮肤毛孔或草地）更加清晰，减少了“塑料感”。
工作加速：令人惊讶的是，使用这种“艺术评论家”指导，AI 能够在更少的步骤内达到高质量结果。这就像雕塑家需要的凿击次数更少，因为评论家始终让他们走在正确的道路上，防止他们偏离到奇怪、不真实的形状中。
权衡：论文指出，虽然图像在人类眼中看起来更好（感知质量），但衡量逐像素准确性的标准数学分数并不总是上升。这很常见：一张照片即使不是逐像素数学上等同于原始图像，也可以看起来更“真实”。

理论：为什么它有效

这篇论文还提供了数学证明（一种“理论”）来解释为什么这行得通。

发散性：他们表明，通过向评论家对齐，AI 本质上是在特征空间中最小化其猜测与图像真实本质之间的“距离”。
收缩性：他们证明，随着 AI 接近解决方案，这种对齐就像磁铁一样，将 AI 的内部状态拉向“干净”状态，并推开误差。

总结

简而言之，这篇论文教导一个强大的图像修复 AI 在工作时倾听专家视觉 AI（DINOv2）。即使没有看到原始完美照片，这种“对齐”也能帮助 AI 更快、以更逼真的细节修复受损图像，将模糊或破碎的混乱变成清晰、栩栩如生的画面。

技术摘要：对齐与反转

问题陈述

逆问题旨在从含噪或退化的测量值 $y$ 中恢复干净信号 $x_0$ 。虽然预训练的扩散模型和基于流的模型已成为这些任务强大的先验，但在涉及严重退化（例如极端超分辨率、运动模糊）或复杂场景的情况下，它们往往难以生成高度细节丰富的图像。潜在扩散模型（LDMs）存在一个特定的局限性，即编码器 - 解码器架构的非线性会在反向采样过程中引入伪影。此外，现有方法通常需要大量离散化步骤才能实现高质量重建，并且在推理过程中缺乏强有力的语义约束来引导轨迹走向感知上真实的解。

方法论

本文提出了对齐与反转（Align & Invert），这是一个将**表示对齐（REPA）**集成到扩散和基于流的逆问题求解器推理过程中的框架。

核心概念

该方法强制生成模型（扩散/流）的内部表示与预训练的自监督视觉编码器（具体为DINOv2）的特征之间进行对齐。虽然 REPA 此前被用作训练正则化项以提高生成质量，但这项工作将其调整用于逆问题的推理，此时真实信号不可用。

技术实现

代理构建：由于真实值 $x_0$ 未知，该方法构建了一个代理表示 $c_{proxy}$ 来替代缺失的目标特征。
- 最初， $c_{proxy}$ 源自可用测量值 $y$ 的 DINOv2 特征。
- 随着反向扩散过程的推进，代理逐渐更新为模型当前去噪估计的 DINOv2 特征，即 $f_{DINOv2}(D(E[z_0 | z_t]))$ 。
- 该策略依赖于 DINOv2 特征对常见图像退化具有鲁棒性的观察结果。
倾斜分布：采样过程由一个倾斜分布引导，该分布将对齐项作为奖励纳入其中：
$\tilde{p}(x_t | y) \propto p(y | x_t) p_t(x_t) \exp(\lambda \cdot \text{REPA}(\bar{x}_0, h_t))$
其中， $p(y | x_t)$ 强制测量一致性， $p_t(x_t)$ 是无条件先验，而 REPA 项鼓励扩散模型的中间隐藏状态 $h_t$ 与代理 DINOv2 特征之间进行对齐。
算法集成：该方法通过添加基于 REPA 目标的梯度步骤，集成到现有的最先进求解器（如 Latent DPS、ReSample）中，该步骤在反向采样循环中执行。这一步骤将潜在扩散状态与目标的语义特征对齐。
适应性：对于原本未使用 REPA 预训练的模型，该框架学习一个轻量级的后验投影头（ $g_\phi$ ），将扩散模型的内部表示映射到 DINOv2 特征空间。该映射在保持扩散模型冻结的同时进行优化，使得适应过程计算成本低廉。

理论见解

本文提供了两个主要的理论结果来表征 REPA 正则化项：

散度最小化：证明最大化 REPA 目标等价于最小化重建图像与真实值之间的 DINOv2 特征分布的最大均值差异（MMD），直至考虑特征未对齐和代理近似误差的项。
潜在状态收缩：在关于扩散编码器和投影头雅可比矩阵的正则性假设下，单次 REPA 更新会在扩散状态空间中诱导收缩。具体而言，它将当前潜在状态 $z_t$ 引导至更接近干净图像潜在表示 $z^*$ 的位置，前提是当前状态位于解的局部邻域内。

实验结果

作者在 ImageNet 和 FFHQ 数据集上评估了该方法在四个逆问题上的表现：超分辨率（4×, 8×, 16×）、方框修复、高斯去模糊和运动去模糊。

感知质量：在所有任务和求解器（Latent DPS、ReSample、Latent DAPS）中，集成 REPA 一致地改善了感知指标（LPIPS 和 FID）。例如，在 ImageNet 的 4 倍超分辨率任务中，Latent DPS + REPA 将 LPIPS 从 0.238 降低至 0.217，将 FID 从 123.82 降低至 86.88。
像素指标：标准像素级指标（PSNR、SSIM）与基线相当，反映了已知的感知 - 失真权衡，即 REPA 优先考虑语义真实性而非像素级精确度。
效率：一个重要的发现是，REPA 允许求解器以显著更少的离散化步骤达到相同的感知质量水平。在超分辨率和高斯去模糊中，该方法以比基线少约4 倍的步骤实现了可比的 LPIPS 分数，尽管每一步的计算量有所增加，但总体运行时间得以减少。
鲁棒性：该方法在严重退化（例如 16 倍上采样、高强度模糊）下以及通过学习的投影头应用于独立预训练模型时仍然有效。

意义与主张

本文主张，表示对齐是改进推理阶段生成式逆问题求解器的有效工具。

语义引导：通过将模型内部表示与鲁棒的视觉特征（DINOv2）对齐，该方法提供了强大的语义先验，引导重建走向感知上有意义的解，即使在没有真实值监督的情况下也是如此。
理论依据：这项工作阐明了为什么对齐有效，表明它作为一种机制来最小化特征空间散度，并将潜在状态收缩至干净图像解。
通用适用性：该框架具有通用性，兼容各种基于扩散/流的求解器，并且可以通过轻量级的后验映射适配到原本未使用对齐训练的模型。
效率：它通过加速收敛解决了扩散采样的计算瓶颈，允许以更少的采样步骤实现高质量重建。

作者得出结论，这种方法弥合了扩散模型的生成能力与自监督编码器的语义理解之间的差距，为在具有挑战性的逆问题设置中增强重建质量提供了一种原则性的方法。