FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

本文提出了 FAPE-IR 框架，通过利用冻结的多模态大语言模型进行频率感知的语义规划，并结合 LoRA 混合专家模块与扩散模型执行器，实现了在多种退化条件下具有强泛化能力和可解释性的统一图像恢复方案。

要点

这篇论文介绍了一个名为 FAPE-IR 的新技术，它的目标是解决一个非常头疼的问题：如何用一个“万能”的模型，把各种各样变脏、变模糊、变暗的照片都修好。

想象一下，你有一台相机，但拍出来的照片可能遇到七种不同的“灾难”：下雨、下雪、起雾、模糊、噪点（像老电视的雪花）、太暗，或者分辨率太低。以前的修图软件通常是“专病专治”：修雨天的模型修不了雪天，修模糊的修不了太暗的。而 FAPE-IR 就像是一个全能修图大师，不管照片得了什么“病”，它都能治好。

为了让你更容易理解，我们可以把修图过程想象成**“一位经验丰富的老中医（规划师）”指挥“两个专科医生（执行者）”给病人（照片）做手术**。

1. 核心痛点：以前的方法为什么不行？

以前的“万能修图”模型，就像是一个只会死记硬背的实习生。

• 方法 A（多分支）： 它试图同时学习所有技能，结果就像一个人同时学开飞机、修汽车和做手术，最后什么都做不好，或者在修车时不小心把飞机拆了（任务之间互相干扰）。
• 方法 B（路由/聚类）： 它试图把任务分类，但分类很死板。如果照片既下雨又起雾，它就懵了，不知道听谁的。

2. FAPE-IR 的解决方案：频率感知的“规划 + 执行”

FAPE-IR 聪明就聪明在它把**“思考”和“动手”分开了，并且引入了“频率”**这个概念。

第一步：老中医把脉（频率感知的规划师）

在这个框架里，有一个冻结的多模态大语言模型（MLLM），我们叫它**“老中医”**。

• 它不看标签： 以前的模型需要有人告诉它“这是雨”，“这是雾”。老中医不需要，它直接看照片，像中医把脉一样，分析照片里的“脉搏”（也就是频率特征）。
• 它开处方： 老中医会分析：“这张照片主要是高频问题（比如雨丝、噪点、模糊的边缘，这些是细节）”还是低频问题（比如雾气、太暗，这些是整体氛围）？
• 输出指令： 它会写下一张清晰的“处方单”：
  • 任务： 去雨。
  • 重点： 高频（要处理细节）。
  • 理由： 因为看到了平行的雨丝。
  • 方案： 先估计雨，再细化边缘。

比喻： 就像你去医院，老中医不是直接给你开药，而是先告诉你：“你主要是‘细节’出了问题（高频），还是‘整体气色’出了问题（低频）”，然后告诉下面的医生该往哪个方向努力。

第二步：专科医生动手术（频率感知的执行者）

有了老中医的处方，“执行者”（一个基于扩散模型的修复引擎）就开始干活了。

• 双专家系统（LoRA-MoE）： 执行者手里有两个“专科医生”：
  • 高频专家： 擅长处理细节、纹理、锐利的边缘（比如雨丝、噪点）。
  • 低频专家： 擅长处理整体、光影、去雾、提亮。
• 动态切换： 根据老中医的处方，执行者会动态决定：
  • 如果是去雨，就主要调用高频专家，把雨丝擦掉，同时保留树叶的纹理。
  • 如果是去雾，就主要调用低频专家，把灰蒙蒙的 veil 掀开，恢复整体亮度。
• 互不干扰： 这样，高频和低频的任务就不会打架了，避免了“修好了雨，结果把树也抹平了”的情况。

第三步：严格的质检（对抗训练）

为了防止医生“过度发挥”（比如为了把图修得清晰，凭空画出不存在的细节，这叫“幻觉”），FAPE-IR 引入了对抗训练。

• 比喻： 就像有一个**“挑剔的质检员”**（判别器），它时刻盯着修好的图。如果修图师为了追求清晰而画蛇添足，质检员就会说：“不对，这纹理太假了！”迫使模型必须修得既清晰又真实，不能瞎编。

3. 为什么它这么厉害？（频率正则化）

论文还加了一个小 trick，叫**“频率正则化”**。

• 比喻： 这就像给两个医生定了一条铁律：“高频医生只能管细节，不能管大色块；低频医生只能管大色块，不能管细节。”
• 这确保了每个专家都在自己最擅长的领域工作，不会越界，从而让修复效果更纯粹、更自然。

4. 总结：FAPE-IR 带来了什么？

1. 真正的“万能”： 不管照片是下雨、下雪、模糊还是太暗，它都能用一个模型搞定，而且还能处理混合灾难（比如又下雨又起雾）。
2. 懂“频率”： 它不再盲目修图，而是知道哪些是细节（高频），哪些是整体（低频），对症下药。
3. 可解释性强： 因为它有一个“老中医”在输出思考过程，我们知道它为什么这么修，而不是像个黑盒子。
4. 效果拔群： 在七个不同的修图任务上，它的效果都达到了目前最顶尖的水平（SOTA），而且对于没见过的混合灾难，也能很好地泛化（零样本能力）。

一句话总结：
FAPE-IR 就像给修图软件装了一个懂医学原理的“老中医”大脑，它能精准诊断照片是“细节病”还是“整体病”，然后指挥两个专科医生分工合作，最后由质检员把关，把任何烂照片都修得既清晰又自然。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
全能图像恢复（All-in-One Image Restoration, AIO-IR）旨在构建一个统一模型，能够处理多种退化类型（如雨、雪、雾、模糊、低光照、噪声、超分辨率等）。然而，现有的方法存在以下主要局限性：

• 任务特定设计与冲突： 传统方法通常依赖多分支映射或特定的任务先验（如提示词），导致不同退化任务在共享参数下产生严重的梯度冲突，难以同时达到各任务的最优解。
• 缺乏语义理解： 现有方法往往依赖预定义的标签或隐式路由机制，缺乏对图像退化内容的深层语义理解，难以应对真实世界中未知、复合且分布偏移的退化场景。
• 频率处理不当： 现有方法未能有效区分不同退化任务在频域上的特性（高频 vs 低频），导致在共享表示时出现干扰，或在隔离任务时丢失共享结构。
• 生成质量与伪影： 基于扩散模型的方法在统一恢复任务中容易产生伪影、过度生成（Hallucination）或细节丢失，特别是在处理高频细节和低频光照/对比度变化时。

2. 方法论 (Methodology)

FAPE-IR 提出了一种**“规划 - 执行”（Planning and Execution）**范式，将语义规划与基于频率的恢复执行相结合。框架主要由以下三个核心部分组成：

2.1 频率感知规划器 (Frequency-Aware Planner)

• 架构： 使用冻结的多模态大语言模型（MLLM，具体为 Qwen2.5-VL）作为规划器。
• 无标签特征池 (Label-free Feature Pool)： 直接从退化图像像素中提取统计特征（如梯度方向、频谱能量、暗通道、亮度统计等），无需人工标注即可识别退化类型（雨、雪、雾等）及其主导频率。
• 规划输出： 规划器接收视觉提示和专家规则，输出结构化的恢复计划，包括：
  • 识别的退化类型。
  • 主导频率带决策（高频 Focus 或 低频 Focus）。
  • 恢复的推理依据（Rationale）。
  • 具体的恢复流水线（Pipeline）。
• 作用： 将语义理解转化为可解释的指令，指导后续执行模块。

2.2 频率感知 LoRA-MoE 执行器 (Frequency-Aware LoRA-MoE Executor)

• 架构： 基于扩散模型（FLUX Transformer）作为执行引擎，采用参数高效的 LoRA-Mixture-of-Experts (LoRA-MoE) 架构。
• 双端门控机制 (Dual-end Gating)：
  • 文本门控 (Text Router)： 利用规划器生成的语义 Token 初步选择专家。
  • 频谱门控 (FIR Spectral Router)： 利用中间生成特征的深度可分离 FIR 滤波器，将特征分离为高频和低频分量，计算能量权重。
  • 融合路由： 结合语义和频谱信号，动态选择高频专家（处理雨、雪、模糊、噪声等细节恢复）或低频专家（处理去雾、低光照增强等全局调整）。
• 优势： 实现了任务间的解耦与共享，高频任务共享高频专家，低频任务共享低频专家，有效缓解了梯度冲突。

2.3 对抗训练与频率正则化 (Adversarial Training & Frequency Regularization)

• 对抗训练策略： 为了替代传统的流匹配（Flow Matching）损失，FAPE-IR 引入了对抗训练。使用冻结的 SigLIP-v2 作为判别器，结合多尺度判别头，优化生成器以产生更真实、更少伪影的图像。
• 频率正则化损失 (Frequency Regularization Loss)： 引入基于能量的正则化项，惩罚专家输出与其分配频带不符的能量（例如，高频专家输出不应包含过多低频能量），强制专家在各自擅长的频带内优化。
• 总损失函数： 结合了 MSE、感知损失（LPIPS）、对抗损失和频率正则化损失。

3. 主要贡献 (Key Contributions)

1. 统一的语义 - 生成框架： 提出了 FAPE-IR，首个将多模态大模型（MLLM）的语义规划能力与扩散模型的生成能力耦合，用于低层视觉恢复的框架。它实现了从“理解退化”到“制定策略”再到“执行恢复”的闭环。
2. 频率感知建模策略： 创新性地设计了频率感知的 LoRA-MoE 架构，通过动态路由机制，在高频和低频专家之间分配信息。这不仅缓解了多任务间的干扰，还促进了相关任务间的共享表示，显著提升了模型对复合退化的鲁棒性。
3. 理论分析与实证验证： 从理论上分析了自回归（AR）和流匹配（FM）在低层恢复中导致伪影和过度生成的原因，并证明了对抗训练结合频率正则化能更好地平衡保真度与感知质量。
4. SOTA 性能与零样本泛化： 在 7 种图像恢复任务（去雨、去雪、去雾、去模糊、去噪、低光照增强、超分辨率）上均取得了最先进（SOTA）或极具竞争力的性能，并在未见过的复合退化场景下表现出强大的零样本泛化能力。

4. 实验结果 (Results)

• 定量评估：
  • 在 7 个主要任务系列（包括合成和真实世界数据集）上，FAPE-IR 在 PSNR、SSIM、LPIPS、FID 和 DISTS 等 5 项指标上均优于 PromptIR、FoundIR、AdaIR、DFPIR 等现有 AIO-IR 方法。
  • 特别是在天气相关任务（去雨、去雪、去雾）上，PSNR 提升了约 6-8 dB，感知距离指标（如 FID）降低了数倍。
  • 在超分辨率（SR）任务中，FAPE-IR 在保持高 PSNR 的同时，显著降低了 FID 和 DISTS，表明其生成的纹理更真实且伪影更少。
• 定性评估：
  • 视觉对比显示，FAPE-IR 能更好地保留高频细节（如纹理、边缘），减少振铃效应和过度锐化。
  • 在低频任务（去雾、低光照）中，FAPE-IR 能更均匀地去除雾霾并平衡光照，避免颜色偏移。
  • 在复合退化（如“雾 + 雨”）场景下，FAPE-IR 展现出强大的零样本泛化能力，能同时处理不同频段的退化。
• 效率： 尽管参数量较大，但在 H200 GPU 上的推理时间合理，且远快于某些统一模型（如 PURE）。

5. 意义与影响 (Significance)

• 范式转变： FAPE-IR 将图像恢复从单纯的“端到端映射”转变为“理解 - 规划 - 执行”的显式过程，提高了模型的可解释性和可控性。
• 解决核心痛点： 通过频率感知的专家路由，有效解决了多任务学习中的梯度冲突和表示纠缠问题，为构建通用的低层视觉基础模型提供了新思路。
• 真实世界适用性： 该方法在真实世界复杂退化场景下的鲁棒性，使其在自动驾驶、医疗成像、消费电子摄影等对图像质量要求极高的领域具有巨大的应用潜力。
• 理论指导实践： 论文深入分析了不同训练目标（AR, FM, Adversarial）在低层恢复中的理论局限性，为未来设计更高质量的生成式恢复模型提供了理论依据。

总结： FAPE-IR 通过引入大模型的语义规划能力和频率感知的专家路由机制，成功构建了一个统一、可解释且高性能的全能图像恢复框架，显著提升了模型在复杂、未知退化场景下的恢复质量与泛化能力。