💻 computer science

PaAgent: Portrait-Aware Image Restoration Agent via Subjective-Objective Reinforcement Learning

本文提出了 PaAgent，一种通过构建自演进画像库结合检索增强生成（RAG）来优化工具选择，并采用融合图像质量与语义洞察的主客观强化学习策略以增强复杂场景退化感知能力的肖像感知图像修复智能体。

原作者： Yijian Wang, Qingsen Yan, Jiantao Zhou, Duwei Dai, Wei Dong

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijian Wang, Qingsen Yan, Jiantao Zhou, Duwei Dai, Wei Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 PaAgent 的新技术，你可以把它想象成一位拥有“超级记忆”和“双重眼光”的图像修复专家。

为了让你更容易理解，我们把修复一张坏掉的照片（比如模糊、有雨滴、太黑或太脏）比作给一位生病的人治病。

1. 以前的医生（现有方法）有什么毛病？

在 PaAgent 出现之前，图像修复的“医生”主要有两种，但都有缺陷：

死板的“单步医生”： 他们看一眼照片，就立刻决定开什么药（比如“这是雨，去雨”）。如果看错了，或者药量不对，整个治疗过程就全错了，而且他们不会回头检查。
盲目的“试错医生”： 他们知道要治病，但不知道具体该用什么药。于是他们开始疯狂地“试药”：先试去雨，不行再试去雾，再不行试去噪……就像一个人进药店，把货架上的药都尝一遍，直到找到能吃的为止。这既慢又浪费资源，而且容易把病人（图片）折腾得更糟。
诊断不清： 以前的医生只看一个“总评分”（比如图片清晰度是 80 分）。但这就像只说“病人发烧了”，却分不清是“局部发炎”还是“全身感染”。如果一张图只有角落模糊，其他都很清晰，总评分可能还是很高，导致医生误判病情。

2. PaAgent 是怎么工作的？（两大核心绝招）

PaAgent 就像一位经验丰富、善于总结、且拥有“火眼金睛”的资深老中医。它有两个核心法宝：

法宝一：超级“病例库” (Portrait Bank) + 智能检索 (RAG)

比喻： 想象这位医生有一个巨大的电子病历本。以前每治好一个病人（修复一张图），他都会把“病人症状（坏图）”、“用了什么药（修复工具）”和“治疗效果（好图）”详细记下来。
怎么做： 当新病人来了，PaAgent 不会盲目试药。它会先翻看病历本，用RAG（检索增强生成） 技术，快速找到以前治过最相似病情的病例。
- 比如： 看到一张又黑又有雾的图，它立刻在病历本里找到：“哦！上次有个类似的病人，先用了‘去雾药’，再用了‘提亮药’，效果特别好。”
结果： 它直接调用最合适的工具，避免了盲目试错，既快又准。而且，每治好一个新病人，这个病历本就会自动更新，医生变得越来越聪明（自我进化）。

法宝二： “主观 + 客观”双重诊断法 (Subjective-Objective RL)

比喻： 以前的医生只看体检报告上的数字（客观分数），或者只凭感觉（主观感觉）。PaAgent 则是两者结合。
怎么做：
- 客观眼（机器）： 它用各种精密仪器（算法）测量图片的像素、噪点、清晰度，给出一个冷冰冰的分数。
- 主观眼（AI 大脑）： 它像一个有审美的人类专家，用语言描述图片：“这里颜色太灰了”、“那里的细节像被抹掉了一样”。
- 强化学习 (SORL)： 它通过不断练习，把“机器分数”和“人类感觉”结合起来。如果它选错了药，导致图片虽然分数高了但看起来还是很假，它就会受到“惩罚”，下次就会调整策略。
结果： 它能精准地发现局部问题（比如“虽然整体很亮，但左下角还是模糊的”），从而做出更精细的决策。

3. 它的“治疗流程”是怎样的？

PaAgent 不像以前的医生那样“一锤子买卖”，它是一个动态的、多步骤的诊疗过程：

初诊： 看看图，结合病历本，决定第一步用什么药（比如先去雨）。
复查： 药吃完后，立刻检查效果。
- 如果好了： 完美，结束治疗。
- 如果没好透： 比如雨去了，但雾还在。它会立刻调整方案，决定下一步用“去雾药”。
循环： 直到图片完全恢复健康，它才会停止。

4. 总结：为什么它很厉害？

不瞎折腾： 靠“病历库”直接找对药，不用像无头苍蝇一样乱撞。
看得更细： 靠“双重诊断”，能发现别人看不见的局部小毛病。
越用越聪明： 每次修复都是一次学习，它的经验库会不断变大。
灵活应变： 遇到复杂的“疑难杂症”（比如又黑又模糊又有雨），它能像老中医一样，分步骤、有逻辑地一步步解决，而不是死板地执行命令。

一句话总结：
PaAgent 就是一个会记笔记、懂审美、能反思的 AI 修图大师，它不再盲目试错，而是像一位经验丰富的老医生一样，根据过去的经验精准开方，把任何坏掉的照片都修得完美无缺。

1. 研究背景与问题 (Problem)

图像恢复（Image Restoration, IR） 旨在从受噪声、雨、雪、雾、低光照或模糊等退化的图像中恢复高质量图像。尽管现有的“全功能”（All-in-One, AiO）IR 方法试图在一个统一模型中处理多种退化，但它们往往在泛化能力和恢复精度之间难以取得平衡，且容易因优化目标冲突而导致次优结果。

近年来，基于多模态大语言模型（MLLM）的智能体（Agent） 方法成为新趋势，它们通过感知退化并调用不同的 IR 工具来解决问题。然而，现有的基于智能体的 IR 方法存在以下主要局限性：

缺乏历史交互洞察（Insight Summarization）： 现有方法通常将每个恢复实例视为孤立事件，缺乏对过去交互经验的总结。这导致智能体在面对简单退化时仍需进行穷举搜索（Exhaustive Search），频繁尝试错误的工具或进行不必要的回滚（Rollback），效率低下。
退化感知能力不足： 现有方法通常依赖单一的无参考图像质量评估（NR-IQA）分数作为优化目标。然而，单一的总分无法捕捉退化的空间分布特征（例如：局部严重退化与全局轻微退化可能具有相似的整体分数），导致智能体在复杂场景下做出错误决策。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 PaAgent（Portrait-Aware Image Restoration Agent），其核心架构包含两个关键创新模块：

A. 工具画像库 (Tool Portrait Bank) 与检索增强生成 (RAG)

概念： 构建一个包含历史交互洞察的“工具画像库”。每个条目是一个三元组：{退化信息，选用的恢复工具，恢复质量的主观评价}。
机制：
- 动态构建与进化： 每当 PaAgent 完成一个恢复任务，系统会利用 MLLM（Qwen3.5-Plus）总结该次交互的洞察（包括退化特征、工具选择及效果评价），并将其存入画像库。
- RAG 检索： 当输入新图像时，PaAgent 首先感知退化信息，然后通过 RAG 模块从画像库中检索最相关的历史洞察（Chunks）。
- 工具选择： 检索到的上下文信息被整合进提示词（Prompt），引导 MLLM 直接选择最合适的 IR 工具，从而避免了盲目试错和过多的回滚操作。

B. 主客观强化学习策略 (Subjective-Objective Reinforcement Learning, SORL)

为了提升智能体对复杂退化的感知能力，作者提出了一种结合主观语义和客观分数的强化学习策略，基于 GRPO (Group Relative Policy Optimization) 算法。

奖励生成器 (Reward Generator)：
- 客观部分： 计算多种 NR-IQA 指标（如 CLIP-IQA, Hyper-IQA, NIQE 等）的综合分数。
- 主观部分： 利用 MLLM 对“退化图像 + 选定工具 + 恢复图像”三元组进行语义分析，生成细粒度的主观评价。
- 融合： 将两者结合生成二元奖励信号（0 或 1）。如果恢复结果既符合高分客观指标又符合人类视觉偏好，则给予奖励。
策略优化 (GRPO)：
- 对于每个任务，模型生成一组 $n$ 个输出轨迹。
- 利用组内相对优势（Group Relative Advantage）来更新策略，而不是依赖绝对奖励值。这使得模型能够通过比较不同轨迹的优劣，学习到更精细的退化感知和任务选择策略，特别是在处理局部非均匀退化时。

C. 多步决策机制

PaAgent 采用迭代框架，包含“感知 - 规划 - 执行 - 反思”循环。如果当前步骤的恢复结果不令人满意，智能体可以决定执行下一步操作或回滚，直到达到满意的恢复效果。

3. 关键贡献 (Key Contributions)

首个引入洞察总结机制的 IR 智能体： 提出了 PaAgent，利用 RAG 和工具画像库，使智能体能够基于历史经验直接调用合适的工具，显著减少了无效的工具尝试和回滚次数。
主客观强化学习 (SORL) 策略： 设计了结合 MLLM 语义洞察和 NR-IQA 客观分数的奖励机制。这使得智能体不仅能感知图像的整体质量，还能理解局部退化的语义特征，从而在复杂场景下做出更精准的决策。
全面的实验验证： 在 8 个基准数据集上进行了广泛实验，涵盖 6 种单退化和 8 种混合退化场景。结果表明 PaAgent 在主观视觉效果和客观指标（PSNR/SSIM）上均优于现有的 AiO 方法和基于智能体的方法。

4. 实验结果 (Results)

数据集与对比： 实验涵盖了 CDD-11（混合退化）、GoPro（去模糊）、LOL（低光照）、SOTS（去雾）、Rain13K（去雨）、CSD（去雪）等 8 个数据集。对比了 11 种方法（包括 10 种 AiO 方法和 1 种现有智能体方法 AgenticIR）。
定量表现：
- 去雪与去噪： 在 CSD 和 BSD68 数据集上，PaAgent 取得了最高的 PSNR 和 SSIM（例如去雪任务 PSNR 达到 37.95 dB，远超次优的 34.06 dB）。
- 去雾与去雨： 在 SOTS 和 Rain13K 数据集上表现最优，特别是在复杂雨纹和局部去雾方面。
- 混合退化： 在 CDD-11 数据集的 11 种单、双、三退化场景中，PaAgent 在所有场景下均显著优于所有竞争对手，证明了其强大的泛化能力。
定性表现： 视觉对比显示，PaAgent 在保留纹理细节（如动物毛发、建筑纹理）、去除伪影（如残留雨纹、色偏）以及处理复合退化（如低光照 + 模糊）方面，效果明显优于其他方法。
消融实验：
- 移除画像库（随机选择工具）导致性能大幅下降。
- 移除 SORL 策略（仅使用 SFT）导致恢复结果出现细微色偏或过度平滑。
- 移除输入上下文（如 NR-IQA 分数或历史任务）会导致退化类型误判（如将雨纹误判为噪声）或恢复顺序错误。
- 多步决策机制（对比一步决策）能有效处理残余退化，避免过早终止。

5. 意义与价值 (Significance)

范式转变： 本文将图像恢复从传统的“单一模型处理所有退化”或“盲目试错的智能体”模式，转变为**“基于历史经验检索的精准工具调用”**模式。
解决复杂场景痛点： 通过 SORL 策略，有效解决了传统质量评估指标无法区分局部严重退化与全局轻微退化的问题，提升了智能体在真实世界复杂场景下的鲁棒性。
自进化能力： 工具画像库的持续更新机制使得 PaAgent 能够随着使用时间的推移不断积累知识，自我进化，适应更多样化的退化场景。
实际应用潜力： 该方法为自动驾驶、监控安防、手机摄影等需要处理复杂多变图像退化场景的应用提供了高效、可解释且高性能的解决方案。

总结： PaAgent 通过引入“工具画像库”实现经验复用，并通过“主客观强化学习”提升感知精度，成功解决了现有图像恢复智能体效率低、感知不准的瓶颈，代表了智能图像恢复领域的重要进展。