PaAgent: Portrait-Aware Image Restoration Agent via Subjective-Objective Reinforcement Learning

1. Problema Identificado

A Restauração de Imagem (IR) tradicional enfrenta desafios significativos ao lidar com cenários do mundo real, onde as imagens sofrem de múltiplas degradações simultâneas (ex: chuva, neblina, baixa luminosidade e desfoque).

• Limitações dos Métodos "All-in-One" (AiO): Embora existam modelos unificados que tentam resolver várias degradações, eles frequentemente sofrem com conflitos de objetivos de otimização, resultando em um equilíbrio subótimo entre generalização e precisão.
• Limitações dos Agentes Baseados em IA: Métodos recentes que utilizam Agentes com Modelos de Linguagem Multimodal (MLLM) para escolher ferramentas de restauração apresentam duas falhas principais:
  1. Busca Exaustiva: Eles tratam cada instância de restauração de forma isolada, sem aproveitar insights de interações passadas, levando a uma exploração exaustiva e ineficiente de ferramentas (muitos tentativas e rollbacks).
  2. Percepção de Degradação Ambígua: Eles dependem de pontuações de qualidade de imagem (NR-IQA) globais. No entanto, duas imagens podem ter pontuações globais similares, mas padrões de degradação espacialmente distintos (ex: degradação local severa vs. degradação global leve), o que leva a decisões errôneas sobre qual ferramenta aplicar.

2. Metodologia Proposta: PaAgent

O PaAgent é um agente de restauração de imagem consciente de "retrato" (portrait-aware), projetado para superar essas limitações através de duas inovações principais:

A. Banco de Retratos de Ferramentas (Tool Portrait Bank) com RAG

• Conceito: Um repositório de conhecimento que armazena "retratos" de interações históricas entre degradações específicas e as ferramentas de restauração bem-sucedidas.
• Estrutura: Cada entrada no banco é um triplo composto por: (1) Informação da degradação, (2) Ferramenta de restauração aplicada e (3) Avaliação subjetiva da qualidade.
• Funcionamento (RAG): Ao receber uma nova imagem degradada, o agente utiliza Retrieval-Augmented Generation (RAG) para buscar insights relevantes no banco de retratos. Isso permite que o agente selecione a ferramenta mais adequada com base em experiências passadas, evitando a busca exaustiva e o excesso de tentativas.
• Auto-evolução: O banco é dinâmico; após cada tarefa de restauração, o agente resume os insights da interação e atualiza o banco, melhorando seu desempenho ao longo do tempo.

B. Estratégia de Aprendizado por Reforço Subjetivo-Objetivo (SORL)

Para aprimorar a percepção da degradação, o PaAgent utiliza uma estratégia de RL que combina métricas objetivas e subjetivas:

• Geração de Recompensa: Utiliza um MLLM (Qwen3.5-Plus) para gerar insights semânticos sobre a qualidade da imagem restaurada (subjetivo) e combina isso com múltiplas métricas de avaliação de qualidade sem referência (NR-IQA) como CLIP-IQA, NIQE, BRISQUE, etc. (objetivo).
• Algoritmo GRPO: Emprega o algoritmo Group Relative Policy Optimization (GRPO). Em vez de depender de uma rede de valores complexa, o GRPO compara múltiplos trajetos de restauração dentro de um grupo amostrado.
• Mecanismo: O algoritmo calcula vantagens relativas normalizadas. Se uma escolha de tarefa resultar em uma imagem que satisfaça tanto os critérios semânticos quanto as pontuações objetivas, ela recebe uma recompensa positiva. Isso permite que o agente aprenda a distinguir entre degradações locais severas e globais leves, refinando sua política de seleção de tarefas.

3. Contribuições Principais

1. Primeira Abordagem com Resumo de Insights: O PaAgent é o primeiro trabalho a utilizar um mecanismo de resumo de insights históricos para guiar a invocação de ferramentas em agentes de IR, eliminando a necessidade de busca exaustiva.
2. Estratégia SORL: Desenvolvimento de uma estratégia de RL que integra percepção semântica e pontuações de qualidade, permitindo decisões precisas em cenários complexos e degradados de forma não uniforme.
3. Desempenho Superior: Demonstração experimental de que o método supera abordagens líderes (tanto AiO quanto baseadas em agentes) em métricas subjetivas e objetivas, resolvendo problemas de acúmulo de erros e terminação prematura.

4. Resultados Experimentais

O PaAgent foi avaliado em 8 benchmarks de restauração de imagem, cobrindo 6 cenários de degradação única e 8 cenários de degradação mista.

• Bancos de Dados: Incluem CDD-11 (degradações compostas), GoPro (desfoque), LOL-V1 (baixa luminosidade), Rain13K (chuva), SOTS (neblina), entre outros.
• Métricas: O método obteve os melhores resultados em PSNR (Relação Sinal-Ruído de Pico) e SSIM (Índice de Similaridade Estrutural) na maioria das tarefas.
  • Exemplo: Na tarefa de remoção de neve (CSD), o PaAgent atingiu 37.95 dB de PSNR, superando significativamente o segundo melhor método (34.06 dB).
  • Exemplo: Em degradações compostas (CDD-11), o PaAgent superou consistentemente todos os concorrentes em todos os 11 cenários de avaliação (simples, duplos e triplos).
• Análise Qualitativa: As imagens restauradas pelo PaAgent demonstraram melhor preservação de detalhes finos (texturas, bordas) e fidelidade de cor, evitando artefatos comuns em outros métodos (como manchas de cor ou suavização excessiva).
• Estudo de Ablação: Confirmou que a remoção do Banco de Retratos ou da estratégia SORL degrada significativamente o desempenho, provando a eficácia de ambos os componentes.

5. Significado e Impacto

O trabalho do PaAgent representa um avanço significativo no paradigma de restauração de imagem inteligente. Ao integrar um mecanismo de memória de longo prazo (Banco de Retratos) com uma estratégia de aprendizado por reforço que entende tanto a "física" da imagem (métricas objetivas) quanto a "percepção humana" (insights semânticos), o sistema consegue:

• Automatizar tarefas complexas de restauração com eficiência, reduzindo o tempo de computação ao evitar tentativas inúteis.
• Generalizar para cenários do mundo real onde as degradações são mistas e não uniformes.
• Adaptar-se continuamente, aprendendo com cada interação para melhorar sua precisão futura.

Em suma, o PaAgent estabelece um novo estado da arte na interseção entre agentes de IA, recuperação de imagens e aprendizado por reforço, oferecendo uma solução robusta para a restauração de imagens em condições adversas.