RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models

1. O Problema

A restauração de imagens em cenários do mundo real é fundamental para tarefas downstream como direção autônoma e detecção de objetos. No entanto, existem desafios significativos:

• Generalização Limitada: Modelos de restauração existentes são frequentemente treinados em dados sintéticos com distribuições de degradação limitadas, o que resulta em desempenho fraco quando aplicados a imagens reais complexas e diversas.
• Dependência de Modelos Fechados: Modelos de edição de imagem em larga escala (como Nano Banana Pro e GPT-Image-1.5) demonstraram excelente capacidade de generalização e preservação de consistência, mas são de código fechado, exigem custos computacionais massivos e não são reprodutíveis pela comunidade de pesquisa.
• Falta de Benchmarks Realistas: As avaliações tradicionais dependem de métricas baseadas em referência (PSNR/SSIM) e pares limpo/degradado sintéticos, que não capturam a complexidade, diversidade e imprevisibilidade das degradações reais.

2. Metodologia

Os autores propõem uma abordagem que alavanca os priores semânticos de grandes modelos de edição de imagem para criar um restaurador de código aberto robusto.

A. Construção de Dados (Pipeline de Síntese)

Para reduzir a lacuna entre dados sintéticos e reais, foi desenvolvido um pipeline de geração de dados de alta qualidade cobrindo nove tipos de degradação: desfoque, artefatos de compressão, padrões de moiré, baixa luminosidade, ruído, flare (reflexos de lente), reflexos, neblina e chuva.

• Dados Sintéticos: Utiliza modelos como SAM-2 e MiDaS para gerar pares limpo/degradado com alinhamento estrutural e geométrico preciso. Inclui modelagem de ruído granular e processos de degradação estilo web.
• Dados do Mundo Real: Coleta de imagens degradadas reais da web, filtradas por modelos de visão (CLIP) e LLMs (Qwen3-VL), e pareadas com referências limpas geradas por modelos de alta performance.
• Filtragem Rigorosa: Uso de detectores de marca d'água e avaliação de consistência para garantir a qualidade dos pares de treinamento.

B. Arquitetura e Estratégia de Treinamento

O modelo base é o Step1X-Edit, um modelo de edição baseado em Diffusion in Transformer (DiT) com codificador de texto QwenVL.

• Treinamento em Duas Etapas:
  1. Transferência (Transfer Training): Ajuste fino em larga escala usando dados sintéticos para transferir conhecimento de edição de imagem de alto nível para tarefas de restauração de baixo nível.
  2. Ajuste Fino Supervisionado (SFT): Uso de dados reais para melhorar a fidelidade e a generalização em cenários autênticos.
• Estratégia "Progressively-Mixed": Durante a segunda etapa, uma pequena proporção de dados sintéticos é mantida junto com os dados reais. Isso previne o overfitting em padrões específicos de degradação real e preserva a robustez cruzada entre tarefas.
• Augmentation: Adição de degradações estilo web durante o treinamento para aumentar a robustez a imagens coletadas da internet.

C. Novo Benchmark: RealIR-Bench

Foi introduzido o RealIR-Bench, um conjunto de testes composto inteiramente por 464 imagens degradadas reais (sem referência limpa), cobrindo as nove categorias de degradação.

• Métricas de Avaliação: Como não há referência limpa, foram propostas métricas sem referência:
  • Restoration Score (RS): Avalia a melhoria na remoção da degradação usando um VLM (Qwen3-VL) para classificar a severidade da degradação antes e depois.
  • LPIPS (LPS): Mede a similaridade perceptual para garantir a preservação do conteúdo original.
  • Final Score (FS): Combinação ponderada de RS e LPS.

3. Principais Contribuições

1. RealRestorer: Um modelo de restauração de imagem de código aberto que atinge o estado da arte (SOTA) entre modelos abertos, com desempenho comparável aos melhores sistemas comerciais fechados.
2. Pipeline de Geração de Dados: Um framework escalável e de alta qualidade para criar dados de treinamento com degradações diversas e representativas, fechando a lacuna sintético-real.
3. RealIR-Bench: Um novo benchmark e protocolo de avaliação focados em cenários reais, utilizando métricas baseadas em VLM para avaliar simultaneamente a remoção de degradação e a consistência do conteúdo.

4. Resultados

• Desempenho Quantitativo: No RealIR-Bench, o RealRestorer ficou em 1º lugar entre todos os métodos de código aberto e em 3º lugar no geral (atrás apenas de Nano Banana Pro e GPT-Image-1.5).
  • Superou o segundo melhor modelo aberto (Qwen-Image-Edit-2511) em 0,019 pontos no Final Score.
  • A diferença para o modelo fechado líder (Nano Banana Pro) foi de apenas 0,007 pontos.
• Desempenho por Tarefa: Alcançou o melhor desempenho em tarefas de Deblurring (desembaçamento) e Low-light Enhancement (melhoria de baixa luminosidade), e ficou em 2º lugar na remoção de padrões de moiré.
• Generalização Zero-Shot: O modelo demonstrou capacidade de generalização para tarefas não vistas durante o treinamento (ex: remoção de neve, restauração de fotos antigas), graças aos priores aprendidos dos modelos de edição.
• Validação Humana: Um estudo com usuários confirmou que as métricas propostas correlacionam-se moderadamente com julgamentos humanos e que o RealRestorer foi classificado como a segunda melhor opção em qualidade perceptual e consistência.

5. Significado e Impacto

Este trabalho representa um avanço significativo ao democratizar o acesso a capacidades de restauração de imagem de nível industrial. Ao demonstrar que é possível treinar um modelo aberto para competir com sistemas fechados massivos através de uma estratégia de dados híbrida (sintético + real) e um treinamento em duas etapas, o artigo oferece:

• Reprodutibilidade: Disponibiliza o modelo, o pipeline de dados e o benchmark para a comunidade.
• Aplicabilidade Prática: Soluções mais robustas para aplicações críticas onde a consistência do conteúdo é tão importante quanto a remoção de ruído (ex: vigilância, medicina, direção autônoma).
• Novo Paradigma de Avaliação: Estabelece um novo padrão para avaliar modelos de restauração focando em cenários reais sem referência, superando as limitações das métricas tradicionais baseadas em pixels.

Em resumo, o RealRestorer prova que, com a engenharia de dados correta e o uso estratégico de priores de modelos de edição grandes, é possível superar as limitações de generalização dos métodos tradicionais de restauração de imagem.