Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

1. O Problema

A Super-Resolução de Imagem Única (SISR) no mundo real é um desafio significativo para os modelos de difusão atuais. Diferente dos benchmarks clássicos que assumem uma redução de escala bicúbica fixa, as imagens do mundo real sofrem de degradações complexas, heterogêneas e desconhecidas (como desfoque, ruído e artefatos de compressão JPEG), que variam espacialmente.

Os principais gargalos identificados pelos autores são:

• Tratamento Implícito de Degradação: Métodos existentes tratam a imagem de baixa resolução (LR) como um sinal de condicionamento monolítico, sem decoplar explicitamente os padrões de degradação do conteúdo da imagem. Isso leva a ambiguidades na restauração, resultando em texturas insuficientes ou "alucinações" não naturais.
• Ruído Uniforme: O treinamento padrão de difusão aplica ruído gaussiano espacialmente uniforme. Isso ignora a heteroscedasticidade espacial da informação da imagem: regiões estruturais de alta frequência (bordas) são mais sensíveis a perturbações do que áreas planas. O ruído uniforme tende a destruir prematuramente as pistas estruturais críticas, forçando o modelo a "recriar" a geometria do zero em vez de refinar os remanescentes estruturais existentes.

2. Metodologia Proposta

Os autores propõem um framework de difusão leve que adiciona dois módulos específicos ao pipeline de condicionamento e treinamento, sem alterar a arquitetura base do modelo de difusão (backbone).

A. Injeção de Tokens Conscientes de Degradação (DTI - Degradation-aware Token Injection)

Este módulo visa fornecer pistas explícitas sobre o tipo e a severidade da degradação ao modelo de difusão.

• Extração de Descritor: Um descritor de degradação compacto de 6 dimensões ($\mathbf{d} \in \mathbb{R}^6$) é extraído diretamente da imagem LR. As dimensões capturam:
  1. Severidade do desfoque (via variância do Laplaciano).
  2. Nível de ruído aditivo (via resíduos locais).
  3. Artefatos de bloqueio JPEG (via descontinuidades de borda).
  4. Densidade de bordas (via gradiente de Sobel).
  5. Estatísticas de luminância global (brilho e contraste).
• Adaptação e Injeção: Este vetor é mapeado para um token de condicionamento através de um adaptador MLP leve. O token é injetado na ramificação de atenção cruzada de imagem (image cross-attention) do ControlNet e do UNet, fundindo-se com os embeddings semânticos.
• Variação Dinâmica: Em sua configuração padrão, a força do token de degradação é modulada pelo tempo de difusão ($t$), permitindo que o condicionamento se adapte ao longo da trajetória de remoção de ruído.

B. Injeção de Ruído Espacialmente Assimétrico (SANI - Spatially Asymmetric Noise Injection)

Esta é uma estratégia de treinamento que modula a magnitude do ruído com base na geometria local da imagem.

• Mapeamento de Força de Borda: Um mapa de força de borda ($\mathbf{E}$) é calculado a partir da imagem LR usando filtros de Sobel.
• Modulação do Ruído: O ruído gaussiano padrão $\epsilon$ é modulado espacialmente antes de ser adicionado ao espaço latente:
  $$\epsilon' = \epsilon \odot (1 - \lambda \mathbf{E})$$
  Onde $\lambda$ controla a força da modulação.
• Efeito: Regiões ricas em estrutura (bordas) recebem menos ruído (redução de variância), preservando o "esqueleto geométrico" da imagem durante o treinamento. Regiões suaves mantêm o nível de ruído padrão, permitindo a geração estocástica de texturas. Isso evita que o modelo destrua pistas estruturais críticas durante o processo de treinamento.

3. Principais Contribuições

1. DTI: Um mecanismo leve que codifica explicitamente características de degradação em tokens de condicionamento, permitindo que o modelo de difusão realize restaurações mais direcionadas e robustas em cenários de degradação diversificada.
2. SANI: Uma estratégia de treinamento consciente de estrutura que modula os níveis de ruído com base na geometria local, preservando bordas e texturas finas sem adicionar parâmetros ou custos de inferência.
3. Eficiência e Performance: Os módulos são "add-ons" leves que exigem apenas modificações mínimas no pipeline de condicionamento, mantendo o custo computacional de inferência quase inalterado, enquanto melhoram significativamente a qualidade perceptual.

4. Resultados Experimentais

Os métodos foram avaliados nos conjuntos de dados DIV2K e RealSR, comparados com state-of-the-art (SOTA) como Real-ESRGAN, SeeSR, StableSR, DiffBIR, entre outros.

• Qualidade Perceptual: O método proposto alcançou os melhores ou empatados nos melhores resultados em métricas no-reference (sem referência) como NIQE, NRQM, PI, CLIP-IQA e MUSIQ. Isso indica uma superioridade na geração de texturas realistas e detalhes estruturais.
• Compromisso Percepção-Distorção: Como esperado em métodos generativos focados em realismo, houve uma redução nas métricas de fidelidade pixel a pixel (PSNR e SSIM) em comparação com métodos baseados em regressão. No entanto, o método oferece um trade-off favorável, priorizando o realismo visual necessário para aplicações do mundo real.
• Estudos de Ablação:
  • O uso isolado do DTI melhorou a qualidade perceptual, mas mostrou ganhos inconsistentes sem a preservação estrutural.
  • O uso isolado do SANI melhorou consistentemente a preservação de bordas e detalhes locais.
  • A combinação de DTI + SANI resultou no melhor desempenho global, demonstrando que a orientação consciente da degradação e a preservação estrutural são complementares.
• Custo Computacional: A adição do DTI aumentou apenas 0,01% nos parâmetros totais e adicionou 0,10 segundos por imagem no tempo de inferência. O SANI não adiciona custo de inferência, pois é aplicado apenas durante o treinamento.

5. Significado e Conclusão

Este trabalho destaca a importância de modelagem explícita de degradação e design de difusão consciente de estrutura para avançar a super-resolução no mundo real.

• Inovação: Ao contrário de métodos que dependem de estimadores complexos de degradação ou pipelines de síntese pesados, a abordagem proposta utiliza descritores estatísticos leves e interpretables, tornando o sistema robusto e eficiente.
• Impacto: O framework oferece uma solução prática para o problema de "alucinação" de estruturas e perda de detalhes em imagens reais, equilibrando a geração de texturas realistas com a manutenção da integridade geométrica.
• Limitações Futuras: Os autores reconhecem que o custo de inferência de modelos de difusão multi-passos ainda é alto para cenários sensíveis à eficiência e que o descritor de degradação manual pode não cobrir todas as combinações complexas de degradação não vistas. Trabalhos futuros visam representarções aprendidas de degradação e formulações de difusão mais eficientes.

Em resumo, o artigo apresenta uma evolução significativa na aplicação de modelos de difusão para restauração de imagens reais, demonstrando que pequenas modificações inteligentes no condicionamento e no esquema de ruído podem gerar ganhos substanciais na qualidade visual final.