What to Remove, What to Preserve: Dual-Ambiguity Rectification for All-in-One Image Restoration

Resumo Técnico: O Que Remover, O Que Preservar: Retificação de Dupla Ambiguidade para Restauração de Imagem All-in-One

Definição do Problema

A restauração de imagem all-in-one (AIR) visa recuperar conteúdo visual limpo a partir de diversas degradações (ex: ruído, névoa, chuva, desfoque) dentro de um único framework unificado. Embora os métodos existentes tenham migrado de modelos específicos para tarefas para restauração condicional com backbone compartilhado (frequentemente utilizando prompts ou Mixture-of-Experts), eles enfrentam uma limitação fundamental: o emaranhamento degradação-conteúdo. Nos pipelines unificados atuais, as pistas relacionadas à degradação e as representações do conteúdo da cena são frequentemente codificadas de maneira emaranhada em um espaço latente compartilhado.

Os autores caracterizam esse emaranhamento como dupla ambiguidade, levando a dois modos típicos de falha:

1. Ambiguidade Semântica (por Canal): As pistas de degradação e as representações de conteúdo estão emaranhadas na dimensão do canal, fazendo com que a modulação consciente da degradação seja menos discriminativa. Isso resulta em corrupção de conteúdo, onde detalhes fiéis da imagem são erroneamente suprimidos junto com a degradação.
2. Ambiguidade Espacial (Dimensão Espacial): O emaranhamento na dimensão espacial enfraquece a seletividade das respostas de restauração, levando a degradação residual, onde artefatos não são suficientemente suprimidos.

Metodologia: DAR-Net

Para abordar essas questões, os autores propõem a DAR-Net (Dual-Ambiguity Rectification Network), construída sobre um backbone Transformer hierárquico em formato de U. A rede emprega um pipeline de retificação de três estágios para desemaranhar a degradação e o conteúdo tanto nas dimensões de canal quanto na espacial:

1. Representação de Arquétipo de Degradação (DAR):

   • Em vez de tratar a degradação como um único vetor, a DAR constrói um estado de degradação estruturado usando modelagem de mistura de arquétipos com restrição de simplex.
   • Uma rede de condicionamento leve extrai características do input, que são mapeadas para coeficientes de mistura ($\alpha$) via uma operação Softmax. Esses coeficientes representam o input como uma combinação convexa de $K$ arquétipos de degradação ($A$) aprendíveis.
   • O estado de degradação resultante ($S_{deg} = A\alpha$) serve como um prior estruturado para a retificação subsequente, garantindo que a representação da degradação resida em um espaço geometricamente restrito.

2. Retificação de Ambiguidade Semântica (SeAR):

   • Este módulo aborda o emaranhamento por canal usando dois subcomponentes:
     • Gerador de Prompt Guiado por Arquétipo (AGPG): Gera um prompt base a partir das características do input e o refina usando o estado de degradação ($S_{deg}$) via roteamento por canal. Isso produz um prompt consciente da degradação que enfatiza canais consistentes com a degradação inferida enquanto suprime os irrelevantes.
     • Integrador de Prompt Consciente da Degradação (DAPI): Injeta o prompt refinado nos estágios do decodificador usando mecanismos de atenção por canal para modular as características com base na condição de degradação.
   • Crucialmente, no estágio mais profundo do decodificador, a SeAR deriva uma característica complementar relacionada ao conteúdo ($F_c$) realizando a subtração residual ($F_{in} - F_{dp}$), onde $F_{dp}$ é a característica do prompt consciente da degradação.

3. Retificação de Ambiguidade Espacial (SpAR):

   • Para abordar o emaranhamento espacial, a SpAR introduz uma estratégia de Retificação de Subespaço Ortogonal (OSR).
   • Ela utiliza o prompt consciente da degradação ($F_{dp}$) e a característica de conteúdo complementar ($F_c$) e as projeta em subespaços aprendíveis.
   • Um termo de perda ($L_{OSR}$) é aplicado para minimizar a matriz de Gram cruzada entre os espaços de linhas dessas duas características. Isso força as representações relacionadas à degradação e ao conteúdo a ocuparem subespaços espaciais ortogonais, separando efetivamente "o que remover" do "o que preservar".

Objetivo de Treinamento: A rede é treinada com uma perda de reconstrução L1 por pixel e a perda de regularização de ortogonalidade ($L_{OSR}$).

Contribuições Principais

• Framework de Dupla Ambiguidade: O artigo identifica e formaliza o problema da ambiguidade semântica (canal) e espacial na AIR, propondo um framework unificado para retificar ambos.
• Modelagem Estruturada de Degradação: A introdução do módulo DAR, que modela estados de degradação como misturas de arquétipos com restrição de simplex, fornecendo um prior mais estruturado do que vetores de condicionamento padrão.
• Separação Ortogonal: O design do módulo SpAR, que impõe explicitamente a ortogonalidade entre as características de degradação e conteúdo na dimensão espacial para evitar interferência.
• Retificação Baseada em Prompt: Uma abordagem inovadora para gerar prompts conscientes da degradação que são refinados por orientação de arquétipo e integrados via atenção de canal.

Resultados Experimentais

A DAR-Net foi avaliada em benchmarks padrão de restauração all-in-one sob configurações de três degradações (3D) e cinco degradações (5D), bem como em datasets de degradação mista (CDD-11) e do mundo real (WeatherBench).

• Configuração 3D: A DAR-Net alcançou o melhor desempenho geral com um PSNR médio de 33,05 dB e SSIM de 0,922, superando o competidor mais forte (MIRAGE) em 0,14 dB de PSNR médio. Ela classificou-se em primeiro lugar em todos os níveis de desfoque (dehazing), remoção de chuva (deraining) e denoise.
• Configuração 5D: Na configuração 5D, mais desafiadora (incluindo desfoque e baixa luminosidade), a DAR-Net alcançou um PSNR médio de 31,02 dB e SSIM de 0,921, melhorando sobre o segundo melhor método em 0,34 dB.
• Misto & Mundo Real: No dataset CDD-11 (cobrindo de uma a três degradações), a DAR-Net alcançou o maior PSNR/SSIM médio (29,73/0,888). No dataset do mundo real WeatherBench, demonstrou desempenho superior em desfoque de névoa, remoção de neve e chuva, com forte qualidade perceptual (baixo LPIPS e FID).
• Eficiência: Com 35,5M de parâmetros e 771G FLOPs, a DAR-Net mantém uma eficiência de inferência competitiva (latência de 165ms em imagens 720x480), sendo mais rápida que vários baselines de estado da arte como PromptIR e DFPIR.

Significância e Alegações

O artigo afirma que a principal contribuição da DAR-Net reside na modelagem explícita de "o que remover e o que preservar". Ao abordar a dupla ambiguidade que assola os modelos de restauração unificados existentes, o método mitiga efetivamente o trade-off entre a remoção da degradação e a preservação do conteúdo.

Os autores enfatizam que sua abordagem não depende do aumento da capacidade do modelo através de contagens massivas de parâmetros ou roteamento complexo, mas sim da retificação estrutural do espaço de características. Os resultados sugerem que impor a ortogonalidade entre as representações de degradação e conteúdo é um fator crítico para alcançar uma restauração de imagem all-in-one de alta fidelidade e generalizável. O trabalho fornece uma nova perspectiva para futuros frameworks de restauração unificada, mudando o foco de mero compartilhamento de características para o desmembramento ativo de pistas de restauração.