Resumo Técnico: Além da Restauração Uniforme com Orientação Multimodal ao Nível de Pixel

Declaração do Problema

Os atuais métodos de restauração de imagem "all-in-one" (AIR) visam recuperar imagens de alta qualidade a partir de entradas degradadas por vários tipos e níveis de corrupção usando um único modelo. Embora avanços recentes em arquiteturas de rede adaptativas e baseadas em prompts tenham mostrado progresso, eles dependem predominantemente de estratégias de restauração uniformes aplicadas em toda a imagem.

Os autores identificam uma limitação crítica nessas abordagens existentes: as degradações do mundo real raramente são uniformes. Diferentes regiões dentro de uma única imagem frequentemente sofrem com tipos distintos de degradação (por exemplo, chuva vs. névoa) ou intensidades variadas da mesma degradação. Por exemplo, em uma imagem com chuva, apenas regiões específicas podem ser afetadas por estrias de chuva, enquanto outras áreas permanecem claras; inversamente, imagens com névoa podem exigir diferentes graus de correção em diferentes profundidades. Tratar toda a imagem com uma estratégia global e uniforme negligencia essa variabilidade intrínseca, levando a resultados de restauração subótimos, onde detalhes finos são excessivamente suavizados ou insuficientemente restaurados.

Metodologia: MGN-AIR

Para abordar a necessidade de controle refinado, o artigo propõe o MGN-AIR (Multimodal Guidance Network for All-In-One Image Restoration). Este framework desloca o paradigma da orientação de nível global para a restauração ao nível de pixel. A arquitetura é construída sobre uma estrutura clássica de codificador-decodificador U-Net, onde cada nível incorpora um proposto Bloco de Orientação Multimodal (MGB). O MGB consiste em três módulos sequenciais:

1. Módulo de Geração de Prompt Visual (VPGM)

Este módulo aprende a estimar um prompt visual ao nível de pixel que reflete a intensidade local da degradação.

• Mecanismo: Ele recebe características do nível anterior e emprega um mecanismo de autoatenção baseado em janelas. Para reduzir o custo computacional, a multiplicação de matrizes entre queries e keys é realizada no domínio de Fourier.
• Supervisão: No primeiro nível, o prompt visual é explicitamente supervisionado pela diferença pixel a pixel entre a imagem degradada e a verdade fundamental (normalizada para um mapa de degradação). Em níveis mais profundos, o prompt é aprendido implicitamente, permitindo que o modelo capture dependências de ordem superior sem supervisão direta.
• Saída: Um mapa espacial $V \in \mathbb{R}^{H \times W}$ indicando a severidade da degradação em cada pixel.

2. Módulo de Orientação Multimodal (MGM)

Este módulo integra o prompt visual aprendido com um prompt textual para gerar uma matriz de restauração abrangente.

• Prompt Textual: Codificado usando um codificador de texto CLIP congelado, este fornece informações semânticas de alto nível sobre o tipo de degradação (ex: "chuva", "névoa"), determinando o padrão de distribuição global.
• Prompt Visual: Fornece orientação espacial precisa sobre a severidade da degradação em pixels específicos.
• Fusão: A característica textual global é replicada para corresponder à resolução espacial e combinada com o prompt visual via multiplicação elemento a elemento. Uma convolução subsequente e uma ativação Sigmoid produzem uma Matriz de Restauração $P \in [0, 1]^{H \times W \times C}$. Esta matriz dita a estratégia de restauração para cada pixel, efetivamente dizendo ao modelo "onde olhar" e "como restaurar".

3. Módulo de Restauração ao Nível de Pixel (PLRM)

Este módulo executa a restauração real de forma adaptativa com base na orientação da Matriz de Restauração.

• Estratégia Adaptativa:
  • Pixels Fortemente Degradados: Para áreas com corrupção severa (ex: chuva pesada ou ruído), o modelo depende de informações contextuais vizinhas. Ele utiliza convoluções 2D padrão combinadas com convoluções dilatadas para expandir o campo receptivo.
  • Pixels Levemente Degradados: Para áreas com degradação menor (ex: névoa leve), o modelo aproveita padrões estruturais recorrentes dentro da imagem usando mecanismos de atenção espacial operando em janelas locais.
• Fusão: A característica final é uma combinação ponderada da saída baseada em convolução e da saída baseada em atenção, modulada pela matriz de restauração $P$.

Otimização

O modelo é treinado usando uma função de perda composta que inclui:

• Perda $L_1$ por Pixel: Para fidelidade absoluta de pixel.
• Perda Perceptual ($L_{Percep}$): Extraída de uma rede VGG pré-treinada para capturar similaridades semânticas e de textura.
• Perda SSIM: Para considerar padrões estruturais e dependências locais alinhadas com a percepção visual humana.
• Perda Auxiliar ($L_{Aux}$): Uma perda $L_1$ entre o prompt visual estimado e o mapa de degradação da verdade fundamental (no primeiro nível) para supervisionar a geração do prompt.

Principais Contribuições

1. Estratégia de Restauração ao Nível de Pixel: O artigo propõe um método para realizar a restauração de imagem ao nível de pixel em vez de globalmente. Este design oferece orientação localizada, permitindo melhor adaptabilidade a diversos tipos de degradação e intensidades variadas dentro de uma única imagem.
2. Rede de Orientação Multimodal (MGN-AIR): Os autores projetam uma nova rede composta pelo VPGM, MGM e PLRM. Este sistema impulsiona conjuntamente a restauração usando tanto o tipo de degradação (textual) quanto a intensidade da degradação (visual) para prever ações de restauração locais.
3. Desempenho de Estado da Arte: Experimentos extensos demonstram que o MGN-AIR alcança um desempenho superior em vários benchmarks, particularmente em cenários complexos envolvendo degradações compostas.

Resultados Experimentais

Os autores avaliaram o MGN-AIR em vários benchmarks cobrindo redução de ruído, remoção de chuva, desfoque, desnebulização, remoção de neve e realce de baixa luminosidade.

• Degradações Compostas (CDD11): No conjunto de dados CDD11, que inclui degradações compostas simples, duplas e triplas, o MGN-AIR superou métodos recentes de estado da arte. Especificamente, alcançou uma melhoria de 1,51 dB de PSNR sobre o MoCE-IR e uma melhora de 2,09 dB sobre o OneRestore em média.
• Benchmark de Cinco Degradações: Em um cenário unificado cobrindo cinco tipos de degradação, o MGN-AIR alcançou o melhor PSNR e SSIM médio. Mostrou uma melhoria de 2,29 dB sobre o baseline PromptIR e superou significativamente o modelo de múltiplos especialistas MoCE-IR usando apenas um especialista, validando a eficácia da orientação de grão fino.
• Benchmark de Três Degradações: O método mostrou melhorias significativas nas tarefas de desnebulização e remoção de chuva, com um PSNR médio de 34,61 dB, superando métodos existentes.
• Estudos de Ablação: A remoção do prompt visual, do prompt textual ou da estrutura de bloco de múltiplas camadas resultou em quedas significativas de desempenho, confirmando a necessidade de cada componente.
• Complexidade: Apesar da complexidade adicionada pela orientação multimodal, a variante leve (Ours-s) manteve contagens de parâmetros semelhantes aos baselines enquanto os superou, indicando que os ganhos derivam do design específico do MGB e não apenas da capacidade do modelo.

Significância e Alegações

O artigo afirma que o MGN-AIR representa uma mudança da "restauração uniforme" para o "empoderamento da restauração all-in-one com orientação multimodal ao nível de pixel". Os autores argumentam que os métodos existentes falham em abordar a distribuição não uniforme de degradações em imagens do mundo real. Ao aproveitar tanto os prompts textuais (para o tipo de degradação global) quanto os prompts visuais (para a intensidade da degradação local), o MGN-AIR permite um controle preciso e de grão fino sobre o processo de restauração.

A significância reside na capacidade de lidar com cenários complexos e realistas onde múltiplos tipos de degradação coexistem com intensidades variadas. Os resultados visuais demonstram que o MGN-AIR remove efetivamente as degradações (como estrias de chuva e neve) enquanto preserva detalhes locais sutis (como antenas ou texturas de telhado) que são frequentemente perdidos ou borrados por estratégias de restauração globais. Os autores concluem que sua abordagem estabelece um novo estado da arte para a restauração de imagem all-in-one, particularmente em configurações desafiadoras de degradação composta.