Resumo Técnico: Fortalecendo Redes Adversárias Generativas Totalmente Convolucionais para Super-Resolução de Imagens Usando Medidas de Divergência

Declaração do Problema

A Super-Resolução de Imagem (SR) visa reconstruir uma imagem de Alta Resolução (HR) a partir de uma entrada de Baixa Resolução (LR). Este é um problema mal posto porque a transformação inicial LR é tipicamente não invertível e com perda de informação. Embora os métodos clássicos de interpolação falhem em gerar uma SR digna devido à sua dependência de informações locais, e as Redes Neurais Convolucionais (CNNs) profundas lutem com a generalização e distorção, as Redes Adversárias Generativas (GANs) ofereceram um avanço significativo. No entanto, os métodos de SR baseados em GAN existentes frequentemente sofrem com a perda de detalhes finos, a introdução de artefatos e o colapso de modo (mode collapse), particularmente quando treinados em conjuntos de dados menores. Além disso, muitas abordagens dependem de redes pré-treinadas para perda perceptual, o que pode introduzir viés, ou falham em modelar explicitamente a relação de distribuição entre as entradas LR e SR.

Metodologia: A Arquitetura SuRGe

Os autores propõem a SuRGe (Super-Resolution Generator), uma arquitetura de GAN totalmente convolucional projetada para abordar essas limitações através de três mecanismos primários: mistura hierárquica de características, novas funções de perda baseadas em divergência e estratégias de treinamento robustas.

1. Arquitetura do Gerador ($G$)

Ao contrário das abordagens padrão que realizam o up-scaling de 4x em uma única etapa ao final da rede, a SuRGe emprega uma estratégia de up-scaling em duas etapas (2x seguido de 2x) para mitigar distorções abruptas no espaço de características.

• Extração Hierárquica de Características: O gerador é dividido em metades esquerda e direita. A metade esquerda extrai características através de um bloco de convolução inicial ($C_0$) e um bloco gerador residual repetitivo ($R_0$).
• Mistura Adaptativa de Características: Para combinar características de baixo nível (de $C_0$) e de alto nível (de $R_0$), a SuRGe introduz módulos de mistura aprendíveis ($F_0$ e $F_1$). Esses módulos realizam uma combinação convexa de características de diferentes profundidades da rede usando pesos aprendíveis restritos por uma ativação Softmax. Isso permite que a rede selecione adaptativamente as características mais úteis para a reconstrução.
• Conexões de Salto (Skip Connections): A arquitetura utiliza conexões de salto para propagar características de baixo nível (ex: cores, texturas) através da rede, garantindo que detalhes minuciosos sejam recuperados após as etapas de up-scaling.
• Mecanismo de Up-scaling: Em vez de usar PixelShuffle ou convoluções transpostas, que podem introduzir artefatos de padrão de xadrez (checkerboard artifacts), a SuRGe emprega interpolação de vizinho mais próximo para o up-scaling, seguida de convoluções de estabilização.

2. Arquitetura do Discriminador ($D$)

O discriminador segue uma estrutura semelhante à do gerador para garantir embeddings próximos no espaço de características aprendido, mas inclui modificações específicas:

• Blocos Residuais Repetitivos: Utiliza blocos residuais com conexões de salto inter-sub-blocos.
• Ativação e Normalização: Emprega LeakyReLU para evitar gradientes esparsos e Normalização de Pixel (em vez de Batch Normalization) para evitar problemas de qualidade e aderir às restrições de WGAN-GP.
• Tamanhos de Kernel Progressivos: O número de filtros e os tamanhos de kernel aumentam gradualmente através dos blocos para equilibrar a captura de informações de baixo e alto nível e evitar o overfitting.

3. Funções de Perda

A SuRGe introduz uma nova combinação de funções de perda para guiar o gerador e o discriminador:

• Perda do Gerador ($L_G$):
  • Perda Adversária ($L_a$): Perda GAN padrão para distinguir a HR real da SR gerada.
  • Divergência de Jensen-Shannon (JS) ($L_{JS}$): Minimiza explicitamente a dissimilaridade entre as distribuições da SR gerada e a verdade fundamental (ground truth) HR ($p_{G(x)}$ e $p_y$).
  • Perda de Gromov-Wasserstein (GW) ($L_{GW}$): Uma medida de divergência entre espaços métricos de dimensões potencialmente diferentes. Esta é usada para minimizar a discrepância entre a distribuição de entrada LR ($p_x$) e a distribuição de saída SR ($p_{G(x)}$), impondo similaridade estrutural mesmo quando as dimensões diferem.
  • Pesagem Dinâmica: Em vez de pesos estáticos, os três componentes de perda são combinados usando uma combinação convexa calculada dinamicamente com base em Softmax. Isso permite que o modelo ajuste adaptativamente o foco de cada perda durante o treinamento.
• Perda do Discriminador ($L_D$):
  • Perda Wasserstein com Penalidade de Gradiente (WGAN-GP): Utilizada para treinar o discriminador para prevenir o colapso de modo e melhorar a qualidade da geração sem a complexidade do corte de pesos (weight clipping).

Principais Contribuições

O artigo afirma as seguintes contribuições primárias:

1. Primeira Aplicação de GW em GAN-SR: A SuRGe é apresentada como o primeiro modelo de super-resolução a utilizar a divergência de Gromov-Wasserstein (GW) para alimentar o aprendizado do gerador, modelando diretamente a relação entre as distribuições LR e SR.
2. Treinamento Baseado em Divergência: Afastando-se da similaridade perceptual enviesada por modelos pré-treinados, o gerador é treinado usando divergência JS (entre SR e HR) e divergência GW (entre LR e SR), juntamente com a perda adversária.
3. Mistura de Características Adaptativa: A introdução de um gerador que emprega eficientemente conexões de salto e módulos de mistura aprendíveis ($F_0, F_1$) para obter e combinar adaptativamente informações semânticas de diferentes níveis de representação de características.
4. Arquitetura Robusta: O uso de up-scaling de vizinho mais próximo e estratégias de normalização específicas para reduzir artefatos e o colapso de modo.

Resultados Experimentais

A eficácia da SuRGe foi avaliada em 10 conjuntos de dados de referência contra 28 competidores de estado da arte (incluindo métodos baseados em CNN, GAN e Transformer).

• Benchmarks Padrão: No Set5, Set14, BSD100 e Urban100, a SuRGe demonstrou desempenho superior. Em média, melhorou o PSNR e o SSIM em 4,26% e 5,72% respectivamente nos conjuntos de dados Set14, BSD100 e Urban100 em comparação com os melhores métodos existentes.
• Benchmarks Complexos: Em seis conjuntos de dados complexos adicionais (Kitti2012, Kitti2015, Middlebury, PIRM, OST300, MANGA109), a SuRGe superou o estado da arte com uma média de 17,59% em PSNR.
• Estudos de Ablação: Experimentos confirmaram que a adição progressiva de componentes (discriminador baseado em ResNet, tamanhos de kernel incrementais, perdas JS/GW e pesagem dinâmica) leva a ganhos de desempenho consistentes.
• Análise Qualitativa: Comparações visuais mostram que a SuRGe produz imagens com texturas mais finas, melhor fidelidade de cor e detalhes mais intrincados em comparação com SRGAN, BSRGAN, SWIN-IR e LTE, evitando o ruído excessivo ou a distorção vistos nas variantes do ESRGAN.

Significância e Alegações

O artigo afirma que a SuRGe oferece um avanço significativo no campo da super-resolução de imagem ao:

• Capacidades de SR Autênticas: A incorporação da relação LR-SR via divergência GW dota o modelo de "capacidades de super-resolução autênticas", indo além do simples mapeamento de pixels para o alinhamento de distribuições.
• Eficiência: Apesar de seu complexo cenário de perda e mistura de características, a SuRге mantém um baixo tempo de inferência e um tamanho de modelo menor em comparação com os métodos típicos de GAN-SR.
• Novidade Teórica: Representa a primeira exploração de medidas de divergência explícitas (especificamente GW) no contexto de GAN-baseada em super-resolução, fornecendo um novo framework teórico para alinhar as distribuições LR e SR.
• Desempenho: O modelo atinge resultados de estado da arte em diversos conjuntos de dados, demonstrando que uma abordagem totalmente convolucional com medidas de divergência cuidadosamente projetadas pode superar tanto as CNNs tradicionais quanto as complexas arquiteturas baseadas em Transformer em termos de métricas quantitativas e qualidade visual.