GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

1. Formulação do Problema

A super-resolução de imagem única (SR) visa reconstruir imagens de alta resolução (HR) a partir de entradas de baixa resolução (LR). Embora a aprendizagem profunda tenha avançado este campo, os métodos existentes enfrentam desafios significativos em cenários do mundo real que envolvem degradações complexas e desconhecidas.

• Limitações dos Métodos de Difusão Atuais: Métodos recentes baseados em difusão para SR (por exemplo, StableSR, SeeSR) aproveitam priores generativos poderosos de modelos de texto para imagem em larga escala (como o Stable Diffusion). No entanto, eles dependem de condicionamento por texto derivado de legendagem ou etiquetagem de imagens.
  • A Lacuna Semântica: As descrições em texto fornecem apenas conceitos semânticos de alto nível (por exemplo, "um gato", "uma rua"), mas carecem de informação visual alinhada espacialmente, geometria de alta granularidade e padrões de textura local necessários para uma restauração fiel.
  • Perda de Textura: Os objetivos de treinamento existentes frequentemente priorizam a fidelidade ao nível de pixel ou a consistência semântica, mas falham em modelar explicitamente as estatísticas de textura (padrões repetidos e correlações de características), levando a resultados excessivamente suavizados ou a artefatos.
• Eficiência: A amostragem de difusão multi-etapa é computacionalmente cara. Métodos de uma única etapa existem, mas frequentemente sofrem de suavização excessiva ou recuperação limitada de detalhes devido à dependência de prompts de texto e funções de perda simplificadas.

2. Metodologia: GramSR

Os autores propõem o GramSR, um quadro de SR baseado em difusão de uma única etapa que aborda as limitações acima através de duas inovações principais: substituir o condicionamento por texto por características visuais densas e introduzir uma estratégia de treinamento consciente de textura.

A. Condicionamento por Características Visuais

Em vez de usar prompts de texto, o GramSR condiciona o modelo de difusão em características visuais densas extraídas diretamente da entrada LR.

• Codificador: Um codificador DINOv3 pré-treinado é utilizado para extrair características visuais ao nível de patch ($F_{ViT}$) da imagem LR. Essas características capturam informações hierárquicas desde texturas locais até o contexto global, mantendo o alinhamento espacial com a entrada.
• Integração: Um adaptador MLP leve projeta essas características visuais no espaço de condicionamento do U-Net de difusão. O codificador DINOv3 permanece congelado durante o treinamento.

B. Estratégia de Treinamento LoRA em Três Estágios

Para desentrelaçar os objetivos conflitantes da SR (remoção de degradação, aprimoramento semântico e preservação de textura), o GramSR emprega uma estratégia de treinamento sequencial utilizando três módulos LoRA (Adaptação de Baixo Rango) distintos acoplados ao U-Net:

1. LoRA ao Nível de Pixel ($\Delta\theta_{pix}$):
   • Objetivo: Remover degradações (ruído, desfoque, artefatos de subamostragem).
   • Perda: Otimizada usando perda $\ell_2$ ($L_{MSE}$) para garantir reconstrução precisa ao nível de pixel e convergência estável.
2. LoRA ao Nível Semântico ($\Delta\theta_{sem}$):
   • Objetivo: Aprimorar o realismo perceptual e gerar detalhes semanticamente ricos.
   • Perda: Otimizada usando uma combinação de LPIPS (perda perceptual) e perdas de Distilação de Pontuação do Classificador (CSD), juntamente com $L_{MSE}$. O LoRA ao nível de pixel é congelado durante este estágio.
3. LoRA ao Nível de Textura ($\Delta\theta_{gram}$):
   • Objetivo: Impor consistência de textura e preservar estatísticas de características de segunda ordem.
   • Mecanismo: Calcula a Matriz de Gram das características do DINOv3. A matriz de Gram captura correlações entre localizações espaciais, codificando estatísticas de textura globais invariantes a arranjos espaciais locais.
   • Perda: Minimiza a diferença da norma de Frobenius entre as matrizes de Gram da saída SR e do ground truth ($L_{gram}$).
   • Treinamento: Ambos os LoRAs anteriores são congelados; apenas o módulo de textura é treinado usando uma função de perda conjunta que equilibra perdas de pixel, perceptuais e de Gram.

C. Inferência com Triplo Guia

Na inferência, o modelo permite controle flexível sobre o processo de restauração ajustando escalas de guia independentes ($\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$). A previsão final é uma soma ponderada do modelo base e das três contribuições LoRA, permitindo que os usuários troquem entre fidelidade estrutural e realismo de textura.

3. Principais Contribuições

1. Condicionamento Visual sobre Texto: O artigo demonstra que substituir prompts de texto abstratos por características visuais densas baseadas em DINOv3 melhora significativamente o alinhamento espacial e a recuperação de detalhes, fechando a lacuna entre priores semânticos e restauração ao nível de pixel.
2. Alinhamento de Matriz de Gram para Textura: A introdução de um LoRA dedicado ao nível de textura otimizado via perda de matriz de Gram modela explicitamente estatísticas de textura, um componente frequentemente negligenciado em SR baseada em difusão.
3. Desentrelaçamento Sequencial: A estratégia de treinamento em três estágios separa eficazmente a remoção de degradação, o aprimoramento semântico e o alinhamento de textura, prevenindo interferência entre os objetivos.
4. Eficiência: O quadro opera como um modelo de difusão de uma única etapa, oferecendo desempenho em tempo real enquanto alcança qualidade superior em comparação com métodos multi-etapa.

4. Resultados Experimentais

O método foi avaliado em benchmarks padrão (DIV2K, RealSR, DRealSR) e comparado com métodos de difusão de uma única etapa mais avançados (SinSR, OSEDiff, PiSA-SR, AdcSR).

• Desempenho Quantitativo:
  • O GramSR superou consistentemente os concorrentes em todos os conjuntos de dados.
  • No RealSR, alcançou o maior PSNR (26,81) e SSIM (76,68), reduzindo significativamente erros perceptuais (LPIPS: 23,05, DISTS: 17,91, FID: 100,71).
  • Mostrou força particular no RealSR e DRealSR (conjuntos de dados do mundo real), onde degradações complexas estão presentes, superando o concorrente mais próximo (PiSA-SR) por uma margem significativa tanto em fidelidade quanto em métricas perceptuais.
• Análise Qualitativa:
  • Comparações visuais mostraram que o GramSR produz texturas mais coerentes e menos artefatos do que o SinSR (que frequentemente tem texturas inconsistentes) ou o OSEDiff (que tende a ser excessivamente suavizado).
  • Preservou com sucesso estruturas de alta granularidade e padrões repetitivos que outros métodos falharam em reconstruir.
• Estudos de Ablação:
  • Condicionamento Visual: Substituir texto por características DINOv3 melhorou PSNR/SSIM e reduziu erros perceptuais.
  • LoRA de Textura: Adicionar o LoRA baseado em Gram reduziu ainda mais LPIPS, DISTS e FID, confirmando seu papel no aprimoramento do realismo de textura.
  • Estratégia de Treinamento: A abordagem sequencial de três LoRAs superou o treinamento conjunto ou estratégias de LoRA mescladas, provando a necessidade de desentrelaçar objetivos.
  • Generalização: O método funciona de forma robusta com vários codificadores visuais (CLIP, SigLIP, DINOv2/v3), com o DINOv3-B fornecendo o melhor compromisso entre capacidade de representação e precisão espacial.

5. Significado

O GramSR representa uma mudança significativa na restauração de imagens baseada em difusão, afastando-se de priores semânticos baseados em texto em direção a priores visuais alinhados espacialmente. Ao modelar explicitamente estatísticas de textura através do alinhamento de matriz de Gram, aborda uma lacuna crítica nos métodos atuais de SR generativa. O quadro oferece um novo paradigma para modelos de difusão de uma única etapa, provando que SR eficiente e em tempo real pode alcançar recuperação estrutural de alta fidelidade e geração de textura realista simultaneamente. Esta abordagem é particularmente valiosa para aplicações do mundo real onde as imagens de entrada sofrem de degradações complexas e desconhecidas e onde a preservação de textura de alta granularidade é crucial.