Resumo Técnico: Tokenização Hierárquica de Imagens para Super-Resolução de Imagens Multi-Escala

Declaração do Problema

A Super-Resolução de Imagens (ISR) visa gerar imagens de alta resolução (HR) a partir de entradas de baixa resolução (LR). Embora modelos Visuais Auto-Regressivos (VAR) recentes tenham mostrado promessa ao alinhar-se bem com o paradigma de "previsão de próxima escala", sua aplicação à ISR enfrenta duas limitações críticas:

1. Incapacidade de Gerar Escalas Intermediárias: Os métodos existentes de ISR baseados em VAR (por exemplo, VARSR) dependem de Quantização Residual (RQ), onde os resíduos são acumulados para reconstruir uma imagem final de resolução fixa. Os resíduos intermediários não garantem reconstruções semanticamente significativas em escalas inferiores. Consequentemente, esses modelos não podem produzir saídas intermediárias válidas (por exemplo, uma imagem upsampled 2×) durante uma única passagem direta; eles estão restritos a um fator de escala pré-definido e fixo.
2. Dependência de Grandes Recursos: As abordagens atuais mais avançadas frequentemente exigem modelos de backbone massivos (por exemplo, 1B+ parâmetros) ou conjuntos de dados extensos e cuidadosamente anotados (incluindo amostras negativas para orientação livre de classificador) para alcançar desempenho competitivo.

Metodologia

Os autores propõem uma nova estrutura que integra dois componentes-chave no pipeline de treinamento VAR para abordar as deficiências mencionadas: Tokenização Hierárquica de Imagens (HIT) e Regularização por Otimização Direta de Preferência (DPO).

1. Tokenização Hierárquica de Imagens (HIT)

O RQVAE padrão tokeniza uma imagem decompondo características latentes em uma sequência de resíduos, mas esses resíduos não estão inerentemente alinhados com escalas de imagem específicas. A abordagem HIT proposta modifica esse processo:

• Codificação Sequencial: Em vez de tokenizar a resolução total e depois reduzir a amostragem, a imagem de entrada é progressivamente reduzida para escalas-alvo (por exemplo, 1×, 2×, 4×).
• Sobreposição de Tokens: A tokenização é aplicada sequencialmente a essas versões com redução de amostragem. Crucialmente, os tokens gerados para escalas inferiores são reutilizados e compartilhados ao calcular resíduos para escalas superiores.
• Ajuste Fino: O vocabulário e o decodificador de um RQVAE pré-treinado são ajustados finamente usando um decodificador específico de escala e perdas de reconstrução para cada escala-alvo. Isso garante que o vocabulário seja semanticamente consistente entre diferentes resoluções.
• Resultado: Isso cria um "forte viés indutivo" onde o modelo aprende que os primeiros tokens representam estruturas semânticas grosseiras válidas em múltiplas escalas, permitindo que o decodificador reconstrua imagens válidas em resoluções intermediárias (por exemplo, 128×128, 256×256, 512×512) a partir da mesma sequência de tokens.

2. Regularização DPO

Para melhorar a qualidade da imagem sem depender de modelos de recompensa externos ou grandes conjuntos de dados negativos, os autores introduzem um termo de regularização baseado na Otimização Direta de Preferência (DPO):

• Mecanismo: O modelo é treinado para maximizar a verossimilhança dos tokens HR de verdade, penalizando simultaneamente a verossimilhança de tokens que se assemelham a uma simples upsample bilinear da entrada LR.
• Formulação: A função de perda é definida como $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$, onde $p(z_{HR})$ e $p(z_{LR})$ são as probabilidades das sequências de tokens HR e LR, respectivamente.
• Vantagem: Esta abordagem aproveita a própria capacidade do modelo de distinguir entre sequências HR e LR, eliminando a necessidade de VLMs externos ou coleta de amostras negativas.

Arquitetura e Treinamento

• Tamanho do Modelo: Os autores utilizam um transformer relativamente pequeno (310M parâmetros, 16 blocos) em comparação com os modelos de 1B+ parâmetros usados em trabalhos anteriores.
• Dados de Treinamento: O modelo é treinado em conjuntos de dados padrão de ISR (DIV2K, DIV8K, Flickr2k, OST e um subconjunto de FFHQ) sem corpora externos proprietários ou massivos.
• Condicionamento: Diferentemente do VARSR, que usa ControlNet, este método usa diretamente as características do codificador RQVAE da imagem LR upsampled como sinais de condicionamento.

Contribuições Principais

1. Primeira ISR Baseada em VAR Multi-Escala: O artigo introduz a primeira abordagem baseada em VAR capaz de decodificar escalas intermediárias para o espaço de imagem enquanto mantém consistência semântica entre as escalas, permitindo saída multi-escala em uma única passagem direta.
2. Forte Viés Indutivo via HIT: A Tokenização Hierárquica de Imagens proposta atua como um forte viés indutivo, permitindo que um modelo pequeno de 310M parâmetros alcance resultados state-of-the-art sem a necessidade de backbones grandes.
3. Treinamento Simplificado via DPO: A introdução de um termo de regularização baseado em DPO simplifica o processo de treinamento ao remover a dependência de amostras negativas anotadas em grande escala ou modelos de recompensa externos, resultando em nitidez e qualidade superiores.

Resultados Experimentais

O método proposto (H-VAR) foi avaliado em conjuntos de dados sintéticos (DIV2K-Val) e do mundo real (RealSR, DRealSR) contra baselines baseadas em GAN, difusão e AR.

• Capacidade Multi-Escala: Diferentemente das baselines (VARSR, Baseline) que falham em produzir imagens coerentes em escalas intermediárias (por exemplo, 256×256), o H-VAR reconstrói com sucesso imagens válidas nas escalas 1×, 2× e 4× a partir de uma única passagem.
• Desempenho:
  • No RealSR, o H-VAR atinge um PSNR de 25,55 e LPIPS de 0,256, superando o VARSR (PSNR 24,61, LPIPS 0,350) e outros métodos de difusão/GAN.
  • No DRealSR, o H-VAR atinge um PSNR de 28,73, superando o VARSR (28,16) e o StableSR (27,87).
• Eficiência: O modelo de 310M parâmetros supera significativamente o modelo VARSR de 1B parâmetros, exigindo menos recursos computacionais (tempo de inferência de 0,25s vs. 0,93s para o VARSR no DIV2K-Val).
• Ablação: A remoção do componente HIT resulta em uma queda significativa no desempenho, confirmando seu papel como um viés indutivo crítico. Da mesma forma, a remoção da regularização DPO leva a resultados mais desfocados e pontuações PSNR/LPIPS mais baixas.

Significado e Alegações

O artigo afirma avançar o paradigma de aplicação de VAR à ISR ao resolver a limitação de "escala fixa" inerente às formulações padrão de RQVAE. Ao introduzir a Tokenização Hierárquica de Imagens, os autores demonstram que é possível alcançar resultados de super-resolução state-of-the-art com um modelo compacto (310M parâmetros) treinado em conjuntos de dados padrão, sem a necessidade de dados proprietários massivos ou mecanismos complexos de orientação externa. O trabalho destaca que a estrutura da própria tokenização (HIT) é um poderoso motor de desempenho, atuando como um forte viés indutivo que guia o modelo em direção a representações multi-escala semanticamente significativas.