Resumo Técnico: NTIRE 2026 – Super-Resolução de Imagens do Mundo Real em Dispositivos Móveis

1. Problema e Contexto

A Super-Resolução de Imagem (SR) visa reconstruir imagens de alta resolução (HR) a partir de suas contrapartes de baixa resolução (LR). Embora existam muitos benchmarks tradicionais que assumem degradações simples (como downsampling bicúbico), o cenário do mundo real é muito mais complexo, envolvendo ruído de sensor, artefatos de compressão e borrões desconhecidos.

O principal desafio abordado neste trabalho é a desproporção entre a qualidade da reconstrução e a viabilidade de implantação em dispositivos móveis.

• Desafio: Modelos de ponta (como GANs avançados, Transformers e Modelos de Difusão) oferecem realismo perceptual superior, mas exigem bilhões de parâmetros e grandes orçamentos computacionais, tornando-os inviáveis para inferência em tempo real em smartphones.
• Objetivo do Desafio: Desenvolver soluções de SR que recuperam imagens HR (fator de escala ×4) de degradações desconhecidas, mantendo-se eficientes o suficiente para rodar em hardware móvel (limites estritos de parâmetros, FLOPs e operadores suportados por chips de IA móveis).

2. Metodologia e Configuração do Desafio

2.1. Dataset e Tarefas

• Datasets: Foram utilizados DIV2K (1.000 imagens) e LSDIR (86.991 imagens).
• Configuração: Pares LR-HR construídos com fator de downsampling ×4.
• Restrições Móveis: Os modelos devem ser executáveis no chip MediaTek Dimensity 8400 com precisão FP16. O tamanho de entrada é 128×128 e a saída 512×512.

2.2. Métricas de Avaliação

A avaliação é um equilíbrio entre Qualidade Perceptual e Velocidade de Inferência:

1. Qualidade Perceptual (Score): Uma combinação ponderada de seis métricas de avaliação de qualidade de imagem (IQA):
   • LPIPS, DISTS (distâncias de referência completa).
   • CLIP-IQA, MANIQA, MUSIQ, NIQE (métricas sem referência).
   • Fórmula: Score = (1-LPIPS) + (1-DISTS) + CLIP-IQA + MANIQA + (MUSIQ/100) + max(0, (10-NIQE)/10).
2. Velocidade (Speedup): Razão entre o tempo de inferência do modelo baseline (OSEDiff) e o tempo do modelo submetido no hardware alvo.
3. Pontuação Final: FinalScore = 2 * Score * Speedup^0.2. Isso recompensa soluções que equilibram alta qualidade visual com baixa latência.

3. Contribuições Chave e Tendências Metodológicas

O artigo analisa 16 equipes que alcançaram pontuações válidas, destacando cinco tendências principais que definiram o estado da arte (SOTA) para SR móvel:

3.1. Dominância de Modelos de Difusão de "Um Passo" (One-Step)

Em vez de usar difusão tradicional multi-passos (lenta), as equipes adotaram frameworks de um passo baseados em Stable Diffusion (ex: OSEDiff, TADSR, PiSA-SR).

• Inovação: Ajuste fino de alinhamento latente e orientação semântica para evitar super-aperfeiçoamento instável.
• Exemplo: A equipe TODSR propôs o Latent-Timestep Alignment (LSA) para ancorar características de baixa qualidade na trajetória de difusão, reduzindo artefatos alucinados.

3.2. Destilação de Conhecimento e Compressão

Para atender às restrições de memória e FLOPs, a destilação foi crucial.

• Estratégia: Transferir conhecimento de modelos "professores" pesados (baseados em difusão) para modelos "alunos" leves.
• Exemplo: A equipe SamsungAICamera utilizou compressão adversarial de difusão, podando redes U-Net e usando decodificadores leves (TAESD), mantendo a riqueza perceptual com custo computacional reduzido.

3.3. Arquiteturas Híbridas e Refinamento Explícito

Para resolver o trade-off entre consistência estrutural (ponto forte de GANs) e riqueza de textura (ponto forte de difusão), várias equipes usaram ensembles.

• Estratégia: Combinar saídas de modelos baseados em GAN (ex: Real-ESRGAN) e difusão (ex: DiffBIR).
• Exemplo: A equipe YuFans fundiu as saídas com uma proporção fixa (70% difusão, 30% GAN) e aplicou pós-processamento leve, obtendo estabilidade estrutural e detalhes perceptivos.

3.4. Otimização Orientada a Métricas (IQA-Aware)

O treinamento não focou apenas em fidelidade de pixels (L1/L2), mas diretamente nas métricas de avaliação do desafio.

• Método: Uso de funções de perda que incluem preditores de qualidade sem referência (MANIQA, MUSIQ, CLIP-IQA) e distâncias perceptuais (LPIPS, DISTS).
• Exemplo: A equipe VIPSL e Antman ajustaram seus objetivos de otimização para maximizar diretamente a pontuação final do desafio, usando fine-tuning em múltiplos estágios.

3.5. Curriculums de Ajuste Fino (Fine-Tuning)

O treinamento evoluiu de uma única fase para pipelines multi-estágios:

1. Adaptação Base: Reconstrução estrutural ou degradações sintéticas simples.
2. Adaptação de Domínio: Ajuste para degradações do mundo real complexas.
3. Refinamento Semântico/Perceptual: Ajuste fino com LoRA (Low-Rank Adaptation) focado em métricas de qualidade.

4. Resultados

• Participação: 108 inscritos, com 16 equipes finalistas.
• Campeão (Rank 1): VIPSL.
  • Utilizou uma pipeline eficiente baseada em PLKSR-Rep com ajuste fino orientado a IQA.
  • Focou em compactação do backbone (64 dimensões, 12 blocos) e estabilidade de treinamento.
  • Pontuação Total: 42.21.
• Outros Destaque:
  • Antman (Rank 2): Baseado em RRDBNet com otimização de objetivo perceptual.
  • SamsungAICamera (Rank 3): Destilou um modelo de difusão de um passo (OSEDiff) para uma arquitetura leve.
  • TODSR (Rank 4): Focado em alinhamento latente e score distillation assíncrono.

A Tabela 1 do artigo mostra que a equipe vencedora (VIPSL) conseguiu um Speedup de 113.85x em relação ao baseline OSEDiff, mantendo uma pontuação perceptual muito alta, demonstrando que é possível atingir alta qualidade com latência extremamente baixa.

5. Significado e Conclusão

Este trabalho estabelece um novo marco para a Super-Resolução em Dispositivos Móveis. As conclusões principais são:

1. Viabilidade de Difusão em Tempo Real: Modelos de difusão de um passo, quando devidamente otimizados e destilados, podem superar métodos tradicionais (como GANs puros) em realismo perceptual, mesmo sob restrições móveis severas.
2. Importância da Eficiência: A simples aplicação de modelos grandes não é suficiente; estratégias de compressão (podagem, destilação, LoRA) são obrigatórias para implantação prática.
3. Otimização Perceptual Direta: O sucesso das equipes vencedoras demonstra que otimizar diretamente para métricas de IQA (em vez de apenas erro de pixel) é essencial para o mundo real.
4. Padrão de Avaliação: O desafio introduziu um protocolo robusto que avalia não apenas a imagem gerada, mas também a sua viabilidade de execução em hardware específico, preenchendo a lacuna entre pesquisa acadêmica e produto comercial.

O código e os modelos pré-treinados foram disponibilizados publicamente, facilitando o avanço futuro da pesquisa em restauração de imagens eficiente.