Resumo Técnico: Desafio de Restauração Facial do Mundo Real NTIRE 2026

1. O Problema

A restauração facial visa reconstruir imagens de alta qualidade (HQ) a partir de entradas de baixa qualidade (LQ) degradadas por desfoque, ruído, compressão e outras distorções. Este é um problema inerentemente mal-posto (ill-posed), pois a degradação severa remove uma grande quantidade de informação visual.

O desafio específico do NTIRE 2026 foca na restauração facial do mundo real, com dois objetivos principais e muitas vezes conflitantes:

1. Qualidade Perceptual e Realismo: Gerar saídas com detalhes ricos, texturas de pele naturais e alta fidelidade, sem restrições de recursos computacionais.
2. Consistência de Identidade: Garantir que a face restaurada mantenha a identidade da pessoa original, preservando características biométricas essenciais.

O desafio busca superar as limitações de métodos anteriores (como CodeFormer e GFPGAN) que, embora eficazes, muitas vezes falham em regiões de transição (rosto/fundo) ou em degradações severas, além de explorar novas tendências como modelos de difusão e foundation models.

2. Metodologia e Configuração do Desafio

2.1. Dataset e Avaliação

• Treinamento: Os participantes foram recomendados a usar o dataset FFHQ (70.000 imagens de alta qualidade), podendo utilizar outros datasets adicionais (como FFHQR) desde que não houvesse sobreposição com os dados de teste.
• Teste: O conjunto de teste consistiu em 450 imagens de baixa qualidade amostradas de cinco fontes diversas: CelebChild-Test, LFW-Test, WIDER-Test, CelebA e WebPhoto-Test. Essas imagens representam cenários reais complexos (crianças, idosos, baixa iluminação, variações de pose).
• Métricas de Avaliação:
  • Verificação de Identidade: Utilizou-se o modelo AdaFace para calcular a similaridade de cosseno entre as embeddings de identidade da imagem original e a restaurada. Um limiar variável (0.3 a 0.6) foi aplicado dependendo do dataset; equipes que falharam neste teste foram desclassificadas.
  • Qualidade da Imagem (IQA): Uma pontuação ponderada combinou múltiplas métricas no-reference (sem referência):
    • CLIPIQA, MANIQA, MUSIQ, Q-Align.
    • NIQE (onde pontuações mais baixas são melhores).
    • FID (Fréchet Inception Distance) em relação ao FFHQ.
  • Fórmula de Pontuação Final:
    $$Score = CLIPIQA + MANIQA + \frac{MUSIQ}{100} + \frac{QALIGN}{5} + \max(0, \frac{10 - NIQE}{10}) + \max(0, \frac{100 - FID}{100})$$

2.2. Participantes

O desafio recebeu 96 inscrições, com 10 equipes enviando modelos válidos. Após a verificação de identidade, 9 equipes foram classificadas no ranking final.

3. Principais Contribuições e Tendências Identificadas

A análise das soluções vencedoras revela cinco tendências técnicas dominantes na restauração facial moderna:

1. Domínio de Priors Generativos de Um Passo (One-Step):
   As equipes de topo (1º, 3º e 4º lugares) abandonaram os processos de difusão multietapa caros em favor de priors de difusão destilados ou de um único passo (ex: OSDFace, Z-Image, SDXL-Turbo). Isso permite alta qualidade perceptual com inferência rápida.

2. Refinamento Orientado a Métricas:
   As melhores equipes não pararam no gerador base. Elas implementaram estratégias de refinamento pós-treinamento ou em tempo de teste (test-time optimization) utilizando as próprias métricas do desafio (CLIPIQA, MANIQA) como sinais de recompensa para otimizar diretamente a qualidade perceptual.

3. Guia Semântico e Estrutural:
   Mesmo com geradores baseados em foundation models, a preservação da identidade e da anatomia facial exige guias explícitos. Métodos de 2º lugar (CEVI-KLETech) utilizaram análise facial semântica e correção no domínio de wavelets para aplicar diferentes níveis de refinamento em regiões específicas (olhos, boca, pele).

4. Designs Modulares Multi-etapa:
   A maioria das soluções vencedoras adotou pipelines de duas ou três etapas:

   • Etapa 1: Recuperação grosseira da estrutura e remoção de degradação severa.
   • Etapa 2: Refinamento perceptual e síntese de texturas de alta frequência.
   • Etapa 3 (Opcional): Pós-processamento ou correção de cor.

5. Adaptação de Foundation Models:
   Houve uma mudança clara de redes específicas para restauração facial para a adaptação de grandes geradores de imagem (como FLUX.2, Stable Diffusion XL, DiffBIR) usando técnicas eficientes como LoRA (Low-Rank Adaptation) e controle estrutural.

4. Resultados e Destaques das Equipes

O ranking final foi liderado pela equipe MiPlusCV, seguida por KLETech-CEVI, HONORAICamera, YuFans e guaguagua. A equipe BVI não foi classificada por falhar no teste de identidade (AdaFace).

• 1º Lugar: MiPlusCV

  • Abordagem: Pipeline de duas etapas.
  • Detalhes: Usa OSDFace para restauração grosseira, seguido por um restaurador de difusão de um passo baseado no modelo Z-Image.
  • Inovação: Otimização pós-treinamento baseada em recompensas usando CLIPIQA, MANIQA e MUSIQ.

• 2º Lugar: CEVI-KLETech

  • Abordagem: Correção Residual Guiada por Frequência Semântica (SA-FGRC).
  • Detalhes: Insere um módulo leve entre a etapa de difusão e a de naturalidade. Decompõe a imagem em bandas de frequência (Haar Wavelet) e aplica correções específicas por região (pele, olhos, boca) usando um parser facial (BiSeNet).

• 3º Lugar: HONORAICamera

  • Abordagem: Prior Generativo Baseado em Difusão.
  • Detalhes: Baseado no Z-Image-Turbo com estratégia de treinamento estilo OMGSR. Fixa o passo de tempo em 244 para equilibrar qualidade e eficiência em um único passo.

• 4º Lugar: YuFans

  • Abordagem: Otimização de Pixels Guiada por IQA no Tempo de Teste.
  • Detalhes: Usa SDFace (SDXL-Turbo) para a restauração inicial e, em seguida, realiza 10 passos de ascensão de gradiente (Adam) diretamente nos pixels da imagem restaurada para maximizar a pontuação do CLIPIQA, mantendo a fidelidade à saída inicial.

• 5º Lugar: guaguagua

  • Abordagem: Controle Estrutural Consciente de Degradação (DeSC-Face).
  • Detalhes: Baseado no FLUX.2. Codifica a imagem degradada em tokens latentes que atuam como condição principal e como entrada para um ramo de controle estruturado, permitindo que o modelo adapte a trajetória de restauração ao padrão de corrupção estimado.

5. Significado e Conclusão

O desafio NTIRE 2026 demonstra que o estado da arte em restauração facial do mundo real está em uma transição crítica:

1. Mudança de Paradigma: A dependência de redes CNN/Transformers tradicionais está sendo substituída pela adaptação de Foundation Models generativos (Difusão, LCMs).
2. Eficiência vs. Qualidade: É possível alcançar resultados de alta fidelidade com inferência de um único passo (one-step), eliminando a necessidade de amostragem iterativa demorada.
3. Importância da Otimização Específica: A simples aplicação de um modelo generativo não é suficiente; o sucesso depende de estratégias de refinamento direcionadas (controle semântico, otimização de métricas) para garantir que o realismo não comprometa a identidade.

Este trabalho fornece um benchmark robusto e um conjunto de soluções inovadoras que definem o caminho futuro para a restauração de rostos em cenários do mundo real, equilibrando a geração de detalhes realistas com a preservação rigorosa da identidade.