Resumo Técnico: SR-Prominência

Declaração do Problema

Métodos modernos de Super-Resolução de Imagem Única (SISR), particularmente aqueles que utilizam priores generativos (GANs, modelos de Difusão), melhoraram significativamente a nitidez perceptual. No entanto, eles frequentemente introduzem artefatos visuais — padrões não naturais, rostos borrados e distorções de textura — que degradam a qualidade percebida. As estruturas de avaliação existentes sofrem com duas limitações primárias:

1. Avaliação Binária: Conjuntos de dados atuais (por exemplo, DeSRA) e métodos de detecção tratam todos os defeitos localizados de forma igual, atribuindo rótulos binários (artefato presente/ausente) independentemente de o defeito ser perceptivelmente notável. Isso falha em distinguir entre falhas estruturais altamente perturbadoras e erros de textura quase invisíveis.
2. Desalinhamento de Métricas: Métricas tradicionais de referência completa (PSNR, SSIM) correlacionam-se mal com a percepção humana para saídas generativas, enquanto métodos de avaliação de qualidade de imagem sem referência (NR) e detectores de artefatos especializados frequentemente falham em generalizar através de conjuntos de dados diversos e configurações de referência.

O problema central é a falta de um alvo ponderado perceptualmente para avaliação de artefatos que quantifique com que frequência os espectadores notam um artefato específico, em vez de apenas se um artefato existe.

Metodologia

1. Definição de Prominência de Artefato

Os autores definem prominência de artefato como a fração de espectadores que julgam uma região destacada conter um artefato notável. Isso desloca o alvo de avaliação da presença binária de defeitos para uma medida graduada de impacto perceptual.

2. Protocolo de Anotação via Crowdsourcing

Para coletar dados de prominência, os autores projetaram um protocolo usando a plataforma Yandex.Tasks:

• Estímulos: Participantes visualizam pares de imagens: uma "Original" (a entrada de baixa resolução, ampliada via interpolação de vizinho mais próximo para o tamanho alvo para indicar que é a referência) e uma "Ampliada" (a saída SR).
• Destaque: Regiões de artefato são destacadas visualmente. Para garantir a avaliabilidade humana, máscaras de artefato brutas passam por pré-processamento morfológico (abertura, dilatação, fechamento) para incluir contexto e remover ruído esparsos.
• Tarefa: Participantes votam se a região destacada contém objetos ou texturas distorcidas.
• Controle de Qualidade: Cada imagem é avaliada por 30 participantes. Trabalhadores passam por fases de treinamento e teste; aqueles que falham em perguntas de controle são descartados. Uma análise de bootstrap determinou que 30 avaliadores fornecem um equilíbrio razoável entre custo e confiança (variabilidade de ±20%).
• Coleta de Dados: O protocolo foi aplicado para gerar SR-Prominência, um conjunto de dados contendo 3.935 máscaras de artefato.

3. Conjunto de Dados (SR-Prominência)

O conjunto compreende quatro componentes complementares cobrindo 15 métodos SR amplamente utilizados e suas variantes:

• Prominência-DeSRA: Máscaras reanotadas do conjunto de dados DeSRA existente (593 máscaras).
• Prominência-OpenImages: Imagens naturais diversas (1.523 máscaras) cobrindo vários tipos de conteúdo.
• Prominência-Urban100: Cenas estruturadas (873 máscaras) conhecidas por estressar métodos SR (texto, grades, padrões).
• Prominência-Urban100-HR: Um cenário realista usando imagens originais de alta resolução do Urban100 sem subamostragem sintética (946 máscaras), simulando um cenário onde nenhuma verdade fundamental de alta resolução (HR-GT) está disponível.

4. Protocolos de Benchmarking e Pontuação

O artigo introduz três mecanismos de avaliação:

• Benchmark Top-Artifact Descurado: Avalia modelos SR e detectores agrupando máscaras com base no modelo que as gerou ou na métrica que as detectou. O desempenho é medido pela prominência média e pelo número de máscaras "confiantes" (prominência ≥ 50%).
• Pontuação Livre de Limiares: Uma pontuação de correlação de Spearman entre o contraste do mapa de calor de um detector (dentro vs. fora da máscara) e a prominência obtida via crowdsourcing. Isso permite o benchmarking de novos métodos sem necessidade de crowdsourcing adicional.
• Protocolo Pseudo-GT: Para o cenário Urban100-HR (sem HR-GT), um modelo SR leve e resistente a artefatos (RLFN) é usado para gerar uma pseudo-verdade fundamental. Métricas de referência completa (SSIM, DISTS) são então calculadas entre a saída SR e esta pseudo-GT.

Principais Contribuições

1. Conceito de Prominência de Artefato: Introdução da "prominência de artefato" como um alvo graduado e centrado no espectador para avaliação de artefatos SR, indo além da detecção binária de defeitos.
2. Conjunto de Dados SR-Prominência: Construção de um conjunto de dados em grande escala (3.935 máscaras) com rótulos de prominência via crowdsourcing através de quatro cenários distintos (DeSRA, Open Images, Urban100, Urban100-HR) e 15 métodos SR.
3. Protocolos de Avaliação:
   • Um protocolo de pontuação que permite o benchmarking de novas métricas e detectores sem crowdsourcing adicional.
   • Um procedimento de pseudo-GT que permite a aplicação de métricas de referência completa em cenários realistas sem HR.
   • Uma linha de base de referência leve (fundindo características DISTS, ssm_jup e bd_jup via um MLP) para previsão de prominência de artefato.

Resultados Empíricos

• Máscaras Binárias são Insuficientes: A reanotação do DeSRA revelou que 48,2% de seus artefatos binários em laboratório não foram notados pela maioria dos espectadores. Isso confirma que rótulos binários capturam muitos defeitos que são perceptualmente irrelevantes.
• Desempenho de Métricas:
  • Métricas de Referência Completa: Métricas clássicas, particularmente SSIM e DISTS, forneceram sinais de prominência localizados surpreendentemente fortes, superando detectores de artefatos especializados em muitos casos.
  • Limitações Sem Referência: Métodos de IQA sem referência e detectores de artefatos especializados (por exemplo, LDL, DeSRA, PAL4VST) frequentemente falharam em generalizar através de conjuntos de dados e configurações de referência, mostrando correlações próximas de zero ou negativas com julgamentos humanos de prominência.
• Comportamento do Modelo SR:
  • Treinamento Consciente de Artefatos: Modelos especificamente treinados para prevenção de artefatos (por exemplo, LDL-SR) não produziram necessariamente os artefatos menos proeminentes; em alguns casos, produziram os mais proeminentes.
  • Arquiteturas Robustas: Modelos Transformer orientados para reconstrução (por exemplo, DRCT, HAT-L) demonstraram robustez superior, produzindo a menor prominência média e o menor número de máscaras confiantes em todos os componentes.
  • O Contexto Importa: Artefatos em cenas estruturadas (Urban100) e contextos semânticos como texto e arte foram significativamente mais proeminentes do que aqueles em texturas naturais (grama, água).

Significado e Alegações

O artigo alega que o SR-Prominência permite uma mudança de paradigma na avaliação de super-resolução:

• Do Binário para o Perceptual: Move o campo da simples detecção da presença de um defeito para a avaliação do impacto perceptual desse defeito.
• Utilidade Prática: Ao fornecer um protocolo de pontuação que não requer crowdsourcing adicional, o conjunto permite que pesquisadores futuros avaliem novas métricas e métodos SR contra a notabilidade humana de forma eficiente.
• Avaliação Realista: A inclusão do cenário Urban100-HR e do protocolo de pseudo-GT aborda a lacuna entre benchmarks sintéticos e implantação no mundo real onde a verdade fundamental de alta resolução está indisponível.
• Insights sobre Métricas: As descobertas desafiam a suposição de que detectores de artefatos especializados são superiores, sugerindo que métricas bem projetadas de similaridade estrutural e perceptual de referência completa podem ser mais eficazes na identificação de falhas notadas pelos espectadores.

Os autores concluem que a avaliação de artefatos SR deve levar em conta quais artefatos os espectadores realmente notam, em vez de tratar todos os defeitos localizados como iguais, para orientar melhor o desenvolvimento de métodos de super-resolução perceptualmente robustos.