Prominence-Aware Artifact Detection and Dataset for Image Super-Resolution

Resumo Técnico: Detecção de Artefatos Consciente da Proeminência e Dataset para Super-Resolução de Imagens

1. O Problema

A Super-Resolução de Imagem Única (SISR) baseada em modelos generativos (como GANs, Transformers e Difusão) avançou rapidamente, melhorando a qualidade perceptual. No entanto, esses modelos frequentemente introduzem artefatos visuais (padrões não naturais, distorções de textura, rostos borrados) que degradam a qualidade percebida.

O problema central identificado pelos autores é que os métodos existentes de detecção de artefatos tratam todos os defeitos como binários e uniformes (presente ou ausente). Na realidade, o impacto perceptual varia drasticamente:

• Artefatos Proeminentes: Distorções em estruturas regulares (edifícios) ou objetos reconhecíveis (rostos humanos) são altamente perturbadoras e chamam a atenção.
• Artefatos Não Proeminentes: Distorções em texturas orgânicas (água, grama, terra) são frequentemente imperceptíveis ou ignoradas pelo observador humano.

Tratar esses casos como iguais leva a métodos de detecção que podem superajustar-se a artefatos irrelevantes e falhar em detectar os que realmente prejudicam a experiência do usuário. Além disso, datasets existentes (como o DeSRA) carecem de anotações sobre o grau de visibilidade (proeminência) dos artefatos.

2. Metodologia Proposta

Os autores propõem uma abordagem em três pilares: um novo dataset, uma métrica de proeminência e um método de detecção.

A. Novo Dataset e Coleta de Dados

• Dataset Proposto: Criado com 1.302 exemplos de artefatos gerados por 11 métodos SISR contemporâneos a partir de 500 imagens fonte.
• Anotação: Diferente dos datasets anteriores que usavam máscaras binárias, este dataset inclui pontuações de proeminência obtidas via crowdsourcing (Toloka.ai).
• Método de Coleta: Participantes visualizavam pares de imagens (Original vs. Upscaled) com regiões de artefato destacadas. Eles deveriam indicar se a região destacada continha uma distorção. A proeminência é calculada como a proporção de votos positivos (ex: 87% significa que 87% dos avaliadores notaram o artefato).
• Expansão do DeSRA: Os autores também coletaram pontuações de proeminência para os 593 artefatos do dataset DeSRA original, descobrindo que 48% deles passam despercebidos pela maioria dos observadores.
• Pós-processamento de Máscaras: Para facilitar a avaliação humana, as máscaras de artefato (geralmente muito "apertadas") foram expandidas morfologicamente (abertura, dilatação e fechamento) para incluir contexto, melhorando a capacidade dos avaliadores de identificar o defeito.

B. Métrica de Proeminência de Artefatos
O objetivo é prever um mapa de calor de proeminência espacial para uma imagem super-resolvida, onde valores mais altos indicam artefatos mais visíveis.

• Arquitetura: Um regressor leve (MLP - Perceptron Multicamadas) que funde três características (features) extraídas de métricas existentes:
  1. DISTS: Métrica de qualidade visual que captura distorções de textura (calculada em blocos de 16x16).
  2. ssm_jup: Adaptado de detectores de artefatos de cor pequena (baseado em LDL), operando em todos os canais RGB para capturar distorções de luminância.
  3. bd_jup: Uma soma ponderada de LPIPS (qualidade perceptual) e ERQA (preservação de bordas), aplicada em blocos.
• Ground Truth Pseudo (Pseudo-GT): Para permitir o uso de métricas de referência completa (full-reference) em cenários do mundo real onde a imagem de alta resolução (HR) não existe, os autores utilizam a saída de um método de SR em tempo real e robusto a artefatos (RLFN) como "pseudo-GT". Isso permite calcular as features sem a necessidade da imagem original HR.

C. Treinamento
O modelo é treinado para prever a pontuação de proeminência (ground truth crowdsourced) dentro da máscara de artefato e zero fora dela. A função de perda combina dois componentes L2: erro dentro da máscara e erro fora dela.

3. Principais Contribuições

1. Primeiro Dataset de Proeminência: Introdução de um dataset com 1.302 exemplos anotados com scores de proeminência crowdsourced, cobrindo 11 métodos SISR, além da reanotação do dataset DeSRA.
2. Método de Detecção Superior: Desenvolvimento de um método que modela a proeminência perceptual, superando abordagens existentes (como LDL, DeSRA, DISTS) na detecção de artefatos que realmente importam para o humano.
3. Aplicação em Fine-Tuning: Demonstração de que o método pode guiar o ajuste fino (fine-tuning) de modelos SISR para suprimir especificamente os artefatos proeminentes, melhorando a qualidade final sem degradar detalhes legítimos.
4. Validação de Pseudo-GT: Evidência de que métodos de SR em tempo real (como RLFN) podem servir como referência confiável para métricas de detecção de artefatos em cenários sem HR.

4. Resultados e Avaliação

• Desempenho Objetivo: O método proposto alcançou os melhores rankings em métricas como PR-AUC (Área sob a curva Precisão-Recall ponderada) e F1-score em comparação com métodos de estado da arte (LDL, DeSRA, DISTS, etc.) em ambos os datasets (proposto e DeSRA).
• Generalização: O modelo demonstrou capacidade de generalização entre diferentes famílias de arquiteturas SISR (CNN, Transformers e Difusão), indicando que os artefatos de diferentes modelos compartilham características perceptuais comuns.
• Análise de Robustez: Ao avaliar 11 modelos SISR, os autores descobriram que mesmo os métodos mais recentes e de alta qualidade (como SUPIR e StableSR) são altamente suscetíveis a gerar artefatos proeminentes.
• Fine-Tuning: Ao usar o mapa de proeminência para guiar o ajuste fino de modelos (substituindo regiões de artefato pela saída do RLFN), o método proposto obteve a melhor redução de artefatos e menor introdução de novos defeitos, superando o DeSRA e outras métricas.
• Transferibilidade: O método também mostrou boa transferência para a detecção de artefatos em compressão de imagem baseada em aprendizado (JPEG AI).

5. Significado e Impacto

Este trabalho muda o paradigma da avaliação de super-resolução de uma visão binária ("tem ou não tem artefato") para uma visão graduada e perceptual ("quão visível é o artefato").

• Para a Indústria: Permite o desenvolvimento de pipelines de SR que priorizam a eliminação de defeitos que irritam o usuário, em vez de tentar eliminar todas as imperfeições matemáticas, o que poderia levar a imagens excessivamente suavizadas.
• Para a Pesquisa: Fornece um benchmark mais realista e um dataset essencial para treinar modelos que entendem a psicologia da percepção visual humana.
• Limitações Futuras: Os autores sugerem que o conceito de proeminência pode ser estendido para super-resolução de vídeo (artefatos temporais como flickering) e para a detecção de artefatos semânticos (substituição de objetos), que são um desafio crescente em modelos generativos de última geração.

Em suma, o artigo estabelece que a proeminência perceptual é uma métrica crítica para a qualidade de imagem, e fornece as ferramentas (dataset e algoritmo) necessárias para otimizar modelos de SR com base no que o olho humano realmente percebe.