Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

Este artigo de posicionamento defende que a avaliação de sistemas modernos de processamento visual deve abandonar a primazia de métricas objetivas de qualidade de imagem em favor de uma abordagem centrada no ser humano, contextual e detalhada, para evitar que a divergência entre resultados métricos e percepção humana restrinja a inovação e desvie o progresso da pesquisa.

O essencial

Imagine que você é um chef de cozinha renomado. Por anos, a única forma de julgar se o seu prato estava bom era pesando os ingredientes com uma balança de precisão. Se a receita pedia 100g de farinha e você usou exatamente 100g, o prato era um sucesso. Se usou 101g, era um fracasso.

O problema é que, com o tempo, a culinária evoluiu. Hoje, os chefs não querem apenas seguir receitas exatas; eles querem criar sabores novos, texturas surpreendentes e pratos que façam as pessoas sorrirem. Mas, na comunidade de pesquisa de visão computacional (que cria softwares para "ver" e melhorar imagens), ainda estamos obcecados com aquela velha balança.

Este artigo é um manifesto dizendo: "Chega de pesar os ingredientes! Vamos provar a comida!"

Aqui está a explicação do que os autores estão dizendo, usando analogias do dia a dia:

1. O Problema da "Balança Cega" (Métricas vs. Humanos)

Durante muito tempo, os cientistas mediram a qualidade das imagens restauradas (como fotos antigas arrumadas ou imagens borradas melhoradas) usando fórmulas matemáticas chamadas métricas (como PSNR e SSIM).

• A analogia: Imagine que você tem uma foto borrada de um cachorro. O computador tenta "adivinhar" os pelos.
  • O método antigo (Métricas): O computador olha para a foto original e diz: "Você não desenhou exatamente o mesmo pelo na mesma posição. Nota: 50/100."
  • O método novo (IA Generativa): A IA cria pelos novos, super realistas, que parecem verdadeiros, mas não são exatamente iguais aos da foto original.
  • O conflito: As fórmulas antigas punem essa criatividade. Elas dão nota baixa para a foto linda e realista porque ela não é uma cópia pixel-perfect da original. É como se um juiz de culinária rejeitasse um bolo delicioso porque o açúcar foi colocado em uma ordem diferente da receita original.

2. A Armadilha dos "Pontos de Leaderboard"

Como os pesquisadores precisam publicar artigos e ganhar reconhecimento, eles começam a treinar suas IAs não para fazer imagens bonitas para humanos, mas para fazer as fórmulas matemáticas ficarem felizes.

• A analogia: É como um aluno que estuda apenas para decorar as respostas de um teste de múltipla escolha, em vez de aprender a matéria. Ele tira nota 10 no exame, mas não sabe resolver um problema real.
• O resultado: As IAs estão criando imagens que têm "pontuação alta" no teste, mas que parecem estranhas, com texturas exageradas ou rostos distorcidos, porque a IA aprendeu que "mais detalhes agudos = nota maior", mesmo que isso pareça artificial para um olho humano.

3. O Perigo das "Falsas Melhorias"

O artigo mostra que as novas ferramentas de avaliação (que tentam imitar o olho humano) também estão sendo enganadas.

• A analogia: Imagine que você passa um brilho excessivo em uma foto de uma paisagem. A foto fica mais "nítida" e brilhante. As novas métricas dizem: "Uau! Nota máxima! Muito detalhe!"
• A realidade: Para um humano, aquela foto parece fake, com cores estranhas e sem graça. As métricas estão sendo "viciadas" em ver apenas ruído e bordas, confundindo "barulho" com "qualidade". É como confundir um filme com muitos efeitos especiais (mas sem roteiro) com um filme de cinema premiado.

4. O Que Eles Querem Mudar? (A Solução)

Os autores não dizem para jogar as métricas fora. Elas são úteis, como uma régua para medir o tamanho de uma mesa. Mas a régua não pode dizer se a mesa é bonita ou confortável.

Eles propõem uma mudança de mentalidade:

• Do "Tamanho" para o "Gosto": Em vez de apenas olhar para o número na tela, precisamos perguntar: "O ser humano gosta disso?"
• Contexto é Rei: Uma foto de um desenho animado precisa de um tipo de qualidade; uma foto de um rosto humano precisa de outra. Não dá para usar a mesma régua para tudo.
• A Nova Regra: A avaliação deve ser humana. Isso significa fazer mais testes com pessoas reais, entender o que elas preferem em diferentes situações (rostos, paisagens, texturas) e usar isso como o guia principal, não o número do computador.

Resumo Final

O artigo diz que a tecnologia de melhorar imagens cresceu muito (agora ela "cria" coisas novas, não apenas conserta o velho), mas a forma como a avaliamos ficou parada no passado.

Estamos correndo atrás de números que não significam nada para a experiência real. É hora de parar de olhar apenas para o placar do jogo e começar a assistir à partida de verdade. Se a imagem parece boa para nós, humanos, então ela é boa. Se o computador diz que é perfeita, mas parece estranha, o computador é que precisa ser reprogramado, não a nossa percepção.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo de posição "Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered", apresentado em português:

Título: Avaliação de Processamento Visual Deve Ser Centrada no Humano, Não na Métrica

1. O Problema

O artigo identifica uma divergência crítica e crescente entre as métricas objetivas de avaliação de qualidade de imagem (IQA - Image Quality Assessment) e a percepção humana real, especialmente na era dos métodos de processamento visual baseados em geração (GANs e modelos de Difusão).

• Desalinhamento Histórico: Tradicionalmente, o progresso em tarefas como restauração de imagem e super-resolução foi impulsionado pela otimização de métricas de referência completa (Full-Reference), como PSNR e SSIM. No entanto, esses métricas foram projetadas para medir distorção de pixels e falham ao capturar a qualidade perceptual de detalhes sinteticamente gerados.
• Limitação das Novas Métricas: Mesmo métricas de referência parcial ou sem referência (No-Reference) mais recentes, como LPIPS, MUSIQ, MANIQA e CLIP-IQA, demonstraram falhas. Elas tendem a favorecer excessivamente variações de alta frequência (como super-afiamento ou texturas irregulares), permitindo que modelos "triquem" as pontuações sem melhorar a qualidade visual real ou a coerência semântica.
• Inércia da Pesquisa: A comunidade acadêmica continua a priorizar a melhoria de pontuações em benchmarks como critério principal para publicação, o que restringe a inovação e desvia o foco da experiência do usuário final.

2. Metodologia e Análise

Os autores não propõem um novo algoritmo de restauração, mas realizam uma análise crítica e empírica baseada em:

• Análise de Tendências (2014–2025): Revisão sistemática de modelos de restauração (de SRCNN a HYPIR) e sua adoção de diversas métricas IQA (Tabela 1).
• Experimentos Comparativos: Uso do benchmark SRIQA para comparar o desempenho de modelos orientados a PSNR, baseados em GANs e baseados em Difusão (como SUPIR e StableSR) sob diferentes métricas.
• Estudos de Usuário e Análise de Cenários: Realização de estudos de preferência humana segmentados por cenários semânticos (rostos, arquitetura, texturas, desenhos) para demonstrar que a preferência humana não é unimodal.
• Testes de Robustez: Demonstração de como manipulações simples (como Unsharp Masking ou remoção de anti-aliasing) podem inflar artificialmente as pontuações de métricas de referência sem referência, expondo sua vulnerabilidade.
• Análise de Escala: Comparação entre o tamanho dos conjuntos de dados e a capacidade dos modelos IQA atuais (geralmente <200M parâmetros) versus os modernos modelos de restauração generativa (bilhões de parâmetros e dados na escala de 20M de imagens).

3. Principais Contribuições

• Posição Central: O artigo argumenta que as métricas não devem ser o objetivo final da pesquisa, mas sim ferramentas auxiliares. A avaliação deve ser reequilibrada para ser centrada no humano, consciente do contexto e de alta granularidade.
• Evidência de Falha de Métricas:
  • PSNR/SSIM: Favorecem suavização excessiva, penalizando detalhes realistas gerados.
  • LPIPS: Ainda baseado em similaridade de características profundas, falha em distinguir entre detalhes realistas e artefatos de alta frequência indesejados.
  • Métricas de Aprendizado (MUSIQ, MANIQA, CLIP-IQA): Tendem a superajustar (overfit) para conteúdo de alta frequência, premiando imagens "super-afiadas" ou sinteticamente ricas em ruído, mesmo quando visualmente desagradáveis.
• Importância da Avaliação por Cenário: Demonstração de que um modelo pode ser superior em rostos, mas inferior em desenhos ou arquitetura. Métricas globais (um único número) ocultam essas nuances críticas.
• Identificação da Lacuna de Escala: Destaca que os modelos IQA atuais são muito menores e treinados em dados menos complexos do que os modelos de restauração que avaliam, limitando sua capacidade de julgamento semântico.

4. Resultados Chave

• Divergência Perceptual: Em testes com modelos de difusão, as métricas tradicionais e até as novas métricas de aprendizado frequentemente ranqueiam modelos inferiores (baseados em GAN ou PSNR) acima de modelos superiores (baseados em difusão) que produzem resultados visualmente mais coerentes e realistas.
• Vulnerabilidade a Manipulação: Imagens com over-sharpening (super-afiamento) ou texturas artificiais recebem pontuações mais altas em métricas como MUSIQ e CLIP-IQA do que imagens com qualidade visual natural, mas menos "agressivas" estatisticamente.
• Preferência Humana Variável: Estudos de usuário mostram que a preferência por um modelo (ex: SUPIR vs. HAT) varia drasticamente dependendo do tipo de conteúdo (ex: 77,7% preferem HAT em desenhos à mão, enquanto SUPIR é preferido em fotos reais).
• Falta de Avaliação Humana: A maioria dos trabalhos recentes ainda carece de estudos de usuário robustos, dependendo quase exclusivamente de tabelas de métricas numéricas.

5. Significado e Direções Futuras

O artigo propõe uma mudança de paradigma na comunidade de visão computacional:

• Reformulação da Avaliação: A comunidade deve adotar protocolos de avaliação que incluam estudos de usuários escaláveis, reprodutíveis e analisáveis como parte central, não apenas como um experimento suplementar.
• Métricas Multi-dimensionais: Em vez de um único escore, a avaliação deve fornecer feedback estruturado sobre validade semântica, realismo de detalhes, conforto visual e consistência estilística.
• Evolução das Métricas IQA: O desenvolvimento de IQA precisa acelerar para acompanhar a tecnologia de restauração. Isso inclui:
  • Aumento da escala de dados e capacidade dos modelos IQA.
  • Integração de Modelos de Linguagem Visual (VLMs) e Grandes Modelos de Linguagem (LLMs) para compreensão semântica de nível superior.
  • Capacidade de distinguir entre degradação indesejada e características intencionais (ex: desfoque de profundidade vs. desfoque de movimento).
• Conclusão Final: O progresso no processamento visual deve ser medido pela melhoria na experiência humana e na utilidade prática, não pela otimização de leaderboards. Métricas devem servir à percepção humana, e não o contrário.