Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Este artigo apresenta um conjunto de testes baseados em medições psicofísicas da visão de baixo nível para avaliar a capacidade de métricas de qualidade de imagem e vídeo em capturar aspectos fundamentais da percepção humana, revelando limitações e comportamentos específicos de 34 métricas existentes que não são facilmente observados em protocolos de avaliação padrão.

O essencial

Imagine que você é um chef de cozinha tentando criar a receita perfeita para um prato que todo mundo ama. Você tem uma lista de ingredientes (os pixels da imagem) e quer saber se o prato final vai ficar delicioso para o paladar humano.

Agora, imagine que existem "robôs" (os métricos de qualidade de imagem) que prometem dizer se o prato ficou bom, sem você precisar provar. Alguns robôs são antigos e simples (como o PSNR), outros são super inteligentes e usam redes neurais (como o LPIPS ou VMAF).

O problema é: como sabemos se esses robôs realmente entendem o que o olho humano vê?

Até agora, a única forma de testar esses robôs era pedir para um monte de pessoas provar o prato e dar notas. Se o robô concordasse com a média das notas, ele era considerado "bom". Mas isso tem um defeito: as pessoas têm gostos diferentes, ficam cansadas ou podem não prestar atenção. É como tentar adivinhar o clima apenas olhando para o céu de um único dia.

A Grande Ideia do Artigo

Os autores deste artigo (da Universidade de Cambridge e da Netflix) tiveram uma ideia brilhante: em vez de apenas perguntar "o que você acha?", vamos testar como esses robôs pensam, comparando-os com a "biologia" do olho humano.

Eles criaram uma série de testes baseados na psicofísica (a ciência de medir como percebemos estímulos). Pense nisso como um "exame de vista" para robôs. Eles não perguntam se a imagem é bonita; eles perguntam: "Se eu mudar o contraste de uma cor específica, o seu robô percebe da mesma forma que um olho humano?"

Os Três Grandes Testes (A Analogia do Paladar)

Os autores testaram 34 robôs diferentes usando três tipos de desafios:

1. O Teste do "Sussurro" (Detecção de Contraste)

Imagine que você está em uma sala silenciosa.

• O desafio: Alguém sussurra um som muito baixo. Você consegue ouvir? E se o som for agudo ou grave?
• O que os robôs fazem: Eles tentam detectar um padrão de luz muito fraco em um fundo cinza.
• A descoberta: O olho humano é como um rádio sintonizado em uma frequência específica: ouvimos melhor sons médios e pior sons muito agudos ou muito graves.
  • O erro do SSIM: O robô SSIM (muito famoso) é como alguém que só ouve sons agudos. Ele ignora os detalhes do meio e foca demais nas bordas finas, achando que um pequeno ruído é um desastre, mesmo que o olho humano nem note.
  • O acerto do MS-SSIM: Uma versão mais nova desse robô aprendeu a "sintonizar" melhor, ouvindo as frequências médias, assim como nós.

2. O Teste do "Barulho de Fundo" (Mascaramento de Contraste)

Agora, imagine que você está tentando ouvir um sussurro, mas há uma música alta tocando ao fundo.

• O desafio: Se a música estiver tocando, você precisa de um sussurro muito mais alto para conseguir ouvir. Isso é o "mascaramento".
• O que os robôs fazem: Eles tentam ver se conseguem detectar um defeito numa imagem que já tem muita textura (como um casaco de lã ou uma floresta).
• A descoberta:
  • Robôs antigos (PSNR, SSIM): Eles agem como se estivessem em uma sala silenciosa. Mesmo com a "música" (textura) alta, eles continuam gritando que o sussurro (defeito) está lá. Eles não entendem que o olho humano ignora defeitos em áreas bagunçadas.
  • Robôs modernos (LPIPS, DISTS): Esses são os "ouvintes inteligentes". Eles percebem que, quando há muita textura, o olho humano não consegue ver pequenos defeitos. Eles simulam muito bem essa "cegueira seletiva" do cérebro.

3. O Teste do "Tempo e Cor" (Piscar e Cores)

• Piscar (Flicker): O olho humano é sensível a luzes que piscam em certas velocidades (como uma lâmpada velha). A maioria dos robôs de vídeo ignora isso, focando apenas em quadros estáticos. Apenas os robôs mais avançados (como o ColorVideoVDP) conseguem detectar esse "piscar" como nós.
• Cores: Se você pintar um círculo vermelho e um cinza com o mesmo "brilho", o olho humano pode achar que o vermelho é mais forte. Os robôs de cor antigos muitas vezes confundem isso, achando que o cinza é mais importante, ou vice-versa.

O Grande Mistério Resolvido: A "Constância"

Existe um fenômeno curioso: quando algo é muito brilhante ou muito colorido, nosso cérebro "acalma" a percepção. Se você aumentar o contraste de uma imagem muito, muito forte, o olho humano não acha que ela ficou 100% mais forte; ele acha que ficou apenas um pouco mais. É como se o cérebro dissesse: "Ok, já é forte o suficiente".

Os autores descobriram que nenhum dos robôs testados conseguiu entender essa regra. Todos eles continuaram gritando: "A imagem ficou 1000% mais forte!", mesmo quando o olho humano já estava saturado. É como se o robô não tivesse "freio" para a percepção de intensidade.

Conclusão: O Que Aprendemos?

Este artigo é como um "raio-X" para os robôs que avaliam a qualidade de filmes e fotos.

1. Robôs antigos (como PSNR e SSIM) são como calculadoras simples: contam pixels, mas não entendem a "arte" de como vemos. Eles erram feio em situações complexas.
2. Robôs modernos (baseados em Inteligência Artificial, como LPIPS) são surpreendentemente bons. Mesmo sem terem sido treinados especificamente para entender a biologia do olho, eles "aprenderam" sozinhos a simular como o olho humano ignora defeitos em áreas bagunçadas (mascaramento).
3. A Netflix e a Netflix: Como os autores trabalham na Netflix, isso é crucial. Significa que eles podem usar esses testes para criar algoritmos que comprimem os vídeos (economizando dados) sem que o espectador perceba a perda de qualidade, porque o algoritmo sabe exatamente o que o olho humano não vai notar.

Em resumo: O papel nos ensina que, para criar um robô que realmente "vê" como nós, não basta apenas comparar notas de gosto. Precisamos testar se ele entende os truques, as limitações e as "alucinações" do nosso próprio sistema visual. E, felizmente, a nova geração de robôs está começando a entender essas regras do jogo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo, estruturado conforme solicitado:

Título: Avaliação de Métricas de Qualidade através das Lentes de Medições Psicofísicas da Visão de Baixo Nível

1. O Problema

As métricas objetivas de qualidade de imagem e vídeo (como PSNR, SSIM, LPIPS e VMAF) são amplamente utilizadas para prever a qualidade visual percebida. No entanto, a maioria dessas métricas baseia-se em fórmulas manuais ou treinamento orientado a dados para alinhar-se a pontuações subjetivas (como MOS - Mean Opinion Score), sem incorporar explicitamente modelos de percepção humana.
A principal limitação da avaliação atual é a dependência exclusiva de correlações com dados subjetivos, que são afetados por variabilidade de observadores, ruído experimental e diferenças em protocolos de teste. Isso resulta em métricas cujo comportamento interno e características fundamentais (como sensibilidade a frequências espaciais ou mascaramento de contraste) permanecem pouco compreendidos, especialmente para métricas baseadas em aprendizado profundo cujas representações internas são "caixas-pretas".

2. Metodologia

Os autores propõem um novo framework de avaliação que utiliza estímulos psicofísicos controlados para caracterizar o comportamento de métricas de qualidade, em vez de depender apenas de correlações com escores subjetivos. O método simula experimentos clássicos de visão de baixo nível, comparando as respostas das métricas com modelos humanos estabelecidos e dados psicofísicos.

O framework divide-se em duas categorias principais de testes:

• A. Testes de Detecção:

  • Detecção de Contraste: Avalia a capacidade da métrica de detectar padrões (como patches Gabor) em fundos uniformes em diferentes frequências espaciais e níveis de contraste. O objetivo é verificar se a métrica segue a Função de Sensibilidade ao Contraste (CSF) humana.
  • Mascaramento de Contraste: Testa a detecção de um padrão em presença de um "mascarador" (ruído ou grade senoidal). Avalia se a métrica consegue modelar como o contraste de fundo afeta a visibilidade de distorções (incluindo o efeito de facilitação em baixos contrastes).
  • Detecção de Flicker (Cintilação): Avalia a sensibilidade temporal de métricas de vídeo a variações rápidas de luminância, comparando com a CSF temporal humana.

• B. Testes de Correspondência de Contraste (Matching):

  • Correspondência Espacial: Verifica se a métrica consegue igualar a magnitude percebida de contraste entre diferentes frequências espaciais. Testa especificamente a constância de contraste supra-limiar (onde o contraste percebido se torna constante em altos níveis, independentemente da frequência).
  • Correspondência de Direção de Cor: Avalia se a métrica equilibra corretamente o contraste percebido em diferentes direções cromáticas (acromático, vermelho-verde, amarelo-violeta).

Configuração Experimental:

• Foram avaliadas 34 métricas de referência completa (full-reference), incluindo tradicionais, baseadas em diferença de cor e baseadas em aprendizado profundo.
• Os estímulos foram gerados em espaço de cor linear e convertidos para sRGB, com parâmetros físicos assumidos (ex: 60 pixels por grau, 100 cd/m² de luminância de pico).
• Métricas de desempenho agregadas: Score de Alinhamento (AS) para testes de detecção e RMSE para testes de correspondência.

3. Contribuições Principais

• Novo Framework de Avaliação: Introdução de um conjunto padronizado de testes psicofísicos para analisar o comportamento de métricas de qualidade, complementando os métodos tradicionais baseados em correlação.
• Análise de "Caixa-Preta": Capacidade de revelar propriedades internas de métricas modernas (especialmente baseadas em Deep Learning) que não são evidentes em testes padrão.
• Recurso de Código Aberto: Promessa de liberação de um framework de avaliação de código aberto para a comunidade.

4. Resultados Chave

A análise de 34 métricas revelou padrões significativos e, por vezes, contra-intuitivos:

• Detecção de Contraste (CSF):

  • Métricas simples (PSNR, CIEDE2000) não respondem a frequências espaciais.
  • SSIM mostra uma resposta predominantemente de alta frequência (high-pass), superestimando distorções de alta frequência e subestimando as de média frequência, o que é inconsistente com a CSF humana.
  • MS-SSIM mitiga esse problema, apresentando uma resposta de banda passante mais próxima da CSF.
  • ColorVideoVDP teve o melhor alinhamento, pois é explicitamente construído sobre o modelo castleCSF.
  • Métricas de Deep Learning (LPIPS, DISTS) mostram características de banda passante, mas com picos de sensibilidade em frequências diferentes das preditas pela CSF.

• Mascaramento de Contraste:

  • Métricas tradicionais (PSNR, SSIM) mostram pouca sensibilidade ao mascaramento.
  • Métricas baseadas em Deep Learning (LPIPS, DISTS) demonstraram um comportamento notável: conseguem capturar tanto o aumento do mascaramento em altos contrastes quanto a facilitação (redução do mascaramento) em baixos contrastes, especialmente em mascaramento de fase incoerente. Isso sugere que representações de características profundas generalizam bem para efeitos de mascaramento, mesmo sem treinamento específico nesses dados.
  • VMAF e métricas baseadas em Transformers (AHIQ, TOPIQ) falham em modelar a facilitação em baixos contrastes, mostrando comportamento anômalo próximo ao limiar de detecção.

• Detecção de Flicker:

  • A maioria das métricas de vídeo falha em prever a sensibilidade temporal humana (pico em 8 Hz). Apenas FovVideoVDP e ColorVideoVDP conseguiram modelar corretamente a sensibilidade ao flicker, indicando que a maioria das métricas usa janelas temporais muito curtas.

• Constância de Contraste (Supra-limiar):

  • Falha Generalizada: Nenhuma das 34 métricas testadas conseguiu prever a constância de contraste supra-limiar (o "achatamento" da percepção de contraste em altos níveis).
  • Métricas baseadas em CSF (como ColorVideoVDP) mantêm a variação de contraste percebido mesmo em altos níveis, enquanto métricas sem processamento espacial (PSNR) mantêm a constância, mas falham em modelar a percepção em baixos contrastes.

• Correspondência de Cor:

  • Fórmulas de diferença de cor (CIEDE2000) subestimam diferenças de cor em contrastes supra-limiar.
  • Métricas baseadas em Deep Learning tendem a superestimar diferenças cromáticas.
  • ColorVideoVDP e FSIMc apresentaram os melhores resultados no equilíbrio de contraste entre canais de cor.

5. Significado e Conclusão

O estudo demonstra que a avaliação baseada apenas em correlação com MOS é insuficiente para entender as limitações e capacidades reais das métricas de qualidade.

• Insights sobre Deep Learning: Métricas como LPIPS e DISTS, embora não treinadas em dados psicofísicos de mascaramento, aprendem implicitamente a modelar efeitos complexos de mascaramento de contraste, superando métricas tradicionais.
• Limitações de Métricas Populares: Métricas amplamente usadas como SSIM e VMAF possuem viéses específicos (ex: SSIM superestima altas frequências; VMAF falha em baixos contrastes e flicker) que podem levar a otimizações subótimas em sistemas de compressão.
• Futuro: O framework proposto oferece uma ferramenta crucial para o desenvolvimento de novas métricas que devem ser validadas não apenas contra escores subjetivos, mas também contra os princípios fundamentais da visão humana de baixo nível.