Vision-Language Models vs Human: Perceptual Image Quality Assessment

Título: Modelos Visão-Linguagem vs. Humanos: Avaliação Perceptiva da Qualidade de Imagem

1. Problema e Motivação

A avaliação perceptiva da qualidade de imagem (IQA - Image Quality Assessment) é fundamental no processamento computacional de imagens. Tradicionalmente, os experimentos psicofísicos com observadores humanos são considerados o padrão-ouro mais confiável. No entanto, esses experimentos são caros, demorados e difíceis de escalar.

Com o avanço dos Modelos Visão-Linguagem (VLMs), surge a questão: será que esses modelos podem aproximar os julgamentos perceptivos humanos de forma confiável? Se sim, poderiam acelerar o desenvolvimento de algoritmos ao permitir testes rápidos de hipóteses antes de estudos humanos custosos. O desafio reside no fato de que atributos como contraste e coloridos são subjetivos, dependentes do contexto e influenciados por interações sutis, o que torna a avaliação automática complexa.

2. Metodologia

Os autores realizaram uma avaliação sistemática comparando seis VLMs (quatro proprietários e dois de pesos abertos) com dados psicofísicos humanos existentes.

• Dataset: Baseado em um experimento anterior envolvendo 10 imagens HDR renderizadas por 7 operadores de mapeamento de tons (TMOs), gerando 70 imagens.
• Protocolo de Avaliação:
  • Humanos: 20 observadores realizaram comparações pareadas (escolha forçada) para três atributos: Contraste, Colorido (Colorfulness) e Preferência Geral. Os dados foram convertidos em escores padronizados (z-scores) usando a Lei de Julgamento Comparativo de Thurstone.
  • VLMs: Os mesmos pares de imagens foram submetidos aos modelos via API (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.2, Grok-4.1, InternVL-3.5, Qwen3-VL).
  • Prompting: Utilizou-se um prompt estruturado de escolha forçada para os três atributos, com as imagens anonimizadas (A e B) para evitar viés. Cada par foi avaliado 3 vezes por modelo para verificar consistência.
• Análise: Os dados dos VLMs foram processados da mesma forma que os humanos (z-scores) e comparados através de:
  1. Consistência intra-modelo (variabilidade entre repetições).
  2. Concordância inter-modelo (variabilidade entre diferentes VLMs).
  3. Alinhamento com dados humanos (correlação de Spearman).
  4. Análise de ponderação de atributos (regressão linear para entender como contraste e colorido influenciam a preferência geral).
  5. Análise de separabilidade perceptiva (como a dificuldade da cena afeta o acordo).

3. Principais Contribuições

1. Primeiro Benchmark Sistemático: Comparação direta de seis VLMs de ponta contra dados psicofísicos humanos estabelecidos para IQA.
2. Descoberta de Variabilidade Dependente de Atributos: Demonstração de que os modelos não são uniformemente bons; um modelo pode ser excelente em colorido e ruim em contraste, e vice-versa.
3. Identificação de Trade-offs: Revelação de que alta consistência interna de um modelo não garante alinhamento com a percepção humana.
4. Análise de Contexto: Evidência de que o acordo entre humanos e VLMs aumenta quando as diferenças perceptivas entre as imagens são mais claras (alta separabilidade).

4. Resultados Chave

• Alinhamento Humano-VLM (Correlação de Spearman - $\rho$):

  • Colorido: Claude e Qwen lideraram com $\rho = 0.93$, seguidos por Intern ($\rho = 0.92$).
  • Contraste: Qwen ($\rho = 0.86$) e Gemini ($\rho = 0.79$) tiveram o melhor desempenho. Intern teve desempenho muito pobre ($\rho = 0.18$).
  • Preferência Geral: GPT foi o modelo mais equilibrado e alinhado, alcançando $\rho = 0.86$ e identificando corretamente o modelo de renderização de melhor qualidade (Top-1).
  • Observação: Nenhum modelo foi perfeito em todos os atributos simultaneamente.

• Consistência vs. Alinhamento Humano (Trade-off Contraintuitivo):

  • Claude apresentou a maior consistência interna (baixa variabilidade, < 2%), mas teve alinhamento moderado com humanos em contraste ($\rho = 0.54$). Isso sugere que ele é "estável, mas enviesado".
  • GPT teve maior variabilidade interna (4-9%), mas o melhor alinhamento humano. Isso sugere que uma certa variabilidade na resposta do modelo pode capturar melhor a dependência contextual da percepção humana.

• Ponderação de Atributos:

  • Tanto humanos quanto a maioria dos VLMs atribuem mais peso ao colorido do que ao contraste na avaliação da preferência geral.
  • Exceções notáveis: O GPT deu mais peso ao contraste (estratégia mais equilibrada), enquanto o Grok dependeu quase exclusivamente do contraste, ignorando o colorido.

• Separabilidade Perceptiva:

  • O acordo entre humanos e VLMs aumenta significativamente quando as diferenças entre as imagens são claras (alta separabilidade).
  • Em cenas onde as diferenças são sutis (baixa separabilidade), a confiabilidade dos VLMs cai drasticamente, com alguns modelos apresentando correlações negativas.

5. Significado e Conclusão

O estudo conclui que os VLMs atuais não podem substituir experimentos psicofísicos para avaliações rigorosas de qualidade perceptiva, mas são ferramentas valiosas para triagem rápida e testes de hipóteses.

• Aplicabilidade Prática: Os VLMs são mais confiáveis quando as diferenças entre as imagens são óbvias. Para diferenças sutis, a validação humana ainda é necessária.
• Avaliação Específica por Atributo: Não se deve confiar em uma pontuação agregada única. É crucial avaliar o desempenho do modelo para cada atributo (contraste, cor, preferência) separadamente, pois as capacidades variam drasticamente.
• Futuro: Sugere-se que abordagens de ensemble (conjunto de modelos) ou fine-tuning em dados psicofísicos possam ajudar a fechar a lacuna entre a avaliação automática e a percepção humana.

Em resumo, embora os VLMs demonstrem uma compreensão perceptiva promissora e dependente do contexto, sua variabilidade e viés específico por atributo exigem cautela ao utilizá-los como substitutos completos de observadores humanos em tarefas de IQA.