Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

Resumo Técnico: Rumo à Padronização da Avaliação de Qualidade de Campo de Luz

Definição do Problema
A padronização de mídia imersiva, particularmente o endereçamento de imagens de Campo de Luz (LF - Light Field) sob a estrutura JPEG Pleno, requer uma avaliação de qualidade (QA) subjetiva confiável e reprodutível, além de métricas objetivas que permaneçam precisas em diversos tipos de distorção. Os desafios existentes incluem:

1. Limitações dos Métodos Convencionais: Os métodos subjetivos tradicionais baseados em classificação (ex.: Classificação de Categoria Absoluta, Escala de Impedimento de Estímulo Duplo) frequentemente carecem de sensibilidade ao avaliar estímulos de alta qualidade ou estímulos com pequenas diferenças perceptivas. Por outro lado, a comparação pareada (PC) oferece maior discriminabilidade, mas é proibitivamente demorada para conteúdo de LF dinâmico e de múltiplas vistas.
2. Inadequação das Métricas Atuais: As métricas convencionais de qualidade de imagem 2D (ex.: PSNR, SSIM) falham em capturar as características multidimensionais únicas dos LFs, como consistência angular, estabilidade de paralaxe e aparência dependente da vista. Além disso, as métricas objetivas existentes costumam ter dificuldades quando os pipelines de processamento de LF envolvem não apenas artefatos de compressão, mas também distorções decorrentes de síntese de vista, interpolação e reconstrução neural (ex.: 3D Gaussian Splatting).
3. Falta de Benchmarks Padronizados: Há uma necessidade de um fluxo de trabalho unificado que integre a geração de benchmarks, avaliação subjetiva híbrida e análise de métricas objetivas para servir como uma linha de base reprodutível para as atividades de padronização do JPEG Pleno Parte 7.

Metodologia
O artigo propõe um fluxo de trabalho padronizado composto por três componentes principais:

1. Geração de Estímulos e Construção de Dataset:

   • Material de Origem: Foram selecionadas oito cenas de origem diversas (naturais, internas/externas e sintéticas) para cobrir uma ampla gama de resoluções espaciais, densidades de amostragem angular e geometrias de cena.
   • Famílias de Distorção: O benchmark inclui 144 estímulos divididos em três categorias:
     • Apenas Codificação: Estímulos comprimidos usando o Modo de Transformada 4D do JPEG Pleno Model (JPLM) e x265/HEVC (pseudo-codificação de vídeo).
     • Baseado em Interpolação: Vistas esparsas codificadas e decodificadas, com vistas ausentes sintetizadas usando RIFE ou SepConv++.
     • Reconstrução 3DGS: Vistas esparsas codificadas/decodificadas, com grades de LF densas reconstruídas usando 3D Gaussian Splatting (3DGS).
   • Este design permite a avaliação de métricas contra tanto artefatos de codificação tradicionais quanto distorções modernas de reconstrução.

2. Avaliação Subjetiva Híbrida (DSCS+PC):

   • Estágio I (DSCS): Observadores classificam estímulos distorcidos em relação a uma referência usando uma Escala de Comparação de Estímulo Duplo de quatro níveis (Igual, Ligeiramente pior, Pior, Muito pior). Isso estabelece uma estrutura de qualidade global ancorada na referência.
   • Estágio II (PC Seletiva): Comparações pareadas são conduzidas apenas para pares de estímulos que receberam classificações idênticas no Estágio I (especificamente dentro das categorias "Ligeiramente pior" e "Pior"). Isso visa regiões perceptualmente ambíguas onde as escalas de classificação carecem de resolução.
   • Estágio III (Reconstrução de Pontuação): As classificações DSCS e as preferências de PC são fundidas usando um modelo de Thurstone Caso V para gerar uma escala de qualidade perceptiva contínua e de grão fino. Esta abordagem preserva a clareza semântica das classificações ao mesmo tempo em que recupera a ordenação local em regiões ambíguas.
   • Validação: A confiabilidade foi verificada através de consistência entre coortes (dois laboratórios) e análises de leave-one-observer-out, confirmando a reprodutibilidade das pontuações híbridas.

3. Avaliação de Métricas Objetivas:

   • Um conjunto abrangente de métricas de Referência Total (FR) foi avaliado, incluindo métricas clássicas de fidelidade de sinal (PSNR, SSIM, VIF), métricas baseadas em características profundas (LPIPS, DISTS, ST-LPIPS) e extensões de vídeo imersivo (IV-PSNR, IV-SSIM).
   • Estratégias de Agregação: O estudo analisou o impacto das estratégias de view-pooling (média aritmética, Minkowski pooling e Worst-X% pooling) no desempenho das métricas.
   • Análise Estatística: As métricas foram avaliadas usando Correlação de Ordem de Posto de Spearman (SRCC), Coeficiente de Correlação Linear de Pearson (PLCC) e Erro Quadrático Médio (RMSE) contra o ground truth subjetivo híbrido.

Principais Resultados

• Pontuações Subjetivas: O método híbrido DSCS+PC gerou com sucesso uma escala de qualidade contínua com alta consistência entre coortes (SRCC = 0,943 entre laboratórios). O estágio de PC seletiva melhorou significativamente a resolução de regiões ambíguas, produzindo um ganho de log-verossimilhança de +572,92 sobre as pontuações apenas de DSCS em testes de leave-one-observer-out.
• Desempenho das Métricas em Codificação-Apenas vs. Reconstrução:
  • As métricas performaram substancialmente melhor no subconjunto de apenas codificação (ex.: ST-LPIPS SRCC = 0,889) em comparação com o benchmark completo incluindo artefatos de reconstrução (ST-LPIPS SRCC = 0,776).
  • Métricas baseadas em aprendizado profundo (ST-LPIPS, LPIPS, DISTS) e métricas baseadas em características (CVVDP, IW-SSIM) geralmente superaram as métricas clássicas baseadas em pixels (PSNR, SSIM, FSIM).
  • As métricas clássicas mostraram quedas significativas de desempenho quando as distorções de síntese de vista (interpolação, 3DGS) foram introduzidas, falhando em capturar mudanças geométricas e inconsistências dependentes da vista.
• Impacto do Pooling: Estratégias de view-pooling afetaram significativamente o desempenho das métricas. Métricas perceptivas baseadas em aprendizado mostraram correlação melhorada com as pontuações subjetivas ao usar Worst-X% ou Minkowski pooling, sugerindo que vistas localmente ruins influenciam fortemente a qualidade percebida. Em contraste, métricas de fidelidade tradicionais frequentemente performaram melhor com o simples mean pooling.
• Robustez Transversal de Distorção: Métricas calibradas apenas em distorções de apenas codificação exibiram viés sistemático (subprevisão de degradação) quando aplicadas a estímulos baseados em reconstrução, indicando uma falta de generalização entre famílias de distorção.

Significância e Alegações
O artigo alega fornecer um fluxo de trabalho reprodutível e pronto para padronização para a QA de grão fino de Campo de Luz. Suas principais contribuições são:

1. Fundação Metodológica: Estabelece um protocolo subjetivo híbrido (DSCS+PC) que equilibra eficiência com alto poder discriminativo, adequado para a natureza complexa do conteúdo de LF.
2. Linha de Base de Benchmark: Introduz um dataset diversificado (144 estímulos) que estressa métricas objetivas com artefatos de codificação e de reconstrução, indo além de benchmarks estreitos focados apenas em compressão.
3. Insights Diagnósticos: A análise destaca limitações críticas das métricas objetivas atuais, especificamente sua incapacidade de generalizar de pipelines de apenas codificação para pipelines baseados em reconstrução e sua sensibilidade às estratégias de view-pooling.
4. Suporte à Padronização: O trabalho serve como uma base metodológica para as atividades de padronização do JPEG Pleno Parte 7, fornecendo o ground truth subjetivo necessário e os protocolos de avaliação para guiar o desenvolvimento de métricas de qualidade de LF futuras e mais robustas.

Os autores declaram explicitamente que o artigo não propõe uma nova métrica objetiva, mas sim apresenta o próprio procedimento de teste padronizado como a infraestrutura necessária para avaliar e desenvolver tais métricas. O dataset anotado subjetivamente é disponibilizado publicamente para apoiar este objetivo.