FDIM: A Feature-distance-based Generic Video Quality Metric for Versatile Codecs

1. Declaração do Problema

A rápida evolução da tecnologia de vídeo em direção à Ultra Alta Definição (UHD) e à Faixa Dinâmica Alta (HDR), combinada com o surgimento de Codecs de Vídeo Neurais (NVCs), expôs limitações significativas nas métricas existentes de Avaliação de Qualidade de Vídeo (VQA).

• Limitações das Métricas Tradicionais: Métricas clássicas (e.g., PSNR, SSIM) baseiam-se em estatísticas de pixels de baixo nível e falham em capturar as distorções complexas, variáveis de conteúdo e generativas introduzidas por NVCs (e.g., texturas alucinadas, suavização excessiva, deriva estrutural).
• Limitações das Métricas de Aprendizado Profundo: Embora métricas baseadas em aprendizado profundo melhorem a compreensão semântica, elas frequentemente sofrem de:
  • Baixa Generalização: Modelos treinados em codecs tradicionais lutam com artefatos de NVC, e vice-versa.
  • Escassez de Dados e Overfitting: Modelos de alta capacidade exigem conjuntos de dados massivos, mas os conjuntos de dados existentes de VQA são frequentemente limitados em escala e diversidade.
  • Lacuna SDR para HDR: Métricas HDR existentes frequentemente sofrem de overfitting em pequenos conjuntos de dados, enquanto modelos treinados em SDR falham em transferir-se efetivamente para HDR devido a estatísticas de sinal divergentes.
• Objetivo: Desenvolver uma métrica de VQA genérica e de referência completa que mantenha alta correlação com pontuações subjetivas humanas em diversos codecs (tradicionais e neurais), tipos de conteúdo e faixas dinâmicas (SDR e HDR) sem exigir retreinamento para cenários específicos.

2. Metodologia: O Framework FDIM

Os autores propõem o FDIM, um framework híbrido que integra características aprendidas profundamente com características artesanais para equilibrar a compreensão semântica com sinais estáveis e interpretáveis.

A. Arquitetura Híbrida

O FDIM opera por meio de dois ramos paralelos cujas saídas são mapeadas para uma escala de qualidade unificada e médias:

1. Componente de Características Profundas:
   • Backbone: Utiliza um ResNet-18 com pesos compartilhados (pré-treinado no ImageNet) para extrair pirâmides de características multi-escala de quadros de referência e distorcidos.
   • Modelagem de Distância de Características Adaptativa ao Conteúdo (CAFM): A inovação central. Em vez de uma simples distância euclidiana, o CAFM:
     • Calcula mapas de erro quadrático elemento a elemento.
     • Concatena características de referência, distorcidas e de erro.
     • Emprega Convolução Deformável onde os deslocamentos de amostragem são condicionados às características de referência. Isso permite que o modelo alinhe características com base em estruturas semânticas, adaptando-se a luminância local, mascaramento de textura e deriva estrutural.
   • Fusão Multi-Escala Baseada em Atenção (MSF): Utiliza um mecanismo inspirado no CBAM (Atenção de Canal + Espaço) para refinar características em várias escalas, enfatizando regiões perceptualmente significativas e suprimindo ruído irrelevante.
   • Regressão: Um Perceptron de Camadas Múltiplas (MLP) prevê pontuações em nível de quadro, que são temporalmente médias para pontuações em nível de vídeo.
2. Componente de Características Artesanais:
   • Utiliza características do VMAF (Perda de Detalhe, Fidelidade de Informação Visual, Informação Temporal).
   • Fornece sinais estáveis e complementares para distorções de codificação convencionais (bloqueio, desfoque) que redes profundas podem ignorar ou sofrer overfitting.

B. Estratégia de Treinamento

• Conjunto de Dados: Treinado no DCVQA, um conjunto de dados em grande escala contendo mais de 16.000 sequências de vídeo codificadas por codecs tradicionais (H.265, AVS3) e codecs neurais ponta a ponta (EEM, AlphaVC-P, NVCs privados).
• Aprendizado Pares: Em vez de regressão direta, o modelo utiliza uma função de perda inspirada em classificação. Amostra pares homogêneos (mesma referência) e heterogêneos (referências diferentes) para aprender preferências de qualidade relativas, melhorando a discriminabilidade e a generalização.
• Extensão HDR (Transferência Zero-Shot): Para lidar com HDR sem retraining, os autores aplicam codificação PU21 (Uniforme Perceptual) como uma etapa de pré-processamento leve. Isso transforma sinais HDR em um espaço perceptualmente uniforme, permitindo que o modelo treinado em SDR generalize efetivamente para conteúdo HDR.

3. Principais Contribuições

1. Arquitetura Híbrida: A primeira métrica a combinar com sucesso modelagem de distância de características adaptativa ao conteúdo aprendida profundamente com características artesanais do VMAF, alcançando robustez em codecs tradicionais e neurais.
2. Modelagem Adaptativa ao Conteúdo: Introdução do módulo CAFM, que usa convoluções deformáveis condicionadas a características de referência para alinhar comparações com estruturas semânticas, capturando efetivamente artefatos generativos de NVC.
3. Generalização e HDR Zero-Shot: Demonstrou forte generalização cruzada de domínio. O modelo treinado em dados SDR transfere-se para HDR via pré-processamento PU21, eliminando a necessidade de grandes conjuntos de dados de treinamento HDR.
4. Avaliação Abrangente: Validado em 10 conjuntos de dados diversos SDR/HDR com codecs previamente não vistos, mostrando desempenho superior aos métodos mais avançados.

4. Resultados Experimentais

Os autores avaliaram o FDIM contra métricas tradicionais (PSNR, SSIM, VMAF) e métricas de aprendizado profundo (LPIPS, DISTS, TOPIQ, RankDVQA).

• Desempenho em Codec Neural: No conjunto de validação DCVQA (subconjunto Neural), o FDIM alcançou um PLCC de 0,9010 e um SROCC de 0,8211, superando significativamente o VMAF (0,8060 PLCC) e baselines apenas profundas.
• Desempenho em Codec Tradicional: O FDIM manteve alta precisão em codecs tradicionais (PLCC 0,9312), provando que o ramo artesanal complementa efetivamente o ramo profundo.
• Desempenho HDR: Usando pré-processamento PU21, o FDIM+PU21 alcançou a maior correlação em múltiplos benchmarks HDR (e.g., ZJUHDR, LIVE-HDR), superando métricas HDR especializadas como HDR-VDP-3.0 e ColorVideoVDP.
• Eficiência: O FDIM oferece uma troca favorável entre precisão e custo computacional. É significativamente mais rápido que TOPIQ e DISTS, mantendo precisão comparável ou superior.
• Estudos de Ablação:
  • Remover a convolução deformável ou mecanismos de atenção causou quedas significativas de desempenho.
  • O treinamento em uma mistura de codecs tradicionais e neurais foi essencial; o treinamento apenas em codecs tradicionais levou a desempenho pobre em dados neurais.

5. Significado

• Métrica Unificada: O FDIM aborda a fragmentação no campo da VQA fornecendo uma única métrica que funciona de forma confiável em todo o espectro das tecnologias de vídeo modernas (SDR/HDR, Tradicional/Neural).
• Habilitador de Pesquisa: Ao liberar o conjunto de validação DCVQA e o código-fonte, os autores facilitam uma avaliação mais rigorosa da generalização de métricas, um passo crítico para o desenvolvimento futuro de codecs.
• Implantação Prática: A complexidade moderada do modelo e sua capacidade HDR zero-shot tornam-no adequado para implantação no mundo real em pipelines de entrega de vídeo onde tipos de conteúdo e codecs variam dinamicamente.
• Insight sobre Artefatos de NVC: O sucesso do módulo CAFM destaca que modelar o alinhamento dependente do conteúdo é crucial para avaliar as distorções generativas únicas da compressão neural.