Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality

Resumo Técnico: Avaliação de Qualidade Subjetiva e Objetiva de Vídeos de Avatares Humanos Renderizados em Realidade Virtual

Declaração do Problema
À medida que as aplicações imersivas de Realidade Virtual (VR) e Realidade Aumentada (AR) dependem cada vez mais de avatares humanos de alta fidelidade (frequentemente denominados "hologramas" ou gêmeos digitais) para interação social, telepresença e o "metaverso", a transmissão desses fluxos de dados enfrenta severas restrições de largura de banda. A comunicação em tempo real requer compressão volumétrica para minimizar a latência, contudo, artefatos de compressão e renderização podem degradar severamente a qualidade perceptual de avatares humanos 3D. Embora os modelos de Avaliação de Qualidade de Vídeo (VQA) sejam essenciais para otimizar o equilíbrio entre qualidade perceptual e volume de dados, os algoritmos existentes são amplamente insuficientes para este domínio. Os métodos tradicionais de VQA 2D falham em considerar as complexidades da percepção de profundidade, resolução espacial e a natureza dinâmica de malhas (meshes) 3D. Além disso, o desenvolvimento de modelos especializados de VQA para avatares humanos é dificultado pela escassez de bases de dados abrangentes e de grande escala contendo julgamentos de qualidade subjetiva coletados em ambientes imersivos de 6-DoF (seis graus de liberdade) de VR. A maioria das bases de dados de gráficos 3D existentes baseia-se em telas 2D, objetos estáticos ou tipos limitados de distorção, falhando em capturar as nuances de avatares humanos renderizados e transmitidos.

Metodologia
Para abordar essas lacunas, os autores construíram o LIVE-Meta Rendered Human Avatar VQA Database e conduziram uma avaliação rigorosa de modelos de VQA de Referência Total (FR) e Sem Referência (NR).

1. Construção da Base de Dados:

   • Conteúdo de Origem: O estudo utilizou 36 vídeos de avatares humanos íntegros provenientes da Metastage, apresentando diversas demografias, vestimentas e poses (sentado e em pé). Estes foram reconstruídos como malhas 3D texturizadas (aprox. 20.000 triângulos) com resolução de textura de 2048×2048.
   • Simulação de Distorção: Um pipeline personalizado de simulação-renderização volumétrica foi desenvolvido dentro de um ambiente Unity. Este pipeline simulou 20 configurações distintas de distorção para mimetizar artefatos de transmissão do mundo real, incluindo:
     • Artefatos Temporais: Atrasos (100–400 ms) causando auto-oclusões temporais.
     • Artefatos Espaciais: Redução da resolução de cor (480p a 1600p) e taxas de quadros (10–30 fps).
     • Condições Combinadas: Três categorias de limitações de largura de banda (Moderada, Pesada e Severamente Limitada) combinando atrasos, erros de profundidade e reduções de resolução.
   • Geração de Estímulos: Este processo resultou em 720 sequências de vídeo (36 fontes × 20 configurações de distorção).

2. Aquisição de Dados Subjetivos:

   • Ambiente: O estudo foi conduzido em um ambiente de VR imersivo de 6-DoF utilizando headsets Oculus Quest Pro (1800×1920 por olho, 72 Hz).
   • Participantes: 78 sujeitos humanos (idades entre 18–33 anos) avaliaram os vídeos.
   • Protocolo: Utilizando uma metodologia de Classificação Absoluta de Categoria com Referência Oculta (ACR-HR), os sujeitos visualizaram 120 vídeos aleatórios por sessão. As classificações foram coletadas via uma escala Likert contínua de 5 pontos (Ruim a Excelente) usando controles de VR.
   • Processamento de Dados: As pontuações subjetivas foram processadas usando o método SUREAL MLE-MOS (Estimativa de Máxima Verossimilhança - Média de Pontuação de Opinião) para considerar o viés e a inconsistência dos sujeitos, gerando Médias de Pontuação de Opinião (MOS) e Diferencial de MOS (DMOS) confiáveis.

3. Avaliação de Modelos Objetivos:

   • Os autores avaliaram uma ampla gama de modelos de estado da arte (SOTA) de FR e NR nesta nova base de dados.
   • Pré-processamento: Para focar no avatar, pixels de fundo foram excluídos, e caixas delimitadoras (bounding boxes) para o corpo e rosto foram extraídas usando modelos YOLO.
   • Métricas: O desempenho foi medido através do Coeficiente de Correlação de Posto de Spearman (SRCC), Coeficiente de Correlação de Posto de Kendall (KRCC), Coeficiente de Correlação Linear de Pearson (PLCC) e Erro Quadrático Médio (RMSE).
   • Modelos Testados: O estudo incluiu métricas tradicionais (PSNR, SSIM), modelos baseados em aprendizado profundo (LPIPS, CONTRIQUE, CONVIQT, Re-IQA) e um novo modelo proposto pelos autores, o HoloQA. O HoloQA utiliza uma abordagem de Mistura de Especialistas (Mixture-of-Experts), aproveitando a neurociência visual, teoria da informação e aprendizado profundo autossupervisionado para capturar tanto a qualidade de pixel de baixo nível quanto características de alto nível específicas do corpo.

Principais Contribuições

1. Maior Base de Dados Abrangente de VQA de Avatar Humano: O artigo introduz o LIVE-Meta Rendered Human Avatar VQA Database, contendo 720 estímulos distorcidos de 36 vídeos de origem, avaliados por 78 sujeitos em um ambiente de 6-DoF imersivo. Esta é atualmente a maior base de dados de VQA de gráficos 3D deste tipo.
2. Novo Preditor de Qualidade (HoloQA): Os autores apresentam o HoloQA, um modelo inovador projetado especificamente para hologramas humanos renderizados. Ele atinge o desempenho de estado da arte na nova base de dados ao combinar características tradicionais e de aprendizado profundo adaptadas ao conteúdo do corpo humano.
3. Estrutura de Benchmarking: O artigo fornece um benchmarking abrangente dos modelos SOTA de FR e NR existentes contra julgamentos humanos em VR, demonstrando as limitações de modelos de propósito geral e a necessidade de abordagens específicas de domínio.
4. Recurso Público: Os metadados da base de dados são liberados publicamente para facilitar pesquisas adicionais em previsão de qualidade e otimização de compressão em VR/AR.

Resultos

• Análise Subjetiva:
  • Impacto da Distorção: O estudo descobriu que a resolução de cor e a taxa de quadros tiveram um impacto significativamente maior na qualidade percebida do que os artefatos de atraso. Especificamente, reduzir a resolução de cor abaixo de 1600p e as taxas de quadros abaixo de 20 fps causou uma degradação de qualidade perceptível.
  • Tolerância ao Atraso: Atrasos de até 400 ms tiveram influência mínima na qualidade percebida, sugerindo que a largura de banda pode ser trocada pela redução de latência sem perda perceptual severa.
  • Consistência: Observou-se alta consistência inter-sujeito (SRCC ~0.95) e intra-sujeito, validando a confiabilidade dos dados coletados.
• Desempenho de Modelos Objetivos:
  • Modelos FR: Entre os modelos de Referência Total, CONTRIQUE, Re-IQA e CONVIQT (modelos de aprendizado profundo não supervisionados) demonstraram boa generalização. O novo modelo HoloQA alcançou o melhor desempenho (SRCC: 0.9144, PLCC: 0.9489 para apenas corpo; SRCC: 0.9201, PLCC: 0.9523 para apenas rosto), superando métricas tradicionais e outras abordagens de aprendizado profundo.
  • Modelos NR: Na categoria Sem Referência, modelos baseados em aprendizado profundo (CONTRIQUE, CONVIQT, RAPIQUE, GAMIVAL) superaram significativamente os modelos neuroestatísticos manuais (ex: BRISQUE, TLVQM). Notavelmente, o TLVQM falhou em generalizar para vídeos de avatares humanos, enquanto o HoloQA liderou novamente as métricas de desempenho.
  • Rosto vs. Corpo: Os modelos geralmente performaram melhor quando avaliados em recortes apenas do rosto em comparação com recortes apenas do corpo, destacando a importância crítica da fidelidade facial na percepção do avatar.

Significância e Alegações
O artigo afirma que o LIVE-Meta Rendered Human Avatar VQA Database é um recurso crítico para o avanço do campo de mídia imersiva. Ao fornecer um conjunto de dados que captura as nuances perceptuais específicas de avatares humanos de 6-DoF em VR, ele permite o desenvolvimento de algoritmos de VQA mais precisos. Esses algoritmos são essenciais para otimizar protocolos de compressão e fluxos de trabalho de transmissão na metaverse, garantindo experiências de usuário de alta qualidade sob condições variáveis de largura de banda. Os autores observam modestamente que, embora seus achados sejam robustos dentro do ambiente testado (Oculus Quest Pro), trabalhos futuros devem explorar diversos headsets de VR e tipos adicionais de distorção (ex: erros de cor, ruído de superfície) para refinar ainda mais esses modelos. A liberação da base de dados e do modelo HoloQA (pós-revisão por pares) serve como um passo fundamental para a transmissão de avatares humanos perceptualmente otimizada.