Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos

Este artigo apresenta o "Beyond8Bits", um grande conjunto de dados subjetivo para vídeos HDR gerados por usuários, e o "HDR-Q", o primeiro modelo de linguagem multimídia projetado especificamente para avaliar a qualidade desses vídeos, superando os métodos tradicionais voltados para SDR.

O essencial

Imagine que você está assistindo a um filme em sua TV antiga e depois em uma TV moderna de última geração. A TV antiga (SDR) mostra as cores e a luz de forma "plana", como se tudo estivesse dentro de uma caixa. A TV moderna (HDR), por outro lado, traz o mundo para a sua sala: o sol brilha de verdade, as sombras são profundas e os detalhes nas áreas escuras ou muito claras aparecem com clareza.

O problema é que, com essa nova tecnologia, surgiram novos "defeitos" que as ferramentas antigas de avaliação de qualidade não conseguiam ver. É como tentar usar um termômetro de água para medir a temperatura de um fogão: o instrumento não foi feito para aquilo.

Aqui está a explicação do artigo "Seeing Beyond 8bits" (Vendo Além de 8 bits) como se fosse uma história:

1. O Problema: O "Cego" que não vê a Luz

Os vídeos que fazemos com nossos celulares (UGC - Conteúdo Gerado pelo Usuário) estão ficando incrivelmente bonitos e em HDR. Mas, quando esses vídeos são comprimiidos para o YouTube ou TikTok, surgem erros estranhos:

• O "Esmagamento" do Preto: Áreas que deveriam ser sombras profundas viram uma mancha preta sem detalhes.
• O "Estouro" do Brilho: O sol ou luzes fortes viram manchas brancas cegas.
• Bandas de Cor: Em vez de um céu azul suave, você vê faixas de cores diferentes (como um degrau).

Os computadores que avaliavam a qualidade dos vídeos antigos (SDR) eram como pessoas cegas para essas nuances. Eles olhavam para o vídeo e diziam: "Ah, parece bom!", mesmo que o céu estivesse cheio de faixas feias ou que as sombras estivessem destruídas. Eles não entendiam a "lógica" do HDR.

2. A Solução: A Grande Biblioteca de Vídeos (Beyond8Bits)

Para consertar isso, os pesquisadores precisavam de um "treinamento". Eles não podiam usar apenas vídeos de estúdio perfeitos; precisavam de vídeos reais, feitos por pessoas comuns, com todos os defeitos do mundo real.

Então, eles criaram o Beyond8Bits.

• A Analogia: Imagine que você quer ensinar um cachorro a identificar todos os tipos de cheiro. Você não pode dar apenas um perfume de rosas. Você precisa de uma biblioteca gigante com cheiros de floresta, cozinha, rua, chuva, etc.
• O que eles fizeram: Eles reuniram 44.000 vídeos de milhares de pessoas, com mais de 1,5 milhão de avaliações humanas. É como ter uma biblioteca onde milhões de pessoas disseram: "Este vídeo tem um defeito no brilho" ou "Essa cor está estranha". Isso criou o "mapa do tesouro" para ensinar os computadores.

3. O Herói: HDR-Q (O Detetive com Lentes Especiais)

Com esse mapa em mãos, eles criaram um novo modelo de Inteligência Artificial chamado HDR-Q. Pense nele como um detetive de qualidade que acabou de receber um novo par de óculos.

• Os Óculos Especiais (Codificador de Visão): Antes, o detetive usava óculos de sol escuros que apagavam os detalhes do HDR. Agora, ele usa óculos especiais que conseguem ver a diferença entre um preto profundo e um preto "esmagado", e entre um branco brilhante e um branco "estourado".
• O Treinamento (HAPO): Mas ter óculos não é suficiente; o detetive precisa aprender a usar a lógica. Eles usaram uma técnica chamada HAPO (Otimização de Política Consciente de HDR).
  • A Analogia do "Treino de Cego": Imagine que você treina um jogador de xadrez. Se você deixar ele jogar apenas olhando para o tabuleiro (sem ver as peças), ele vai tentar adivinhar. O HAPO força o modelo a olhar para as peças (o vídeo HDR) e ignorar as dicas que ele já sabia de cor (o texto ou o vídeo em qualidade baixa).
  • Se o modelo tentar "trapacear" e dar uma nota baseada apenas no texto, ele é punido. Ele é obrigado a olhar para a luz, para a cor e para os detalhes.

4. O Resultado: Um Juiz Perfeito

Quando testaram esse novo "detetive" (HDR-Q):

• Ele foi muito melhor do que os antigos juízes (modelos SDR).
• Ele conseguiu prever o que os humanos achavam da qualidade com uma precisão impressionante.
• Ele não apenas deu uma nota (ex: 85/100), mas explicou o porquê: "A nota é baixa porque as flores têm uma cor estranha e o brilho do sol está cortando os detalhes".

Resumo em uma frase

Os pesquisadores criaram a maior biblioteca de vídeos HDR do mundo e treinaram uma Inteligência Artificial com "óculos especiais" e um "treinamento rigoroso" para que ela finalmente pudesse ver e julgar a qualidade dos vídeos modernos com a mesma precisão que um olho humano, entendendo que o que é bonito em um vídeo antigo pode ser um desastre em um vídeo novo.

Em suma: Eles ensinaram a máquina a não apenas "ver" pixels, mas a "sentir" a luz e a cor da vida real.

Resumo técnico

1. Problema e Motivação

O ecossistema de mídia digital está vendo uma proliferação rápida de vídeos de Alta Faixa Dinâmica (HDR) gerados por usuários (UGC) em plataformas como YouTube e TikTok. No entanto, os sistemas atuais de Avaliação de Qualidade de Vídeo (VQA) são majoritariamente projetados para Alta Faixa Dinâmica Padrão (SDR).

O HDR introduz características como maior profundidade de bits, gama de cores ampla e faixas de luminância estendidas. Essas características expõem distorções específicas que são menos visíveis no SDR, como:

• Esmagamento de pretos próximos (near-black crushing).
• Recorte de realces (highlight clipping).
• Bandagem (banding).
• Flicker de exposição.

Os modelos existentes falham em generalizar para as condições heterogêneas de captura, variações de dispositivos e artefatos de compressão não controlados típicos do HDR-UGC. Além disso, os conjuntos de dados subjetivos existentes são pequenos, focados em conteúdo profissional ou distorções sintéticas, não refletindo a realidade do conteúdo gerado por usuários.

2. Metodologia e Soluções Propostas

Os autores abordam esse desafio através de duas contribuições principais: um novo conjunto de dados e um novo modelo de IA.

A. Beyond8Bits (Conjunto de Dados)

• Escala: O maior conjunto de dados subjetivo de qualidade HDR-UGC até o momento.
• Composição: Contém aproximadamente 44.000 vídeos provenientes de 6.861 fontes diversas.
• Anotações: Inclui mais de 1,5 milhão de classificações de qualidade feitas por humanos (crowdsourcing).
• Diversidade: Abrange cenas centradas em humanos, natureza, ambientes internos/externos e condições de baixa luz.
• Processamento: Os vídeos foram verificados quanto a metadados HDR (PQ, 10-bit, BT.2020), filtrados e transcodedos em uma escada de taxas de bits simulando condições reais de streaming, mantendo o sinal HDR completo.
• MOS (Mean Opinion Score): As classificações foram agregadas usando o método SUREAL para garantir confiabilidade estatística.

B. HDR-Q (Modelo de Avaliação)

O HDR-Q é o primeiro Modelo de Linguagem Grande Multimodal (MLLM) projetado especificamente para avaliação de qualidade HDR-UGC. Ele combina dois componentes inovadores:

1. Codificador de Visão Consciente de HDR (HDR-aware Vision Encoder):

   • Baseado no SigLIP-2, mas adaptado com supervisão de duplo domínio.
   • Utiliza pares de quadro HDR e sua contraparte SDR (mapeada por tom) para aprender representações sensíveis a variações de HDR, mantendo o alinhamento semântico.
   • Evita que os embeddings de HDR e SDR colapsem, garantindo que o modelo capture nuances de luminância e cor específicas do HDR.

2. Otimização de Política Consciente de HDR (HAPO - HDR-Aware Policy Optimization):

   • Um framework de Aprendizado por Reforço (RL) baseado em GRPO (Group Relative Policy Optimization) que resolve o problema de "negligência de modalidade" (onde o modelo ignora a entrada visual e depende apenas de texto).
   • Componentes Chave do HAPO:
     • KL Contrastivo HDR-SDR: Penaliza a política se ela não depender das entradas HDR, forçando o modelo a usar informações visuais específicas do HDR.
     • Regularização de Entropia Dupla: Previne que o modelo produza saídas excessivamente incertas para satisfazer o objetivo contrastivo.
     • Pesagem de Alta Entropia (HEW): Amplifica o sinal de aprendizado em tokens de alta entropia (onde o modelo está "pensando" ou calibrando distorções), melhorando a precisão da previsão do MOS.
     • Recompensa de Regressão Gaussiana: Permite calibração fina da pontuação MOS.

3. Resultados Principais

Os experimentos foram conduzidos no conjunto Beyond8Bits e em benchmarks públicos (LIVE-HDR e SFV+HDR).

• Desempenho Superior: O HDR-Q alcançou o estado da arte (SOTA) em todas as métricas de correlação (SRCC, PLCC, KRCC) e erro (RMSE).
  • No Beyond8Bits, obteve PLCC de 0,9118 e SRCC de 0,9206, superando significativamente modelos baseados em Deep Learning tradicionais (como HIDRO-VQA) e outros MLLMs (como Q-Align, Qwen2.5-VL).
• Generalização: O modelo demonstrou forte capacidade de transferência zero-shot para conjuntos de dados públicos não vistos durante o treinamento, mantendo alta correlação com a opinião humana.
• Qualidade da Raciocínio: Diferente de modelos base que geram justificativas genéricas ou incorretas, o HDR-Q com HAPO gera raciocínios concisos e fundamentados em evidências visuais HDR (ex: identificar "recorte de realces" ou "granulação escura").
• Eficiência: A adição do caminho SDR ocorre apenas durante o treinamento. Na inferência, o custo é equivalente a um único caminho de decodificação HDR.

4. Significado e Impacto

• Preenchimento de Lacuna de Dados: O Beyond8Bits fornece a base de dados necessária para treinar modelos que realmente entendem a percepção humana em condições reais de HDR, algo que faltava na literatura.
• Avanço em VQA Multimodal: O HDR-Q e o framework HAPO demonstram que MLLMs podem ser adaptados para tarefas de percepção visual complexa, superando a tendência de depender de priores textuais.
• Aplicabilidade Prática: A solução é crucial para plataformas de streaming e criadores de conteúdo que precisam garantir a qualidade de vídeos HDR em uma variedade de dispositivos e condições de rede, onde distorções específicas podem arruinar a experiência do usuário.

Em resumo, o trabalho estabelece um novo paradigma para a avaliação de qualidade de vídeo, movendo-se além das limitações de 8 bits e SDR, utilizando dados em larga escala e técnicas avançadas de RL para alinhar a avaliação de máquinas com a percepção humana realista.