Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing

Este artigo propõe uma abordagem prática para a construção de conjuntos de dados de avaliação de qualidade áudio-visual (AVQA) por meio de crowdsourcing, resultando no YT-NTU-AVQ, que é o maior e mais diversificado conjunto de dados desse tipo até a data, contendo 1.620 sequências de áudio e vídeo geradas por usuários e anotadas com informações detalhadas para superar as limitações de escala e diversidade dos datasets existentes.

O essencial

Imagine que você é um chef de cozinha tentando criar a receita perfeita para um prato que combina som e imagem. Para saber se o prato está bom, você precisa pedir para muitas pessoas provarem e darem notas.

O problema é que, até agora, os pesquisadores que estudam a qualidade de vídeos e áudios (como no YouTube ou TikTok) estavam cozinhando em uma cozinha muito pequena e restrita. Eles tinham poucos ingredientes (vídeos), poucos cozinheiros (pessoas avaliando) e só sabiam dizer se o prato "no geral" estava bom ou ruim. Isso não ajudava a entender por que o prato estava bom: será que foi o som da fritura? A cor do prato? A textura?

Este artigo apresenta uma nova maneira de resolver isso, criando o maior "festival de degustação" já feito para vídeos e áudios. Aqui está a explicação simples:

1. O Problema: A Cozinha de Laboratório vs. A Cozinha do Mundo Real

Antes, para testar a qualidade de um vídeo, os cientistas traziam pessoas para um laboratório silencioso, com fones de ouvido caros e telas perfeitas.

• O problema: Isso é caro e lento. Você só consegue testar 50 ou 100 vídeos. É como tentar aprender a cozinhar para milhões de pessoas testando apenas 10 pratos em sua própria cozinha.
• A solução: Eles decidiram fazer o teste na "rua" (usando Crowdsourcing ou "trabalho em multidão"). Eles pediram para milhares de pessoas comuns avaliarem vídeos usando seus próprios celulares e fones de ouvido em casa.

2. O Desafio: Como garantir que a nota seja séria?

Se você pede para qualquer um na internet avaliar um vídeo, algumas pessoas podem dar notas aleatórias, ficar distraídas ou mentir. É como se alguém na degustação estivesse olhando para o celular em vez de provar a comida.

Para resolver isso, os autores criaram um sistema de "filtro de qualidade" em três etapas:

1. A Prova de Fogo (Pré-teste): Eles mostram alguns vídeos para ver quem está prestando atenção. Se a pessoa der notas aleatórias, ela é eliminada.
2. A Qualificação: Só quem passou na prova de fogo pode entrar no teste principal.
3. O Teste Final: Os "degustadores qualificados" avaliam os vídeos reais.

• Analogia: É como um torneio de xadrez. Você não deixa qualquer um jogar a final; primeiro você faz uma eliminatória para garantir que apenas os jogadores sérios e atentos participem.

3. O Grande Banco de Dados (YT-NTU-AVQ)

Com esse sistema, eles conseguiram criar o maior banco de dados do mundo para esse tipo de teste:

• 1.620 vídeos de usuários comuns (UGC - User Generated Content).
• Vídeos de música, dança, fala, jogos, etc.
• O diferencial: Em vez de dar apenas uma nota de 1 a 5 para o "vídeo todo", eles pediram quatro coisas diferentes:
  1. Nota geral (Vídeo + Áudio).
  2. Nota só do Vídeo.
  3. Nota só do Áudio.
  4. A "Bússola da Atenção": "O que você prestou mais atenção? O som ou a imagem?" (Ex: 50% som / 50% imagem).

4. O Que Eles Descobriram? (A Grande Surpresa)

Ao analisar os dados, eles encontraram algo muito interessante sobre como o cérebro humano funciona:

• O Rei é o Visual: Mesmo quando o som está ruim, se o vídeo estiver bonito, as pessoas tendem a achar o vídeo "bom". O olho é o "chefe" na avaliação.
• O Efeito do "Ponto Fraco": Se o som está muito ruim, as pessoas prestam mais atenção ao som (e a nota cai). Mas, curiosamente, elas ainda dão uma nota baseada no que está melhor. É como se dissessem: "O vídeo é lindo, mas o som é horrível. Vou dar uma nota média, mas focando no que salvou o prato".
• Contexto Importa: Em vídeos de música ou dança, as pessoas esperam que o som seja importante, mas ainda assim, a imagem continua dominando a nota final.

5. Por que isso é importante?

Hoje, temos Inteligência Artificial (IA) tentando criar vídeos melhores. Mas para a IA aprender, ela precisa de um "professor" muito bom.

• Antes, a IA aprendia com poucos exemplos e em ambientes artificiais.
• Agora, com este novo banco de dados, a IA pode aprender com milhares de exemplos reais, entendendo como as pessoas de verdade (em suas casas, com seus fones ruins) percebem a qualidade.

Resumo da Ópera:
Os autores criaram um "sistema de segurança" para fazer milhares de pessoas avaliarem vídeos em casa de forma confiável. Isso gerou um mapa gigante de como humanos julgam a qualidade de vídeos e sons, revelando que, embora prestemos atenção ao som, nossos olhos são os grandes decisores. Isso vai ajudar a criar vídeos, filmes e plataformas de streaming muito melhores no futuro.

Resumo técnico

Resumo Técnico: Escalonamento de Conjuntos de Dados de Avaliação de Qualidade Audiovisual via Crowdsourcing

1. O Problema

A pesquisa em Avaliação de Qualidade Audiovisual (AVQA) tem estagnado devido a limitações críticas nos conjuntos de dados existentes:

• Escala e Diversidade Insuficientes: Os conjuntos de dados atuais são pequenos, com pouca diversidade de conteúdo e tipos de distorção, e frequentemente limitados a ambientes de laboratório controlados.
• Anotações Limitadas: A maioria dos datasets fornece apenas uma pontuação geral de qualidade, o que impede a investigação profunda dos mecanismos de percepção multimodal humana e da relação entre conteúdo e qualidade.
• Desafio de Escalonamento: Experimentos subjetivos tradicionais exigem ambientes controlados e ouvintes com alta discriminação auditiva, tornando difícil escalar a coleta de dados. O crowdsourcing (terceirização de tarefas) oferece escalabilidade, mas enfrenta desafios como condições de ambiente variáveis, inconsistência nos critérios de pontuação e submissões não confiáveis.

2. Metodologia

Os autores propõem uma abordagem prática e escalável para a construção de conjuntos de dados AVQA, composta por três pilares principais:

A. Framework de Experimento Subjetivo via Crowdsourcing
Foi desenvolvido um ambiente personalizado (baseado em jsPsych) para conduzir experimentos fora do laboratório, com medidas rigorosas para garantir a qualidade:

• Controle de Ambiente: Verificações automáticas e manuais para garantir uso de fones de ouvido, tela adequada, ambiente silencioso e conexão estável. Restrições de reprodução (tela cheia, sem arrastar a barra de progresso).
• Anotação Multidimensional: Em vez de uma única pontuação, os participantes avaliam quatro dimensões:
  1. Qualidade Audiovisual Geral (AVQA).
  2. Qualidade de Vídeo apenas (VQA).
  3. Qualidade de Áudio apenas (AQA).
  4. Peso de Atenção (qual modalidade o usuário focou mais?).
• Filtragem de Dados Dinâmica: Implementação de um método baseado em consistência de classificação (SROCC com consenso do grupo) e dispersão de pontuação (desvio padrão). Isso elimina respostas aleatórias ou muito uniformes.
• Triagem de Participantes em Três Estágios:
  1. Pré-teste: Estabelecimento de pontuações de referência e identificação de sujeitos confiáveis.
  2. Teste de Qualificação: Novos participantes avaliam um subconjunto do pré-teste; apenas os que passam nos critérios de filtragem são aprovados.
  3. Teste Formal: Apenas sujeitos qualificados avaliam o restante dos vídeos.

B. Estratégia de Preparação de Dados
Para garantir diversidade e cobertura de cenários do mundo real (User-Generated Content - UGC):

• Amostragem Estratificada: Utilização do conjunto de dados VALOR (1M de vídeos do YouTube) como pool inicial.
• Seleção de Atributos: Amostragem baseada em três atributos priorizados: qualidade de áudio (pseudo-rótulos do AudioBox), qualidade de vídeo (FasterVQA) e semântica de áudio (mapeamento de AudioSet para fala, música e som).
• Seleção Manual Complementar: Adição de 324 vídeos licenciados sob Creative Commons (publicados após 2017) para garantir atualidade e diversidade temática, corrigindo a tendência de dados antigos em fontes existentes.
• Anotações Ricas: Uso de modelos de IA (Gemini 2.5) e verificação manual para adicionar categorias de áudio/vídeo e resumos dos vídeos.

3. O Dataset Resultante: YT-NTU-AVQ

O resultado da metodologia é o YT-NTU-AVQ, o maior e mais diversificado conjunto de dados AVQA até a data do artigo:

• Escala: 1.620 sequências de áudio e vídeo geradas por usuários.
• Diversidade: Cobertura ampla de níveis de qualidade, tipos de distorção e cenários semânticos (fala, música, som ambiente, etc.).
• Anotações: Inclui pontuações multidimensionais (AVQA, VQA, AQA), pesos de atenção, categorias e resumos.
• Disponibilidade: Código e dados disponíveis publicamente.

4. Resultados e Análise

• Validação do Framework: A filtragem dinâmica e a triagem em três estágios demonstraram ser eficazes. A confiabilidade das submissões aumentou progressivamente do pré-teste para o teste formal (Figura 2 do artigo).
• Distribuição de Qualidade: As pontuações de opinião média (MOS) seguem uma distribuição aproximadamente gaussiana, indicando uma amostragem estratificada bem-sucedida.
• Descobertas sobre Percepção Multimodal:
  • Dominância Visual: Houve uma correlação extremamente alta entre a pontuação AVQA e a pontuação de Vídeo (VQA), sugerindo que, para conteúdo UGC "selvagem" (in-the-wild), a qualidade visual domina a percepção geral.
  • Assimetria de Atenção: Embora os usuários relatem uma atenção equilibrada em média, quando há uma diferença de qualidade entre as modalidades, a atenção tende a se deslocar para a modalidade degradada. No entanto, a pontuação final de qualidade (AVQA) ancora-se mais na modalidade de melhor qualidade.
  • Desempenho de Modelos: Modelos de avaliação de vídeo (VQA) alcançaram desempenho surpreendentemente alto neste dataset, reforçando a hipótese da dominância visual em cenários UGC.

5. Contribuições e Significância

• Primeiro Framework de Crowdsourcing para AVQA: Demonstra que é possível realizar avaliações de qualidade audiovisual confiáveis em larga escala fora de laboratórios, superando o gargalo de escalabilidade.
• Novo Padrão de Dados: O YT-NTU-AVQ supera os datasets existentes em tamanho, diversidade e riqueza de anotações, permitindo o treinamento de modelos de aprendizado profundo mais robustos.
• Insights Científicos: Fornece evidências empíricas sobre como os humanos percebem a qualidade multimodal, destacando a influência dominante do vídeo em conteúdos gerados por usuários e a complexa interação entre atenção e qualidade percebida.
• Reprodutibilidade: O artigo detalha extensivamente a plataforma, os critérios de filtragem e a estratégia de amostragem, facilitando futuras pesquisas e expansões do dataset.

Em suma, este trabalho resolve o problema de escassez de dados em AVQA através de uma metodologia rigorosa de crowdsourcing, entregando um recurso fundamental para o avanço da pesquisa em percepção multimodal e avaliação de qualidade de experiência (QoE).