Pioneering Perceptual Video Fluency Assessment: A Novel Task with Benchmark Dataset and Baseline

Resumo Técnico: Avaliação Perceptiva de Fluência de Vídeo (VFA)

1. O Problema

A avaliação de qualidade de vídeo (VQA) tradicional foca predominantemente na qualidade espacial (ruído, cor, composição) e trata a qualidade temporal como uma subdimensão secundária. No entanto, para aplicações modernas como streaming e jogos, a fluência perceptiva (consistência do movimento, continuidade de quadros, ausência de travamentos) é crucial para a Experiência do Usuário (QoE).

• Limitação Atual: Os modelos de VQA existentes tendem a "entrelaçar" a avaliação espacial e temporal, falhando em isolar e quantificar especificamente a fluência temporal. Isso limita sua eficácia em tarefas downstream como codificação adaptativa de taxa de quadros e interpolação de quadros.
• Gap de Pesquisa: Não existia um padrão de pontuação subjetiva dedicado à fluência, nem um conjunto de dados de grande escala com ground-truth focado exclusivamente nesse aspecto.

2. Metodologia

Os autores propõem uma abordagem completa para estabelecer a Avaliação de Fluência de Vídeo (VFA) como uma tarefa perceptiva independente.

A. O Conjunto de Dados: FluVid

• Construção: Criado o primeiro conjunto de dados focado em fluência, contendo 4.606 vídeos "in-the-wild" (do mundo real).
• Princípios de Coleta: Os vídeos foram selecionados para cobrir três componentes dominantes da fluência: movimento do primeiro plano (objeto), mudanças no fundo e trajetória da câmera.
• Diversidade: O dataset inclui 10 categorias de cena (esportes, notícias, jogos, etc.) e variações de parâmetros (resolução, duração, taxa de quadros).
• Anotação Humana: Realizado um estudo humano em laboratório com 20 especialistas. Foi estabelecido um critério de Classificação de Categoria Absoluta (ACR) de 5 níveis (de "Ruim" a "Excelente"), seguindo rigorosamente as normas da ITU-R. Cada vídeo recebeu uma Pontuação Média de Opinião (MOS).

B. O Modelo Baseline: FluNet
Para superar as limitações dos modelos de VQA atuais, os autores propõem o FluNet, um modelo baseado em Transformers com foco temporal.

• Arquitetura: Utiliza uma camada de embedding de patches, um codificador hierárquico e uma cabeça de regressão.
• Mecanismo Chave (T-PSA): Introduz o Self-Attention Permutado Temporalmente (T-PSA).
  • Este mecanismo comprime os canais das matrizes de Chave (K) e Valor (V) e permuta os tokens temporais para a dimensão do canal.
  • Vantagem: Permite processar um número muito maior de quadros de entrada (ex: 128 quadros) e aumentar o tamanho da janela temporal para capturar interações de longo alcance entre quadros, mantendo o custo computacional (GFLOPs) baixo e focando na fluência em vez de detalhes espaciais.

C. Estratégia de Treinamento (Auto-supervisionada)
Devido ao alto custo de obter anotações humanas para todos os dados:

1. Síntese de Dados: Criaram vídeos sintéticos com diferentes níveis de fluência a partir de vídeos de alta qualidade, aplicando estratégias de "drop" (remoção) e "duplicate" (duplicação) de quadros para simular travamentos (stuttering).
2. Aprendizado de Ranking: O modelo é treinado inicialmente para classificar a ordem relativa de fluência entre os vídeos sintéticos (perda de ranking).
3. Fine-tuning: O modelo é então ajustado (fine-tuned) em um subconjunto menor de vídeos reais anotados (606 vídeos do FluVid) para calibrar a pontuação absoluta.

3. Principais Contribuições

1. Definição da Tarefa VFA: Propõem a VFA como uma tarefa perceptiva distinta da VQA tradicional, focada exclusivamente na dimensão temporal.
2. Dataset FluVid: Lançamento do primeiro benchmark de grande escala para fluência, com critérios de pontuação rigorosos e anotações de especialistas, cobrindo mais de 4.000 vídeos.
3. Avaliação Abrangente: Realizaram um benchmark de 23 métodos (incluindo 6 modelos de VQA de ponta e 17 Grandes Modelos Multimodais - LMMs), revelando que os modelos atuais têm desempenho deficiente na avaliação de fluência.
4. Modelo FluNet: Apresentação de um baseline state-of-the-art que supera os métodos existentes através do mecanismo T-PSA e da estratégia de treinamento híbrida (ranking + fine-tuning).

4. Resultados

• Desempenho dos Baselines: Os modelos de VQA tradicionais (como Fast-VQA, DOVER) e LMMs (como Video-LLaVA, Qwen 2.5-VL) obtiveram resultados moderados (SRCC ~0.60-0.64), demonstrando que não são otimizados para capturar nuances temporais sutis.
• Desempenho do FluNet:
  • O FluNet alcançou um SRCC de 0.774 e PLCC de 0.770, superando significativamente o melhor modelo de VQA ajustado (Fast-VQA com treinamento adicional, que atingiu ~0.725).
  • A versão FluNet++ (com pré-treinamento no dataset LSVQ para consciência de qualidade geral) atingiu SRCC de 0.816 e PLCC de 0.821.
• Ablação: Estudos mostraram que o aumento do número de quadros de entrada e o uso da janela temporal expandida via T-PSA foram decisivos para o ganho de performance. A estratégia de aprendizado de ranking também provou ser essencial para o desempenho final.

5. Significado e Impacto

Este trabalho é pioneiro ao:

• Desacoplar a avaliação de qualidade temporal da espacial, permitindo que sistemas de vídeo otimizem especificamente a fluência (ex: ajustar taxas de quadros ou interpolação) sem sacrificar a qualidade espacial.
• Fornecer um Roadmap para a comunidade, estabelecendo um padrão de anotação e um benchmark robusto para futuros avanços.
• Melhorar a QoE: A capacidade de prever e corrigir problemas de fluência (como stuttering e judder) impacta diretamente a satisfação do usuário em plataformas de streaming, jogos em nuvem e transmissões ao vivo.

O código, o dataset e os modelos estão disponíveis publicamente para fomentar pesquisas futuras na área de avaliação perceptiva de vídeo.