Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment

Título: Comparison Drives Preference: Reference-Aware Modeling for AI-Generated Video Quality Assessment

Autores: Minghao Zou et al. (Cardiff University, Shandong University, Shenzhen University, Sun Yat-sen University, City University of Hong Kong)

1. Problema e Motivação

Com o avanço rápido dos modelos generativos, há um aumento massivo de vídeos gerados por IA (AIGVs). Avaliar a qualidade visual desses vídeos tornou-se crítico para garantir a experiência do usuário.

• Limitação dos Métodos Atuais: As abordagens existentes de Avaliação de Qualidade de Vídeo de Conteúdo Gerado por IA (AIGC-VQA) geralmente analisam cada vídeo de forma isolada, ignorando as relações potenciais entre diferentes vídeos.
• A Intuição Humana: A percepção humana de qualidade é inerentemente comparativa, não absoluta. Ao julgar um vídeo, os observadores inconscientemente o comparam com outros vídeos que compartilham objetos, ações ou estilos visuais semelhantes.
• O Desafio: Os vídeos gerados por IA apresentam artefatos complexos (inconsistências estruturais, instabilidade de movimento, desalinhamento semântico com o prompt) que tornam a avaliação automática difícil se baseada apenas em características intrínsecas de um único vídeo.

2. Metodologia: RefVQA

Os autores propõem reformular o problema de AIGC-VQA como um problema de avaliação consciente de referência (reference-aware). Para isso, desenvolvem o framework RefVQA (Reference-aware Video Quality Assessment).

O framework consiste em quatro módulos principais:

A. Construção do Gráfico de Referência

• Dado um vídeo de consulta (target) e seu prompt de texto, o sistema recupera vídeos semanticamente relacionados do conjunto de treinamento baseando-se na similaridade dos prompts (usando Sentence-BERT).
• Os prompts são usados como uma âncora semântica estável, pois são menos afetados pela qualidade de geração do que as características visuais.
• Um gráfico de referência centrado na consulta é construído, onde o nó central é o vídeo de entrada e os nós vizinhos são os vídeos de referência recuperados. As arestas representam a similaridade semântica entre os prompts.

B. Ramo Visual (Visual Branch)

• Utiliza um Swin Transformer para extrair características espaciais e temporais do vídeo de entrada e dos vídeos de referência.
• Em vez de agregar apenas as características dos referências, o modelo calcula explicitamente as diferenças de características ($\Delta v = v_{query} - v_{reference}$).
• Aplica uma agregação guiada por gráfico para combinar essas diferenças, focando nas discrepâncias visuais (como nitidez e movimento) em relação aos referências.

C. Ramo de Alinhamento (Alignment Branch)

• Utiliza o modelo BLIP para avaliar a consistência semântica entre o vídeo gerado e o prompt de texto.
• Similar ao ramo visual, calcula as diferenças de alinhamento entre o vídeo de consulta e os referências, agregando-as através do gráfico para capturar nuances de desalinhamento semântico.

D. Predição de Qualidade

• As representações visuais e de alinhamento aprimoradas (que agora contêm tanto características intrínsecas quanto relativas) são fundidas.
• Uma cabeça de regressão prediz a pontuação final de qualidade (MOS - Mean Opinion Score).

3. Contribuições Principais

1. Reformulação do Problema: Mudança do foco de regressão de qualidade isolada para raciocínio de qualidade comparativa com amostras relacionadas.
2. Framework RefVQA: Um novo modelo que aprende representações de discrepância condicionadas a referências tanto no espaço visual quanto no espaço de alinhamento.
3. Mecanismo de Agregação Guiada por Gráfico: Introdução de um mecanismo leve que organiza referências recuperadas e codifica as diferenças entre consulta e referência sob uma topologia estruturada, em vez de tratar as comparações apenas como sinais de supervisão pós-processamento.
4. Desempenho Superior: Demonstração de que incorporar relações inter-vídeo nas representações de características supera os métodos state-of-the-art (SOTA).

4. Resultados Experimentais

Os autores avaliaram o RefVQA em três conjuntos de dados de referência: T2VQA-DB, LGVQ e FETV.

• Desempenho In-Domain: No conjunto T2VQA-DB, o RefVQA alcançou os melhores resultados em todas as métricas (SRCC: 0.826, PLCC: 0.835, KRCC: 0.642, RMSE: 8.429), superando métodos anteriores como T2VQA, DOVER e MSA-VQA.
• Generalização Cruzada: Em testes onde o modelo foi treinado no LGVQ e testado no FETV, o RefVQA demonstrou forte capacidade de generalização, superando todos os concorrentes em dimensões espaciais, temporais e de alinhamento. Isso sugere que a modelagem baseada em similaridade semântica é menos sensível a mudanças de domínio do que a dependência de distribuições de características específicas do conjunto de dados.
• Estudos de Ablação:
  • A modelagem comparativa consciente de referência trouxe ganhos consistentes.
  • A recuperação baseada em similaridade de prompt foi superior à recuperação aleatória ou baseada em similaridade de características visuais.
  • A agregação baseada em gráfico das diferenças superou a simples média das características.
  • A combinação dos ramos visual e de alinhamento foi essencial para o melhor desempenho.
• Eficiência: O método alcançou um equilíbrio superior entre precisão e tempo de inferência, sendo mais rápido que métodos concorrentes como T2VQA e AIGVEval.

5. Significado e Conclusão

O trabalho destaca que a avaliação de qualidade de vídeos gerados por IA não deve ser tratada como um problema isolado. Ao imitar a percepção humana de comparação, o RefVQA consegue capturar nuances de qualidade (como clareza, realismo e consistência de movimento) que são difíceis de inferir de um único vídeo.

A principal inovação é a incorporação de relações de referência diretamente no aprendizado de representações (através da agregação de diferenças guiada por gráfico), e não apenas como uma etapa de otimização final. Isso abre caminho para futuras pesquisas em avaliação de qualidade que explorem mais profundamente as relações inter-amostras e a seleção inteligente de referências.