Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition

Este artigo propõe o modelo SSL-V3, que integra uma avaliação de qualidade de vídeo sem referência ao aprendizado auto-supervisionado em um Transformer de visão para vídeo, utilizando a pontuação de qualidade como fator de ajuste para melhorar a precisão da classificação de vídeo, especialmente em cenários com baixa qualidade visual.

O essencial

Imagine que você é um detetive tentando resolver um mistério: identificar se uma pessoa está com um problema de memória leve (chamado de Comprometimento Cognitivo Leve) ou se está saudável, apenas observando uma entrevista em vídeo.

O problema é que, às vezes, a câmera está tremida, a luz está ruim ou a imagem está borrada. Se você tentar adivinhar olhando para uma foto borrada, provavelmente vai errar. É exatamente isso que os computadores (Inteligência Artificial) fazem: se o vídeo é ruim, a "inteligência" deles cai.

Este artigo apresenta uma solução inteligente chamada SSL-V3. Vamos explicar como funciona usando analogias do dia a dia:

1. O Problema: O Detetive Cego

Antes, os computadores tentavam analisar o vídeo e classificar a pessoa, mas se o vídeo fosse de baixa qualidade, eles ficavam confusos. Era como tentar ler um livro com a luz apagada. Além disso, para ensinar o computador a julgar a qualidade do vídeo, os cientistas precisariam de um "professor" humano para dar notas a cada segundo de vídeo. Isso é caro, demorado e quase impossível de fazer em grandes quantidades.

2. A Solução: O "Sistema de Dupla Verificação" (SSL-V3)

Os autores criaram um modelo que faz duas coisas ao mesmo tempo, como se fosse um funcionário muito esperto que tem duas funções:

1. Função A: Tentar classificar a pessoa (Doente ou Saudável?).
2. Função B: Julgar a qualidade do vídeo (Imagem boa ou ruim?).

A mágica acontece porque essas duas funções se ajudam mutuamente, sem precisar de um professor humano para dar notas de qualidade.

A Analogia da "Balança Inteligente"

Imagine que o computador tem uma balança.

• Quando o computador vê um vídeo nítido e claro (alta qualidade), ele diz: "Ok, essa imagem é confiável! Vou dar muito peso à minha resposta sobre se a pessoa está doente ou não."
• Quando o computador vê um vídeo borrado e ruim (baixa qualidade), ele diz: "Ei, essa imagem é duvidosa! Vou diminuir o peso da minha resposta, porque não tenho certeza."

Isso é o módulo Tune-CLS. Ele ajusta a confiança do computador baseada na qualidade da imagem.

3. Como eles ensinam o computador sem "professores"? (Aprendizado Auto-Supervisionado)

Aqui entra a parte mais criativa. Como não temos notas de qualidade (o "professor" não existe), o sistema usa um truque chamado Aprendizado Auto-Supervisionado com um toque de Contraste.

Imagine que você tem dois pares de óculos:

• Óculos 1: Você vê o vídeo original.
• Óculos 2: Você vê o mesmo vídeo, mas com algumas peças embaralhadas ou levemente alteradas.

O computador tenta alinhar o que ele vê nos dois óculos. Se os dois óculos mostram a mesma pessoa (mesmo que a imagem esteja um pouco diferente), o computador aprende que "isso é a mesma coisa". Se forem pessoas diferentes, ele aprende a separá-las.

Ao fazer isso, o computador inventa suas próprias notas de qualidade. Ele descobre sozinho: "Ah, quando a imagem está borrada, meus dois óculos não combinam tão bem. Então, essa imagem deve ter baixa qualidade."

Isso cria um ciclo virtuoso:

1. O computador aprende a julgar a qualidade sozinho.
2. Ele usa essa qualidade para melhorar a classificação da doença.
3. A classificação ajuda a refinar ainda mais o julgamento da qualidade.

4. O Resultado: Um Detetive Mais Esperto

Os autores testaram esse sistema em dois cenários:

1. Saúde: Entrevistas de idosos para detectar problemas de memória.
2. Segurança: Detecção de brigas em jogos de hóquei (onde a câmera costuma tremer muito).

O que aconteceu?
O sistema SSL-V3 foi muito melhor do que os modelos antigos.

• Nos vídeos de saúde, ele acertou quase 95% dos casos (o que é um número incrível).
• Nos vídeos de brigas de hóquei, ele acertou mais de 98%.

Resumo em uma frase

Este artigo criou um "detetive de IA" que não só olha para o vídeo para resolver o mistério, mas também avalia se a câmera está boa ou ruim, e usa essa avaliação para não se enganar com imagens borradas, tudo isso aprendendo sozinho, sem precisar de um humano para dar notas.

É como se o computador tivesse desenvolvido um "olho clínico" para saber quando pode confiar no que está vendo e quando deve ter cautela.

Resumo técnico

Resumo Técnico: Avaliação de Qualidade de Vídeo Baseada em Aprendizado Contrastivo para Reconhecimento de Vídeo

Título Original: Contrastive Learning-based Video Quality Assessment-jointed Video Vision Transformer for Video Recognition
Autores: Jian Sun e Mohammad H. Mahoor (Universidade de Denver)

1. O Problema

A classificação de vídeo é uma tarefa crítica na visão computacional, mas seu desempenho é severamente degradado pela qualidade do vídeo (ex.: desfoque, baixa iluminação, compressão). O artigo destaca que modelos de ponta, como o Video Vision Transformer (ViViT), podem atingir 100% de precisão em vídeos de alta qualidade, mas cair para cerca de 58% em vídeos de baixa qualidade.

O desafio central identificado é a escassez de rótulos de qualidade de vídeo (ground truth) em conjuntos de dados reais. Métodos tradicionais de Avaliação de Qualidade de Vídeo sem Referência (NR-VQA) dependem de Mean Opinion Scores (MOS), que são caros, demorados e difíceis de obter em grande escala. Sem esses rótulos, é impossível treinar um regressor de qualidade de forma supervisionada para auxiliar a tarefa de classificação.

2. Metodologia Proposta: SSL-V3

Os autores propõem o SSL-V3 (Self-Supervised Learning-based ViViT Combined with NR-VQA), uma arquitetura que integra a avaliação de qualidade de vídeo (VQA) diretamente na tarefa de classificação de vídeo utilizando um mecanismo de Aprendizado Auto-supervisionado (SSL) chamado Combined-SSL.

A arquitetura é composta pelos seguintes componentes principais:

• Backbone (ViViT com Factorised Encoder): Utiliza o Video Vision Transformer para extrair características espaço-temporais eficientes.
• Cabeça de VQA (Hierárquica): Projetada para prever a qualidade sem rótulos supervisionados. Possui dois módulos:
  1. Regressor de Pontuação de Sequência (SSR): Analisa características espaço-temporais em nível de sequência, atribuindo pesos aprendíveis a cada sequência dentro do clipe.
  2. Regressor de Pontuação de Vídeo (VSR): Opera em nível de clipe, considerando efeitos temporais como "movimento temporal" (influência de quadros passados) e "histerese temporal" (influência em quadros futuros), além de uma pontuação abrangente.
• Módulo Tune-CLS: Utiliza a pontuação de qualidade de vídeo (VQS) prevista pelo módulo VQA para ajustar (escalar) as características da classificação antes da função Softmax. Vídeos de alta qualidade têm suas previsões amplificadas, enquanto vídeos de baixa qualidade são suprimidos.
• Mecanismo Combined-SSL:
  • Estrutura de Dupla Ramificação: Uma ramificação superior (principal) e uma inferior (contrastiva) compartilham pesos.
  • Aprendizado por Cadeia (Chain Rule): A pontuação de qualidade (VQS) atua como um ponto de interseção. O gradiente da tarefa de classificação (que possui rótulos) é retropropagado através da VQS para otimizar os parâmetros da tarefa de VQA (que não possui rótulos). Isso permite que a tarefa de classificação "ensine" a tarefa de VQA.
  • Aprendizado Contrastivo: Utiliza pares de dados (mesma classe vs. classes diferentes) para gerar sinais de supervisão adicionais e melhorar a distinção de características, sem necessidade de distorção de dados que altere a qualidade original.
• Função de Perda (CBS Loss): Uma nova função de perda que combina:
  • Focal Loss (nível de lote) para lidar com desequilíbrio inter-classe.
  • Contrastive Loss (nível de lote) para lidar com desequilíbrio intra-classe.
  • Binary Cross Entropy (nível de sujeito) para garantir consistência na previsão por indivíduo.

3. Contribuições Principais

1. Framework Combined-SSL: Uma contribuição teórica que explora a relação recíproca entre VQA e Aprendizado Contrastivo para classificar vídeos objetivamente, resolvendo o problema da falta de rótulos de qualidade.
2. Modelo SSL-V3: Uma implementação prática que integra VQA sem referência em um ViViT para classificação.
3. Cabeça de VQA Hierárquica: Um design inovador com regressores de sequência e vídeo que capturam efeitos temporais complexos.
4. Nova Função de Perda (CBS): Desenvolvida para otimizar o modelo simultaneamente em nível de lote e de sujeito, abordando desequilíbrios de classes.
5. Validação em Dados Reais: Demonstração de que integrar a qualidade do vídeo melhora significativamente a precisão em cenários do mundo real (saúde e vigilância).

4. Resultados Experimentais

O modelo foi validado em dois conjuntos de dados distintos:

• I-CONECT (Saúde - Detecção de Comprometimento Cognitivo Leve - MCI):

  • Dataset de entrevistas faciais com variações significativas de qualidade.
  • Resultado: O SSL-V3 atingiu 94,87% de precisão no tema "School Subjects", superando o modelo ViViT padrão (90,63%) e outros modelos baseados em texto ou MRI.
  • A ablação mostrou que a remoção da VQA reduziu a precisão para 87,80%, provando a eficácia da integração.
  • O uso da estrutura contrastiva foi crucial, aumentando a precisão em mais de 12% em alguns temas.

• Hockey Fight Detection (Vigilância - Detecção de Violência):

  • Dataset de vídeos de jogos de hóquei com movimentos rápidos e desfoque.
  • Resultado: O SSL-V3 alcançou 98,6% de precisão média (com desvio padrão de 0,8%), superando ou equiparando-se aos melhores modelos existentes (como o SepConvLSTM-C com 99,5%), mas com uma abordagem mais robusta a vídeos de baixa qualidade.

5. Significado e Conclusão

O estudo demonstra que considerar a qualidade do vídeo não é apenas benéfico, mas essencial para a classificação robusta em cenários do mundo real.

• Inovação no Treinamento: O método Combined-SSL oferece uma nova via para resolver a escassez de rótulos em tarefas de regressão (como VQA) ao acoplar a tarefa a uma tarefa downstream supervisionada (classificação).
• Aplicabilidade: O modelo é escalável e eficaz tanto em aplicações de saúde (diagnóstico assistido por vídeo) quanto em vigilância (detecção de violência), lidando bem com ruídos e variações de qualidade.
• Limitações e Futuro: O modelo ainda não é um modelo de múltiplas tarefas "completo" devido à impossibilidade de validar a pontuação de qualidade com métricas de correlação padrão (falta de ground truth). Trabalhos futuros visam testar o modelo em datasets públicos com rótulos de qualidade e explorar a remoção de ruído (denoising) antes da classificação.

Em suma, o SSL-V3 estabelece um novo paradigma onde a avaliação de qualidade e a classificação de vídeo se reforçam mutuamente, resultando em sistemas de visão computacional mais robustos e confiáveis.