USV: Towards Understanding the User-generated Short-form Videos

Resumo Técnico: USV: Rumo à Compreensão de Vídeos Curtos Gerados pelo Usuário

Definição do Problema
Apesar da proliferação de conjuntos de dados de vídeo em grande escala que avançam a compreensão de vídeo, o domínio específico de vídeos curtos gerados pelo usuário (UGC) permanece pouco explorado. Os conjuntos de dados existentes focam principalmente em conteúdo profissional (por exemplo, filmes, TV) ou em reconhecimento ao nível de instância (por exemplo, reconhecimento de ação, detecção de objetos) em vídeos de longo prazo. Eles falham em abordar as características únicas dos UGCs de formato curto:

1. Concentração de Tópicos: Os vídeos são forçados a transmitir um único tópico principal em segundos.
2. Riqueza de Texto: Forte dependência de texto gerado pelo usuário (títulos, legendas, comentários) para significado semântico.
3. Alta Atividade: Tendências em rápida evolução (por exemplo, ASMR, blockchain) tornam a anotação e verificação manuais em escala impraticáveis.
4. Grande Diversidade: Uma ampla variedade de gêneros e narrativas que exigem pistas multimodais para compreensão.

A literatura atual carece de um conjunto de dados e benchmark que aproveite a multimodalidade para compreender informações semânticas de alto nível neste domínio específico.

Metodologia
O artigo apresenta o USV-1.0, um novo conjunto de dados, e propõe duas tarefas específicas e métodos de linha de base para abordar os desafios da compreensão de vídeos curtos de UGC.

1. Construção do Conjunto de Dados (USV-1.0):

   • Escala: Contém aproximadamente 224.000 vídeos em 212 categorias de microtemas (derivadas de 32 macrotemas).
   • Estratégia de Coleta: Os vídeos foram coletados por meio de consultas de rótulos a plataformas de UGC (por exemplo, TikTok, Kwai) sem verificação ou recorte manual adicional. As palavras de consulta servem como rótulos de tópico, e os títulos enviados pelo usuário servem como texto para recuperação.
   • Extração de Modalidade: O conjunto de dados inclui quadros visuais brutos, faixas de áudio e legendas extraídas (via OCR).
   • Tratamento de Ruído: Reconhecendo a característica de "Alta Atividade", os autores adotam um esquema supervisionado pela web. Apenas os conjuntos de validação e teste passaram por verificação humana limitada (removendo ~21,7% dos rótulos ruidosos), enquanto o conjunto de treinamento permanece não verificado para manter a escalabilidade.

2. Tarefa 1: Reconhecimento de Tópico:

   • Definição: Uma tarefa de classificação multiclasse onde o objetivo é identificar o tópico semântico de alto nível de um vídeo. Diferentemente do reconhecimento de ação, isso requer a integração de pistas visuais, de áudio e textuais.
   • Método (MMF-Net): Uma Rede de Fusão Multimodal usando uma arquitetura de fusão tardia de três ramos:
     • Ramo Visual: Redes convolucionais 2D (TSN) ou 3D (I3D, SlowFast).
     • Ramo de Áudio: ResNet-18 2D processando espectrogramas log-Mel.
     • Ramo de Texto: BERT multilíngue pré-treinado processando legendas extraídas via OCR.
     • Fusão: As pontuações de previsão dos três ramos são ponderadas e médias para formar um consenso.

3. Tarefa 2: Recuperação Vídeo-Texto:

   • Definição: Recuperar vídeos com base em títulos gerados pelo usuário (e vice-versa). Isso trata os títulos como legendas naturais e fracas, enquadrando o problema como aprendizado auto-supervisionado de modalidade cruzada.
   • Método (VTCL): Uma estrutura de Aprendizado Contrastivo Vídeo-Texto.
     • Mapeia clipes de vídeo e títulos em um espaço de incorporação compartilhado de $d$ dimensões.
     • Utiliza uma perda InfoNCE para aproximar pares vídeo-título correspondentes e afastar pares não correspondentes.
     • O codificador de vídeo concatena características dos ramos visual, de áudio e de texto antes da projeção.

Resultados Chave

• Desempenho de Linha de Base:
  • Reconhecimento de Tópico: A linha de base MMF-Net alcançou uma Precisão Média por Classe (mca) de 78,84% ao fundir os ramos Visual, de Áudio e de Texto. Notavelmente, modelos 2D (TSN) superaram modelos 3D (SlowFast, I3D) neste conjunto de dados, sugerindo que a modelagem temporal densa é menos crítica do que a integração multimodal para tópicos de formato curto. O pré-treinamento no Kinetics-400 ou ImageNet não trouxe benefícios, indicando uma lacuna de domínio significativa.
  • Recuperação Vídeo-Texto: A estrutura VTCL demonstrou que adicionar modalidades de áudio e texto melhorou consistentemente o desempenho de recuperação em relação às linhas de base apenas visuais. A melhor configuração (V+A+T) alcançou um Recall@1 de 23,51% (Vídeo para Título) e 23,71% (Título para Vídeo).
• Capacidade Zero-Shot: O artigo demonstrou que as incorporações VTCL poderiam ser usadas para reconhecimento de tópico zero-shot sem ajuste fino, alcançando uma mca de 29,01%, validando o alinhamento semântico aprendido pela estrutura contrastiva.
• Impacto da Multimodalidade: Estudos de ablação confirmaram que, embora os ramos individuais de áudio e texto tenham desempenho pobre isoladamente (frequentemente <50%), sua fusão impulsionou significativamente o desempenho geral do sistema, destacando a necessidade de pistas multimodais para compreensão semântica de alto nível.

Significado e Alegações
Os autores alegam três contribuições primárias:

1. Novos Dados: O USV-1.0 é o primeiro conjunto de dados em grande escala dedicado à compreensão de vídeos curtos do mundo real, abordando a lacuna na literatura existente que foca em conteúdo profissional ou ao nível de instância.
2. Novas Tarefas: A definição de Reconhecimento de Tópico (classificação semântica de alto nível) e Recuperação Vídeo-Texto (baseada em títulos gerados pelo usuário) desloca o foco do reconhecimento ao nível de instância para a compreensão semântica holística.
3. Novos Métodos: A proposta de MMF-Net e VTCL serve como as primeiras linhas de base eficazes utilizando áudio e legendas para essas tarefas específicas.

O artigo posiciona-se como uma exploração preliminar para facilitar pesquisas futuras. Ele enfatiza que os métodos propostos são linhas de base "simples, mas eficazes" projetadas para demonstrar o potencial das pistas multimodais, em vez de estabelecer recordes do estado da arte através de arquiteturas complexas. O trabalho visa expandir a fronteira da compreensão de conteúdo gerado pelo usuário, aproveitando a natureza inerentemente multimodal dos vídeos de formato curto.