ClimateVID -- Social Media Videos Analysis and Challenges Involved

1. Declaração do Problema

A proliferação de vídeos de formato curto nas mídias sociais alterou fundamentalmente o discurso público sobre as mudanças climáticas. Embora a análise de temas visuais seja crucial para compreender essas narrativas, os métodos existentes enfrentam desafios significativos:

• Complexidade dos Dados: Vídeos de mídias sociais contêm redundância temporal, pontos de vista em mudança e múltiplas cenas distintas, tornando-os mais difíceis de analisar do que imagens estáticas.
• Limitações dos Modelos: Os Modelos Visão-Linguagem (VLMs) atuais frequentemente lutam com classificação zero-shot em conteúdo de mídias sociais, particularmente no que diz respeito a categorias climáticas específicas, memes e conteúdo fora da distribuição.
• Granularidade de Agrupamento: Métodos de agrupamento tradicionais frequentemente produzem resultados grosseiros que falham em capturar temas visuais de granularidade fina ou subtemas distintos dentro de categorias mais amplas.
• Falta de Diretrizes: Há uma escassez de orientações práticas para pesquisadores sobre como pré-processar dados de vídeo (seleção de quadros, combinação de embeddings) e selecionar modelos apropriados para descoberta de temas não supervisionada em grande escala.

2. Metodologia

Os autores propõem um framework de dupla estratégia para analisar um conjunto de dados de aproximadamente 78.000 vídeos únicos do Twitter relacionados às mudanças climáticas (coletados entre 2019 e 2022).

A. Classificação Zero-Shot (Abordagem Supervisionada)

O estudo avalia a capacidade de três Modelos de Linguagem Grande de Vídeo (VLMs) de código aberto contra uma linha de base quadro a quadro:

• Modelos Avaliados: VideoChatGPT, PandaGPT, VideoLLaVA e uma linha de base usando CLIP (quadro a quadro).
• Estratégia de Prompting: Foi utilizada uma abordagem de prompting hierárquico. Primeiro, prompts binários "Sim/Não" filtraram grupos amplos (Animais, Consequências, Ação Climática). Se positivo, prompts detalhados solicitaram números de categoria específicos.
• Categorias: 59 categorias distintas distribuídas em 5 grupos: Animais, Consequências, Ação Climática, Cenário e Tipo.
• Avaliação: Os modelos foram testados quanto à coerência semântica e fidelidade (aderência ao formato de saída).

B. Agrupamento Não Supervisionado (Abordagem de Descoberta)

Para descobrir temas latentes sem rótulos predefinidos, os autores adaptaram o problema de Multicut de Custo Mínimo (MP) para dados de vídeo.

• Pipeline:
  1. Seleção de Quadros: Comparou Seleção Estática (amostragem uniforme a 1 fps) vs. Seleção Dinâmica (extração de quadros-chave baseada em agrupamento).
  2. Geração de Embeddings: Utilizou dois modelos fundamentais: DINOv2 (arquitetura ViT) e ConvNeXt V2 (autoencoder mascarado).
  3. Combinação de Quadros: Agregou embeddings de quadros em um único vetor ao nível do vídeo usando métodos como Média Simples, Diversidade Ponderada e Coerência Temporal.
  4. Agrupamento: Construiu um grafo de similaridade e o particionou usando o algoritmo MP para identificar grupos de conteúdo visualmente similar.
• Métricas: Avaliado usando métricas padrão de agrupamento (Silhueta, Davies-Bouldin, Calinski-Harabasz) e métricas pragmáticas (coeficiente de Gini para equilíbrio, razão de singletons para superfragmentação e cobertura Top-10).

3. Contribuições Principais

1. Avaliação Abrangente de VLMs: Uma avaliação crítica do VideoChatGPT, PandaGPT e VideoLLaVA para análise climática em mídias sociais, revelando limitações significativas no desempenho zero-shot em comparação com o CLIP quadro a quadro.
2. Extensão Metodológica: Estendeu com sucesso o agrupamento Multicut de Custo Mínimo para dados de vídeo, fornecendo estudos de ablação sobre estratégias de seleção de quadros e combinação de embeddings.
3. Diretrizes Práticas: Estabeleceu melhores práticas para análise de vídeos de mídias sociais, recomendando escolhas específicas de modelos (ConvNeXt V2) e pipelines de processamento (amostragem estática + média simples) para descoberta temática.
4. Recursos Abertos: Lançou um conjunto de dados curado de IDs de tweets e código para reprodutibilidade.

4. Resultados Principais

Achados da Classificação Zero-Shot

• Falhas dos VLMs: VideoChatGPT e PandaGPT produziram resultados altamente não confiáveis, caracterizados por:
  • Viés Posicional: Forte tendência a selecionar a primeira categoria listada no prompt.
  • Erros de Formato: Aderência inconsistente aos formatos de saída (por exemplo, retornar texto em vez de números de categoria).
  • Superclassificação: Tendência a atribuir múltiplos rótulos, muitas vezes contraditórios, a um único vídeo (por exemplo, rotular um vídeo como contendo "Todos" os tipos de animais).
• Sucesso do CLIP: O CLIP quadro a quadro emergiu como o modelo mais confiável. Embora careça de raciocínio temporal, forneceu distribuições de probabilidade consistentes e interpretáveis entre os quadros.
• Recomendação: Para classificação de vídeos de mídias sociais com categorias predefinidas, análise quadro a quadro usando CLIP é atualmente superior a VLMs de ponta a ponta.

Achados do Agrupamento

• Diferenças no Espaço de Embedding:
  • DINOv2: Produziu menos clusters, mais amplos (50 no total). Agrupou vídeos com base em pistas visuais de alto nível (paleta de cores, composição, temas amplos como "Gelo Ártico"). Os 5 principais clusters continham 94,8% de todos os vídeos.
  • ConvNeXt V2: Produziu clusters mais granulares (71 no total). Distinguiu detalhes de granularidade fina, como objetos específicos, estilos de produção e contextos (por exemplo, separando "animais de estimação domésticos" de "vida selvagem"). Mostrou uma distribuição mais equilibrada, com apenas 13,1% dos vídeos nos 5 principais clusters.
• Impacto da Seleção de Quadros: A escolha entre seleção de quadros estática e dinâmica teve um efeito benigno na qualidade do agrupamento. A amostragem estática (uniforme) foi suficiente e computacionalmente eficiente.
• Configuração Ótima: Os autores recomendam embeddings ConvNeXt V2 com seleção de quadros estática e média simples para agrupamento de vídeo. Esta configuração produziu os temas visuais mais significativos e interpretáveis.

Insights de Conteúdo

• Temas Dominantes: "Ação Climática" (política, protestos, energia) foi o conteúdo mais frequente (65%), seguido por "Consequências" (56%) e "Animais" (53%).
• Tendências Visuais: "Memes" foram um tipo de vídeo dominante. "Espaço Exterior" (Terra do espaço) foi um cenário surpreendentemente prevalente, frequentemente usado para discussões climáticas abstratas.
• Mudanças Temporais: Ao longo do tempo, houve uma mudança de visualizações abstratas em direção a conteúdos mais realistas (cenários residenciais/comerciais).

5. Significado e Conclusão

Este artigo destaca uma lacuna crítica nas capacidades atuais de IA: enquanto os VLMs se destacam no diálogo geral, eles lutam com a natureza específica, ruidosa e repleta de memes do discurso climático em mídias sociais. O estudo demonstra que abordagens mais simples, baseadas em quadros (CLIP) combinadas com agrupamento não supervisionado robusto (ConvNeXt V2 + Multicut) são atualmente mais eficazes para análise temática em grande escala do que VLMs generativos complexos.

O trabalho fornece um roteiro vital para pesquisadores e praticantes, oferecendo metodologias validadas para extrair insights acionáveis de volumes massivos de dados de vídeo de mídias sociais, auxiliando assim no monitoramento do discurso público e no desenvolvimento de estratégias de comunicação climática direcionadas.