OmniTrend: Content-Context Modeling for Scalable Social Popularity Prediction

1. Declaração do Problema

A previsão de popularidade em redes sociais visa estimar o engajamento do usuário (por exemplo, curtidas, compartilhamentos, visualizações) para conteúdo gerado por usuários. O artigo identifica uma limitação fundamental nos métodos existentes: o emaranhamento entre a atratividade do conteúdo e a exposição contextual.

• O Desafio Central: O engajamento observado ($y$) é um resultado conjunto de dois fatores distintos:
  1. Atratividade Intrínseca ($A$): A qualidade e o apelo do próprio conteúdo (visual, áudio, texto).
  2. Exposição Contextual ($E$): Os fatores externos que determinam o quão amplamente o conteúdo é exibido (horário de postagem, atividade do autor, algoritmos da plataforma, tópicos em alta).
• Limitações Atuais: A maioria dos modelos multimodais existentes trata conteúdo e contexto como um único sinal. Isso faz com que as representações aprendidas absorvam vieses de visibilidade específicos da plataforma, levando a:
  • Baixa Interpretabilidade: Não fica claro por que um post é popular (é o conteúdo ou o timing?).
  • Fraca Transferibilidade: Modelos treinados em uma plataforma frequentemente falham em outra porque aprenderam os padrões de exposição específicos da plataforma de origem, em vez do apelo universal do conteúdo.
  • Supervisão Instável: O mesmo conteúdo pode receber rótulos de engajamento diferentes dependendo de quando ou onde é postado.

2. Metodologia: Framework OmniTrend

O OmniTrend propõe um framework de Modelagem de Conteúdo–Contexto que separa explicitamente a tarefa de previsão em dois componentes aditivos no espaço logarítmico:
$$\log(1 + y_i) = \alpha_i + \phi_i$$
Onde $\alpha_i$ representa a atratividade do conteúdo e $\phi_i$ representa a exposição contextual.

A arquitetura consiste em três componentes principais:

A. Módulo de Conteúdo Multiplataforma (Aprendendo $\alpha$)

• Objetivo: Aprender uma representação agnóstica à plataforma do apelo intrínseco.
• Entradas: Sinais multimodais (Imagens, Vídeos, Texto).
• Arquitetura:
  • Codificadores: Utiliza codificadores pré-treinados (CLIP para imagens, X-CLIP para vídeo, BGE-M3 para texto) para mapear as entradas em um espaço de incorporação compartilhado de 512 dimensões.
  • Atenção Cruzada Multimodal: Emprega atenção cruzada bidirecional para alinhar tokens visuais, textuais e de vídeo, permitindo que o modelo refine características com base nas interações entre modalidades.
  • Fusão com Portão (Gated Fusion): Um mecanismo de portão controla a contribuição de cada modalidade, tornando o modelo robusto a modalidades ausentes (por exemplo, um post com apenas uma imagem e sem texto).
  • Treinamento: Treinado conjuntamente em múltiplas plataformas para aprender apelo universal. Utiliza uma combinação de Perda Huber Ponderada, Perda de Classificação em Pares e Perda de Alinhamento Cruzado Multimodal.

B. Módulo de Contexto Específico da Plataforma (Aprendendo $\phi$)

• Objetivo: Estimar dinâmicas de exposição com base em sinais exógenos.
• Entradas: Metadados e fatores externos (horário de postagem, número de seguidores do autor, frequência de atividade, categorias de tópicos, localização geográfica).
• Restrição: Exclui estritamente incorporações brutas de conteúdo para evitar o vazamento de sinais de atratividade para o modelo de exposição.
• Arquitetura: Utiliza um modelo leve (por exemplo, CatBoost ou MLP) para prever o componente de exposição com base no vetor de contexto.
• Treinamento: Treinado no alvo residual ($\tilde{y} - \hat{\alpha}$), aprendendo efetivamente o que o módulo de conteúdo não consegue explicar.

C. Módulo de Vizinhança Aumentado por Recuperação

• Objetivo: Capturar efeitos de difusão temporal e contágio social sem misturar conteúdo bruto no estimador de exposição.
• Mecanismo:
  • Recupera os $K$ posts históricos mais semelhantes ao post atual com base nas incorporações do Módulo de Conteúdo.
  • Calcula estatísticas agregadas (média ponderada e variância) da popularidade dos vizinhos e da atividade do autor.
  • Essas estatísticas (não o conteúdo bruto) são alimentadas no Módulo de Contexto como "características de vizinhança".
• Benefício: Isso permite que o modelo aprenda como a popularidade se propaga ao longo do tempo (momento), mantendo uma separação limpa entre o que é o conteúdo e como ele é exposto.

3. Contribuições Principais

1. Framework Desacoplado: O primeiro framework unificado a separar explicitamente a popularidade social em componentes de atratividade (conteúdo) e exposição (contexto), fornecendo uma base principial para interpretabilidade e transferência.
2. Modelagem Unificada de Conteúdo Multiplataforma: Um módulo compartilhado que aprende apelo intrínseco através de diferentes tipos de mídia (imagens vs. vídeos) e plataformas, habilitando transferência zero-shot ou few-shot.
3. Modelagem de Contexto Aprimorada por Recuperação: Uma estratégia inovadora que usa recuperação para agregar estatísticas temporais e de vizinhança para previsão de exposição, evitando a necessidade de construção explícita de grafos enquanto captura difusão social.
4. Escalabilidade e Interpretabilidade: O design modular permite que o modelo de conteúdo seja atualizado independentemente do modelo de contexto específico da plataforma, tornando o sistema adaptável à evolução das plataformas.

4. Resultados Experimentais

Os autores avaliaram o OmniTrend em quatro benchmarks diversos:

• Conjuntos de Dados: MicroLens (vídeo curto), ICIP (imagens do Twitter/Instagram), SMPD-Image (imagens em larga escala) e SMPD-Video (vídeos em larga escala).
• Baselines: Comparado contra 12 métodos state-of-the-art, incluindo baseados em características (SVR), sequenciais (CLSTM), multimodais (HMMVED, BLIP) e baseados em recuperação (MMRA).

Principais Descobertas:

• Desempenho: O OmniTrend alcançou resultados State-of-the-Art (SOTA) em todos os conjuntos de dados.
  • No SMPD-Image, reduziu o MSE em ~13% e aumentou a Correlação de Ranks de Spearman (SRC) de 0,64 para 0,71 em comparação com a melhor baseline (MMRA).
  • No MicroLens, alcançou o menor MAE (0,86) e a maior SRC (0,61).
• Transferibilidade: O módulo de conteúdo treinado em dados de vídeo transferiu-se com sucesso para tarefas de previsão de imagens com queda mínima de desempenho, demonstrando a robustez do sinal de atratividade aprendido.
• Estudos de Ablação:
  • A remoção do módulo de Contexto causou uma queda significativa na precisão, provando que a exposição é crítica.
  • A remoção do módulo de Conteúdo degradou a consistência de classificação, provando que o apelo intrínseco é essencial.
  • A distribuição conjunta de $\alpha$ e $\phi$ previstos foi estatisticamente independente, confirmando que o modelo desacoplou com sucesso os dois fatores.

5. Significado

• Insight Teórico: O artigo desafia a visão monolítica da previsão de popularidade, argumentando que "popularidade" é um produto de dois mecanismos distintos. Essa separação explica por que conteúdo similar performa de maneira diferente em diferentes plataformas.
• Aplicação Prática:
  • Para Criadores: O modelo pode distinguir entre "conteúdo ruim" (baixo $\alpha$) e "timing/algoritmo ruim" (baixo $\phi$), oferecendo feedback acionável.
  • Para Plataformas: O framework suporta implantação escalável onde a compreensão central do conteúdo permanece estável, enquanto o modelo de exposição se adapta a mudanças específicas nos algoritmos da plataforma.
• Direção Futura: A arquitetura modular estabelece um precedente para a construção de sistemas de IA adaptativos que podem evoluir com as dinâmicas das plataformas sem exigir re-treinamento completo da compreensão semântica central.