Resumo Técnico: SURGE – Um Benchmark de Séries Temporais de Sentimento em Mídias Sociais Centrado em Eventos

1. Definição do Problema

Eventos públicos em mídias sociais (por exemplo, desastres naturais, conflitos políticos, lançamentos de tecnologia) geram discussões massivas e fragmentadas cujas dinâmicas coletivas são críticas para a previsão de opinião e resposta a crises. A modelagem preditiva eficaz requer a organização dessas discussões em séries temporais em nível de evento que se alinhem ao ciclo de vida do evento. No entanto, os recursos existentes não atendem a três demandas simultâneas:

1. Organização em Nível de Evento: Muitos conjuntos de dados organizam dados por usuário ou sinais âncora para drivers exógenos (por exemplo, clima) em vez da própria discussão.
2. Estrutura de Interação: Séries temporais existentes frequentemente descartam a topologia de resposta e republicação entre postagens, apesar do fato de que as dinâmicas sociais estão fortemente acopladas às estruturas de interação.
3. Alinhamento Multimodal: Embora existam conjuntos de dados de previsão multimodal, suas fontes de texto (notícias, relatórios financeiros) carecem das cadeias de resposta entre usuários características das mídias sociais, tratando o texto como um canal lateral exógeno em vez de um sinal interativo.

Consequentemente, o valor preditivo da estrutura de interação para as dinâmicas de opinião coletiva permanece não testado, e a transferibilidade entre tipos de eventos é difícil de avaliar.

2. Metodologia: O Benchmark SURGE

SURGE é um benchmark de mídias sociais multi-evento projetado para emparelhar sinais temporais em nível de evento com estruturas de texto e interação alinhadas.

2.1 Coleta e Processamento de Dados

• Escopo: O conjunto de dados cobre 67 eventos públicos em cinco categorias: Desastres Naturais, Eventos Políticos, Movimentos Sociais, Lançamentos de Tecnologia e Esportes/Entretenimento.
• Fontes: Os dados são agregados de Twitter, Reddit e Threads, compreendendo 817.442 postagens (de uma coleção bruta inicial de ~1,26 milhão).
• Pré-processamento:
  • Filtragem: Postagens são deduplicadas e filtradas para remover texto curto, dominância de emojis/URLs e conteúdo não em inglês.
  • Detecção de Período Ativo: Eventos são recortados para seus "períodos ativos" para excluir conversas esparsas e ambientes, garantindo que a série temporal reflita engajamento genuíno.
  • Anotação de Sentimento: Postagens são rotuladas como Positivas, Neutras ou Negativas usando Qwen3-32B de maneira zero-shot. Estas são mapeadas para pontuações numéricas $\{+1, 0, -1\}$.
  • Validação: Um estudo de verificação humana estratificado em 3.000 postagens confirmou um $\kappa$ de Cohen de 0,74 entre anotadores e uma taxa de correspondência de 86,5% com rótulos de LLM, com viés sistemático limitado por $|\mu| \le 0,05$.

2.2 Construção de Séries Temporais

O benchmark constrói séries temporais alinhadas ao calendário em três granularidades temporais: 1 dia, 12 horas e 6 horas.

• Alvos: Para cada intervalo de tempo $t$, duas variáveis alvo são derivadas:
  1. Intensidade de Discussão ($c_t$): A contagem de postagens no intervalo.
  2. Polaridade de Sentimento ($\bar{s}_t$): A pontuação média de sentimento das postagens no intervalo.
• Normalização: Alvos são normalizados via escore-z por evento para lidar com diferenças de escala entre eventos.
• Visualizações de Texto: Cada intervalo de tempo é emparelhado com duas visualizações de texto derivadas das mesmas postagens selecionadas:
  • Visualização Plana: Postagens linearizadas cronologicamente sem marcadores de função.
  • Visualização Estruturada: Postagens organizadas em cadeias de resposta com marcadores de função explícitos (pai/filho), tratando republicações como interações semelhantes a respostas.

2.3 Protocolos de Avaliação

SURGE define quatro protocolos de benchmark:

1. Previsão Apenas Numérica: Prever valores futuros usando apenas séries temporais históricas.
2. Previsão Aumentada por Texto: Prever usando séries históricas mais texto (testado nas configurações Sem Texto, Plana e Estruturada).
3. Avaliação Consciente de Estrutura: Uma métrica ($MAE_{reply}(k\%)$) que avalia o desempenho especificamente nos intervalos de tempo mais densos em respostas (alta interação).
4. Generalização Inter-Categorias: Um protocolo "leave-one-category-out" para testar a transferibilidade entre os cinco tipos de evento.

3. Contribuições Principais

1. O Conjunto de Dados SURGE: O primeiro benchmark a fornecer simultaneamente cobertura multi-evento em nível de evento, séries temporais pré-construídas, visualizações de texto alinhadas a intervalos e estrutura de interação social explícita (arestas de resposta/republicação).
2. Framework de Avaliação: Um conjunto abrangente de protocolos incluindo métricas conscientes de estrutura e testes de generalização inter-categorias, abordando lacunas em conjuntos de dados existentes de previsão em mídias sociais e multimodais.
3. Implementação de Referência: Uma Sonda Consciente de Estrutura (CMA) leve que utiliza atenção cross-modal para consumir tokens de postagens tipadas e embeddings de threads, servindo como referência para futuros modelos conscientes de interação.

4. Resultados Experimentais

Os autores avaliaram modelos representativos de previsão de séries temporais (TSF) (lineares, Transformer, CNN, baseados em LLM e baseados em difusão) e baselines multimodais.

• Persistência Local Forte: Baselines ingênuas (Último Valor, Média Móvel) permanecem difíceis de superar sob Erro Absoluto Médio (MAE) em todas as granularidades. Isso indica um "regime de forte persistência local" onde a melhor previsão de curto horizonte é frequentemente a observação mais recente. Modelos aprendidos frequentemente reduzem o Erro Quadrático Médio (MSE) ao suavizar previsões, mas falham em melhorar o MAE.
• Transferência Limitada de Modelos Aumentados por Texto: Modelos TSF multimodais existentes (projetados para texto de notícias/financeiro) mostram robustez limitada quando aplicados a dados de mídias sociais. Eles não melhoram consistentemente sobre baselines apenas numéricas, e seu desempenho é insensível à forma estrutural do texto (Plano vs. Estruturado).
• Densidade de Interação Importa: A métrica consciente de estrutura ($MAE_{reply}$) revela que períodos densos em respostas são intrinsecamente mais difíceis de prever. As classificações de modelos nessas fatias densas divergem das classificações em métricas agregadas, sugerindo que períodos de alta interação são onde os modelos falham mais.
• Assimetria de Generalização: A transferência inter-categorias é estruturalmente assimétrica. Desastres naturais são a categoria mais difícil de generalizar, enquanto movimentos sociais são os mais fáceis. A dificuldade varia significativamente por variável alvo (Intensidade vs. Sentimento).

5. Significado e Alegações

O artigo posiciona SURGE não como uma proposta de um novo modelo de previsão, mas como um teste de estresse para previsão em mídias sociais orientada a eventos. Seu significado reside em expor três propriedades fundamentais do domínio:

1. A persistência é forte, mas insuficiente: Objetivos de otimização atuais (MSE) podem suprimir grandes desvios sem melhorar a precisão da tendência central (MAE) em séries orientadas a eventos.
2. O texto não é automaticamente útil: A estrutura interna do texto de mídias sociais (cadeias de resposta) difere fundamentalmente do texto unidirecional em conjuntos de dados financeiros/notícias. Modelos multimodais devem ser explicitamente projetados para lidar com essa estrutura de interação para serem eficazes.
3. Regimes de avaliação diferem por densidade: Métricas agregadas obscurecem falhas de modelos em períodos de alta interação. O benchmark fornece eixos (densidade de interação e mudança de categoria) ao longo dos quais métodos existentes falham, particularmente em cenários mais críticos para resposta a crises e monitoramento de opinião.

Os autores concluem que SURGE fornece os dados, protocolos e medições diagnósticas necessários para avançar a pesquisa em previsão consciente de interação, deixando o design de modelos mais fortes como uma tarefa para trabalhos futuros.