Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

Resumo Técnico: Conjuntos de Dados de Referência para Previsão de Lead-Lag em Plataformas Sociais

Definição do Problema: Previsão de Lead-Lag (LLF)

O artigo formaliza a Previsão de Lead-Lag (LLF) como um paradigma de previsão de séries temporais distinto. Diferente da previsão de rolagem tradicional (prever o futuro imediato de um único canal) ou de processos de pontos temporais (modelar chegadas de eventos discretos), a LLF aborda a previsão de um canal de resultado temporalmente deslocado e correlacionado com base em interações precoces.

Formalmente, dada uma entidade $i$ (ex: um artigo ou repositório), a tarefa é prever um resultado a jusante $z^{(i)}$ derivado de um canal "lag" (atraso) $y$ em um horizonte futuro $H$, usando apenas observações de um canal "lead" (antecedente) $x$ (e potencialmente dados iniciais do lag) dentro de uma janela de observação $\tau$.

• Canal Lead ($x$): Interações de fase inicial (ex: visualizações, downloads, pushes, estrelas).
• Canal Lag ($y$): Sinais de impacto retardado (ex: citações, vendas, forks).
• Restrições Principais: O horizonte de previsão $H$ é significativamente maior que a janela de observação $\tau$ (ex: prever o impacto de 5 anos a partir de 30 dias de dados), e o modelo deve generalizar para entidades não vistas (generalização entre séries) ao mesmo tempo em que transfere informações entre canais (previsão entre canais).

Os autores argumentam que, embora essas dinâmicas de processo duplo sejam ubíquas na ciência, economia e mídia social, a área carece de conjuntos de dados padronizados para estudar sistematicamente esses fenômenos, uma vez que os benchmarks existentes focam em previsões de mesmo canal e curto horizonte.

Metodologia e Conjuntos de Dados

Para ancorar a pesquisa em LLF, os autores curaram e lançaram dois conjuntos de dados de referência de alto volume, documentando todos os detalhes técnicos de curadoria, limpeza e anonimização.

1. Conjunto de Dados arXiv:

   • Escopo: 2,3 milhões de artigos acadêmicos.
   • Lead: Registros de acesso semanais/diários (downloads/visualizações) de 1,07 bilhão de usuários anonimizados.
   • Lag: Contagens de citações derivadas do grafo de citações do Semantic Scholar (aproximando o tempo de citação via data de publicação do artigo que cita).
   • Tarefa: Prever contagens de citações de 5 anos ($H=1825$ dias) com base em dados de acesso em $\tau \in \{30, 100, 365\}$ dias.
   • Divisão (Split): Divisões aleatórias para treinamento, validação e teste, com um conjunto específico de "teste não rotulado" para artigos submetidos após o corte de treinamento, para garantir que não haja vazamento de dados.

2. Conjunto de Dados GitHub:

   • Escopo: 3 milhões de repositórios (especificamente aqueles vinculados a gerenciadores de pacotes como PyPI/Conda via Ecosyste.ms).
   • Lead: Eventos de Push e eventos de Star.
   • Lag: Contagens de Fork.
   • Tarefa: Prever contagens de forks de 5 anos com base em dados de push/star em $\tau \in \{30, 100, 365\}$ dias.
   • Divisão (Split): Divisões aleatórias semelhantes, com repositórios que possuem históricos menores que 5 anos colocados em um conjunto de teste não rotulado.

Análise de Dinâmicas:
Os autores verificaram a existência de relações lead-lag através de análise estatística:

• Deslocamento Temporal: No arXiv, os acessos precedem consistentemente as citações; no GitHub, as estrelas normalmente aparecem antes dos forks.
• Poder Preditivo: Correlações de Pearson e gráficos hexbin log-log mostram que sinais precoces de lead (acessos, estrelas) correlacionam-se fortemente com resultados de lag de longo prazo (citações, forks), muitas vezes superando os próprios sinais precoces do lag no curto prazo.
• Distribuição: Ambos os conjuntos de dados exibem distribuições de cauda pesada (leis de potência), o que exige métricas de avaliação específicas.

Métricas de Avaliação:

• Classificação: Identificar entidades de alto impacto (8,1% para arXiv, 11,3% para GitHub). Métricas: AUROC, F1-score, AUC-PR.
• Regressão: Prever contagens numéricas. Métricas: Erro Médio Absoluto (MAE), Erro Médio Absoluto Logarítmico (MAE-log) e Erro Percentual Absoluto Médio (MAPE) restrito a entidades de alto impacto para evitar instabilidade devido ao ruído de contagens baixas.

Principais Contribuições

1. Lançamento de Conjuntos de Dados: A provisão de dois novos conjuntos de dados em larga escala (arXiv e GitHub) que são os primeiros a testar conjuntamente a generalização entre canais (cross-channel) e entre séries (cross-series) em um cenário de longo horizonte.
2. Formalização: Definir a LLF como um problema de previsão unificado, distinto de tarefas de séries temporais existentes.
3. Validação Empírica: Demonstrar, através de testes estatísticos, que padrões de uso precoce contêm sinais preditivos significativos para o impacto de longo prazo.
4. Benchmarks de Linha de Base (Baselines): Estabelecer baselines de desempenho usando:
   • Paramétricos/Não paramétricos: Regressão Logística (Vanilla, One-feature, Time-MoE embeddings), KNN, MLP.
   • Deep Learning: InceptionTime, Transformer e embeddings Time-MoE (large).
   • Ablações: Comparação entre entradas de canal único vs. múltiplos canais e previsão de mesmo canal vs. entre canais.

Resultados

Os experimentos de baseline produziram várias descobertas importantes:

• O Sinal Preditivo Existe: Mesmo modelos simples usando um único recurso cumulativo (ex: total de acessos no dia 30) superam significativamente os baselines aleatórios (ex: o F1 do arXiv sobe de 0,08 para 0,31; o F1 do GitHub de 0,11 para 0,29).
• Superioridade Entre Canais: Para horizontes precoces (30–100 dias), prever o resultado do lag usando o canal lead (ex: acessos $\to$ citações) supera consistentemente o uso do próprio canal do lag (ex: citações precoces $\to$ citações futuras).
• Riqueza de Recursos (Features): O uso de múltiplos canais (ex: pushes + stars) geralmente melhora o desempenho em relação às entradas de canal único.
• Desempenho do Modelo:
  • InceptionTime: Demonstrou desempenho superior em métricas de ranking (AUC) para longos horizontes, mas mostrou pontuações F1 mais baixas para horizontes curtos, potencialmente devido à má calibração.
  • Deep Learning vs. Modelos Simples: Recursos profundos (embeddings Time-MoE) geralmente superaram recursos não transformados, embora os ganhos nem sempre tenham sido substanciais.
  • Regressão: O KNN teve um desempenho forte em métricas MAE, particularmente no GitHub, mas teve desempenho inferior aos métodos de deep learning em MAPE para itens de alto impacto, provavelmente devido à distribuição enviesada dos dados, onde muitas entidades têm zero impacto a longo prazo.
• Dependência de Horizonte: O desempenho preditivo melhorou conforme a janela de observação $\tau$ aumentava de 30 para 365 dias, validando que mais dados iniciais facilitam uma melhor previsão de longo prazo.

Significância e Alegações

O artigo posiciona a LLF como um novo paradigma de previsão essencial para compreender dados sociais e de uso. Sua significância reside em:

• Preenchimento de uma Lacuna: Abordar a ausência de conjuntos de dados padronizados para previsões de longo horizonte e entre canais, o que limita a exploração sistemática das dinâmicas de lead-lag.
• Relevância no Mundo Real: Ir além de casos de teste artificiais para cenários reais (comunicação acadêmica e software de código aberto) onde o impacto se desenrola ao longo de anos e envolve mecanismos complexos e não determinísticos.
• Fundação para Trabalhos Futuros: Fornecer uma base empírica e baselines rigorosos para o desenvolvimento de arquiteturas de previsão escaláveis e flexíveis, capazes de generalizar para séries não vistas.

Os autores observam modestamente as limitações: os conjuntos de dados contêm sinais agregados em vez de traços individuais ou metadados de conteúdo; eles refletem dinâmicas de plataformas específicas em tempos específicos; e os modelos capturam correlações preditivas em vez de relações causais. Eles enfatizam que os conjuntos de dados não devem ser usados para inferir intervenções causais diretas, mas sim servir como uma ferramenta para entender as promessas e os riscos de prever resultados de longo prazo.