Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

Resumen Técnico: Conjuntos de Datos de Referencia para el Pronóstico de Adelanto-Retraso en Plataformas Sociales

Definición del Problema: Pronóstico de Adelanto-Retraso (LLF)

El artículo formaliza el Pronóstico de Adelanto-Retraso (Lead-Lag Forecasting, LLF) como un paradigma de predicción de series temporales distinto. A diferencia del pronóstico de rodamiento tradicional (predecir el futuro inmediato de un único canal) o los procesos de puntos temporales (modelar la llegada de eventos discretos), el LLF aborda la predicación de un canal de resultados correlacionado y temporalmente desplazado basado en interacciones tempranas.

Formalmente, dado un ente $i$ (por ejemplo, un artículo o un repositorio), la tarea consiste en predecir un resultado descendente $z^{(i)}$ derivado de un canal de "retraso" (lag) $y$ en un horizonte futuro $H$, utilizando únicamente observaciones de un canal de "adelanto" (lead) $x$ (y potencialmente datos tempranos del canal de retraso) dentro de una ventana de observación $\tau$.

• Canal de Adelanto ($x$): Interacciones de fase temprana (por ejemplo, visualizaciones, descargas, pushes, estrellas).
• Canal de Retraso ($y$): Señales de impacto retardadas (por ejemplo, citas, ventas, forks).
• Restricciones Clave: El horizonte de predicción $H$ es significativamente mayor que la ventana de observación $\tau$ (por ejemplo, predecir el impacto de 5 años a partir de 30 días de datos), y el modelo debe generalizar a entidades no vistas (generalización entre series) y transferir información entre canales (predicción entre canales).

Los autores argumentan que, si bien estas dinámicas de proceso dual son ubicuas en la ciencia, la economía y las redes sociales, el campo carece de conjuntos de datos estandarizados para estudiar sistemáticamente estos fenómenos, ya que los referentes existentes se centran en el pronóstico de un mismo canal y de corto horizonte.

Metodología y Conjuntos de Datos

Para anclar la investigación en el LLF, los autores curaron y lanzaron dos conjuntos de datos de referencia de alto volumen, documentando todos los detalles técnicos de su curación, limpieza y anonimización.

1. Conjunto de Datos de arXiv:

   • Alcance: 2.3 millones de artículos académicos.
   • Adelanto (Lead): Registros de acceso semanales/diarios (descargas/visualizaciones) de 1.07 mil millones de usuarios anonimizados.
   • Retraso (Lag): Recuentos de citas derivados del grafo de citas de Semantic Scholar (aproximando el tiempo de la cita mediante la fecha de publicación del artículo que cita).
   • Tarea: Predecir recuentos de citas a 5 años ($H=1825$ días) basados en datos de acceso en $\tau \in \{30, 100, 365\}$ días.
   • División (Split): Divisiones aleatorias para entrenamiento, validación y prueba, con un conjunto de "prueba no etiquetado" específico para artículos enviados después del corte de entrenamiento para asegurar que no haya fuga de datos (data leakage).

2. Conjunto de Datos de GitHub:

   • Alcance: 3 millones de repositorios (específicamente aquellos vinculados a gestores de paquetes como PyPI/Conda vía Ecosyste.ms).
   • Adelanto (Lead): Eventos de push y eventos de star.
   • Retraso (Lag): Recuentos de forks.
   • Tarea: Predecir recuentos de forks a 5 años basados en datos de push/star en $\tau \in \{30, 100, 365\}$ días.
   • División (Split): División similar, donde los repositorios con historiales más cortos de 5 años se colocan en un conjunto de prueba no etiquetado.

Análisis de Dinámicas:
Los autores verificaron la existencia de relaciones de adelanto-retraso mediante análisis estadístico:

• Desplazamiento Temporal: En arXiv, los accesos preceden consistentemente a las citas; en GitHub, las estrellas suelen aparecer antes que los forks.
• Poder Predictivo: Las correlaciones de Pearson y los gráficos de hexbin log-log muestran que las señales tempranas de adelanto (accesos, estrellas) se correlacionan fuertemente con los resultados de largo plazo (citas, forks), superando a menudo a las propias señales tempranas del canal de retraso en el corto plazo.
• Distribución: Ambos conjuntos de datos exhiben distribuciones de cola pesada (leyes de potencia), lo que requiere métricas de evaluación específicas.

Métricas de Evaluación:

• Clasificación: Identificación de entidades de alto impacto (8.1% superior para arXiv, 11.3% superior para GitHub). Métricas: AUROC, F1-score, AUC-PR.
• Regresión: Predicción de recuentos numéricos. Métricas: Error Absoluto Medio (MAE), MAE de la media logarítmica (MAE-log) y Error Porcentual Absoluto Medio (MAPE) restringido a entidades de alto impacto para evitar la inestabilidad causada por el ruido de recuentos bajos.

Contribuciones Clave

1. Lanzamiento de Conjuntos de Datos: La provisión de dos nuevos conjuntos de datos a gran escala (arXiv y GitHub) que son los primeros en probar conjuntamente la generalización entre canales y entre series en un entorno de largo horizonte.
2. Formalización: Definición del LLF como un problema de pronóstico unificado, distinto de las tareas de series temporales existentes.
3. Validación Empírica: Demostración, mediante pruebas estadísticas, de que los patrones de uso temprano contienen señales predictivas significativas para el impacto a largo plazo.
4. Benchmarks de Referencia (Baselines): Establecimiento de bases de rendimiento utilizando:
   • Paramétricos/No paramétricos: Regresión Logística (Vanilla, One-feature, Time-MoE embeddings), KNN, MLP.
   • Aprendizaje Profundo (Deep Learning): InceptionTime, Transformer y embeddings Time-MoE (grandes).
   • Ablaciones: Comparación de entradas de un solo canal frente a múltiples canales y predicción de mismo canal frente a entre canales.

Resultados

Los experimentos de referencia arrojaron varios hallazgos clave:

• Existe una Señal Predictiva: Incluso modelos simples que utilizan una única característica acumulativa (por ejemplo, el total de accesos al día 30) superan significativamente a los modelos base aleatorios (el F1 de arXiv sube de 0.08 a 0.31; el F1 de GitHub de 0.11 a 0.29).
• Superioridad entre Canales: Para horizontes tempranos (30–100 días), predecir el resultado de retraso usando el canal de adelanto (por ejemplo, accesos $\to$ citas) supera consistentemente al uso del propio canal de retraso (por ejemplo, citas tempranas $\to$ futuras citas).
• Riqueza de Características: El uso de múltiples canales (por ejemplo, pushes + stars) generalmente mejora el rendimiento sobre las entradas de un solo canal.
• Rendimiento de los Modelos:
  • InceptionTime: Demostró un rendimiento superior en métricas basadas en el ranking (AUC) para horizontes largos, pero mostró puntuaciones F1 más bajas para horizontos cortos, potencialmente debido a una mala calibración.
  • Deep Learning vs. Modelos Simples: Las características profundas (embeddings Time-MoE) generalmente superaron a las características no transformadas, aunque las ganancias no siempre fueron sustanciales.
  • Regresión: KNN funcionó fuertemente en métricas de MAE, particularmente en GitHub, pero tuvo un rendimiento inferior a los métodos de aprendizaje profundo en MAPE para elementos de alto impacto, probablemente debido a la distribución sesgada de los datos donde muchas entidades tienen un impacto a largo plazo de cero.
• Dependencia del Horizonte: El rendimiento predictivo mejoró a medida que la ventana de observación $\tau$ aumentó de 30 a 365 días, validando que más datos tempranos facilitan un mejor pronóstico a largo plazo.

Significado y Reivindicaciones

El artículo posiciona al LLF como un nuevo paradigma de pronóstico esencial para comprender los datos sociales y de uso. Su importancia radica en:

• Llenar un Vacío: Abordar la ausencia de conjuntos de datos estandarizados para el pronóstico de largo horizonte y entre canales, lo que limita la exploración sistemática de las dinámicas de adelanto-retraso.
• Relevancia en el Mundo Real: Ir más allá de casos de prueba artificiales hacia entornos reales (comunicación académica y software de código abierto) donde el impacto se desarrolla a lo largo de años y conlleva mecanismos complejos y no deterministas.
• Fundamento para Trabajos Futuros: Proporcionar una base empírica y referencias rigurosas para el desarrollo de arquitecturas de pronóstico escalables y flexibles capaces de generalizarse a series no vistas.

Los autores señalan modestamente las limitaciones: los conjuntos de datos contienen señales agregadas en lugar de trazas a nivel individual o metadatos de contenido; reflejan dinámicas de plataforma específicas en momentos específicos; y los modelos capturan correlaciones predictivas en lugar de relaciones causales. Enfatizan que los conjuntos de datos no deben usarse para inferir intervenciones causales directas, sino que sirven como una herramienta para comprender las promesas y los peligros de predecir resultados a largo plazo.