Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

Technische Samenvatting: Benchmark-datasets voor Lead-Lag Voorspelling op Sociale Platformen

Probleemdefinitie: Lead-Lag Forecasting (LLF)

Het artikel formaliseert Lead-Lag Forecasting (LLF) als een onderscheidend paradigma voor tijdreeksvoorspelling. In tegenstelling tot traditionele rolling forecasting (het voorspellen van de directe toekomst van een enkel kanaal) of temporale puntprocessen (het modelleren van discrete gebeurtenis-aankomsten), richt LLF zich op de voorspelling van een tijdelijk verschoven, gecorreleerd uitkomstkanaal op basis van vroege interacties.

Formeel gezien: gegeven een entiteit $i$ (bijv. een wetenschappelijk artikel of een repository), is de taak het voorspellen van een downstream uitkomst $z^{(i)}$ afgeleid van een "lag"-kanaal $y$ op een toekomstig horizon $H$, gebruikmakend van uitsluitend observaties van een "lead"-kanaal $x$ (en potentieel vroege lag-data) binnen een lookback-venster $\tau$.

• Lead-kanaal ($x$): Interacties in de vroege fase (bijv. weergaven, downloads, pushes, stars).
• Lag-kanaal ($y$): Vertraagde impactsignalen (bijv. citaties, verkopen, forks).
• Belangrijke beperkingen: De voorspellingshorizon $H$ is aanzienlijk groter dan het lookback-venster $\tau$ (bijv. het voorspellen van 5 jaar impact op basis van 30 dagen data), en het model moet generaliseren naar ongeziene entiteiten (cross-series generalisatie) terwijl het informatie overdraagt tussen kanalen (cross-channel voorspelling).

De auteurs stellen dat hoewel dergelijke duale procesdynamieken alomtegenwoordig zijn in de wetenschap, economie en sociale media, het vakgebied een tekort heeft aan gestandaardiseerde datasets om dit systematisch te bestuderen, aangezien bestaande benchmarks zich richten op forecasting binnen hetzelfde kanaal met een korte horizon.

Methodologie en Datasets

Om onderzoek in LLF te verankeren, hebben de auteurs twee hoog-volume benchmark-datasets gecureerd en vrijgegeven, waarbij alle technische details van curatie, opschoning en anonimisering zijn gedocumenteerd.

1. arXiv Dataset:

   • Omvang: 2,3 miljoen wetenschappelijke artikelen.
   • Lead: Wekelijkse/dagelijkse access logs (downloads/weergaven) van 1,07 miljard geanonimiseerde gebruikers.
   • Lag: Citatieaantallen afgeleid van de Semantic Scholar citatiegrafiek (waarbij de citatietijd wordt benaderd via de publicatiedatum van het citerende artikel).
   • Taak: Voorspel 5-jarige citatieaantallen ($H=1825$ dagen) op basis van access-data bij $\tau \in \{30, 100, 365\}$ dagen.
   • Splitsing: Willekeurige splitsingen voor training, validatie en testen, met een specifieke "unlabeled test" set voor artikelen die na de trainingsdeadline zijn ingediend om datalekken te voorkomen.

2. GitHub Dataset:

   • Omvang: 3 miljoen repositories (specifiek die gelinkt zijn aan package managers zoals PyPI/Conda via Ecosyste.ms).
   • Lead: Push-events en Star-events.
   • Lag: Fork-aantallen.
   • Taak: Voorspel 5-jarige fork-aantallen op basis van push/star-data bij $\tau \in \{30, 100, 365\}$ dagen.
   • Splitsing: Vergelijkbare willekeurige splitsingen, waarbij repositories met een geschiedenis korter dan 5 jaar in een unlabeled test set zijn geplaatst.

Analyse van Dynamiek:
De auteurs hebben de aanwezigheid van lead-lag relaties geverifieerd via statistische analyse:

• Temporele Verschuiving: Bij arXiv gaan accesses consequent vooraf aan citaties; bij GitHub verschijnen stars doorgaans vóór forks.
• Voorspellende Kracht: Pearson-correlatie en log-log hexbin-plots laten zien dat vroege lead-signalen (accesses, stars) sterk correleren met langetermijn lag-uitkomsten (citaties, forks), en vaak beter presteren dan de vroege lag-signalen zelf op de korte termijn.
• Distributie: Beide datasets vertonen heavy-tailed distributies (machtswetten), wat specifieke evaluatiemetrieken vereist.

Evaluatiemetrieken:

• Classificatie: Het identificeren van high-impact entiteiten (top 8,1% voor arXiv, top 11,3% voor GitHub). Metrieken: AUROC, F1-score, AUC-PR.
• Regressie: Het voorspellen van numerieke aantallen. Metrieken: Mean Absolute Error (MAE), Log-Mean Absolute Error (MAE-log), en Mean Absolute Percentage Error (MAPE), beperkt tot high-impact entiteiten om instabiliteit door ruis bij lage aantallen te voorkomen.

Belangrijkste Bijdragen

1. Dataset Release: De verstrekking van twee nieuwe, grootschalige datasets (arXiv en GitHub) die de eersten zijn die gezamenlijk cross-channel en cross-series generalisatie in een langetermijnsetting testen.
2. Formalisering: Het definiëren van LLF als een verenigd voorspellingsprobleem dat verschilt van bestaande tijdreeks-taken.
3. Empirische Validatie: Het aantonen, via statistische tests, dat vroege gebruikspatronen betekenisvolle voorspellende signalen bevatten voor langetermijnimpact.
4. Baseline Benchmarks: Het vaststellen van prestatie-baselines met behulp van:
   • Parametrisch/Niet-parametrisch: Logistische Regressie (Vanilla, One-feature, Time-MoE embeddings), KNN, MLP.
   • Deep Learning: InceptionTime, Transformer, en Time-MoE (large) embeddings.
   • Ablaties: Het vergelijken van single-channel versus multi-channel inputs en same-channel versus cross-channel voorspelling.

Resultaten

De baseline experimenten leverden verschillende belangrijke bevindingen op:

• Voorspellend Signaal Bestaat: Zelfs eenvoudige modellen die een enkele cumulatieve feature gebruiken (bijv. totale accesses op dag 30) presteren significant beter dan random baselines (bijv. arXiv F1 stijgt van 0,08 naar 0,31; GitHub F1 van 0,11 naar 0,29).
• Cross-Channel Superioriteit: Voor vroege horizonten (30–100 dagen) presteert het voorspellen van de lag-uitkomst met behulp van het lead-kanaal (bijv. accesses $\to$ citaties) consistent beter dan het gebruik van het lag-kanaal zelf (bijv. vroege citaties $\to$ toekomstige citaties).
• Feature Rijkdom: Het gebruik van meerdere kanalen (bijv. pushes + stars) verbetert over het algemeen de prestaties ten opzien van single-channel inputs.
• Modelprestaties:
  • InceptionTime: Toonde superieure prestaties in ranking-gebaseerde metrieken (AUC) voor lange horizonten, maar vertoonde lagere F1-scores voor korte horizonten, mogelijk door miskalibratie.
  • Deep Learning vs. Simpele Modellen: Deep features (Time-MoE embeddings) presteerden over het algemeen beter dan niet-getransformeerde features, hoewel de winst niet altijd substantieel was.
  • Regressie: KNN presteerde sterk op MAE-metrieken, met name op GitHub, maar presteerde minder goed dan deep learning methoden op MAPE voor high-impact items, waarschijnlijk door de scheve datadistributie waarbij veel entiteiten geen langetermijnimpact hebben.
• Horizon Afhankelijkheid: De voorspellende prestaties verbeterden naarmate het lookback-venster $\tau$ toenam van 30 naar 365 dagen, wat bevestigt dat meer vroege data de langetermijnvoorspelling faciliteert.

Betekenis en Claims

Het artikel positioneert LLF als een nieuw voorspellingsparadigma dat essentieel is voor het begrijpen van sociale en gebruikscijfers. De betekenis ligt in:

• Het Gat Opvullen: Het adresseren van de afwezigheid van gestandaardiseerde datasets voor cross-channel, langetermijn forecasting, wat de systematische exploratie van lead-lag dynamieken beperkt.
• Relevantie in de Praktijk: Verder gaan dan kunstmatige testgevallen naar real-world settings (wetenschappelijke communicatie en open-source software) waar impact zich over jaren ontvouwt en complexe, niet-deterministische mechanismen omvat.
• Fundament voor Toekomstig Werk: Het bieden van een empirisch fundament en rigoureuze baselines voor de ontwikkeling van schaalbare, flexibele forecasting architecturen die in staat zijn te generaliseren naar ongeziene series.

De auteurs merken bescheiden kanttekeningen bij de beperkingen: de datasets bevatten geaggregeerde signalen in plaats van individuele traces of content-metadata; ze reflecteren specifieke platformdynamieken op specifieke momenten; en de modellen leggen voorspellende correlaties vast in plaats van causale relaties. Ze benadrukken dat de datasets niet gebruikt moeten worden om directe causale interventies af te leiden, maar dienen als een instrument om de beloften en valkuilen van het voorspellen van langetermijnuitkomsten te begrijpen.