Technische Samenvatting: Voorspellen van Postvirialiteit met Temporele Cross-Attention over Trendsignalen

Probleemstelling

Huidige modellen voor het voorspellen van virialiteit op sociale media vertrouwen voornamelijk op statische tekstuele en structurele kenmerken (bijv. aantal volgers, tijdstip van publicatie, netwerkcentraaliteit en tekstsemantiek). Een kritieke beperking van deze benaderingen is hun "temporele blindheid": ze houden geen rekening met de dynamische aard van publieke aandacht. Een post over een specifiek onderwerp kan een zeer verschillend virale potentieel hebben, afhankelijk van of dat onderwerp momenteel piekt in publieke interesse of juist sluimerend is. De auteurs veronderstellen dat het negeren van deze temporele dynamiek leidt tot verkeerd gekarakteriseerde engagement-drijfveren en een verminderde voorspellende nauwkeurigheid. Het kernprobleem dat wordt aangepakt, is of real-world, exogene aandachtsignalen de voorspelling van virialiteit kunnen verbeteren boven wat de posttekst alleen onthult.

Methodologie

Data en Labeling

De studie maakt gebruik van een dataset van 788.873 Reddit-posts uit 10 diverse subreddits (variërend van nieuws, technologie, financiën, wetenschap en entertainment), verzameld tussen januari 2021 en december 2023.

• Definitie van Virialiteit: Virialiteit wordt gedefinieerd via een op subreddit gestratificeerde binaire labelstrategie om schaalverschillen tussen communities te compenseren. Een post wordt als virale ($y=1$) gelabeld als de engagement-score $v$ de 90e percentiel van de verdeling van zijn subreddit overschrijdt EN de ruwe score $s$ een minimumdrempel van 100 bereikt.
• Engagement-score: $v = s + 0,3 \cdot c$, waarbij $s$ de postscore is (upvotes minus downvotes) en $c$ het aantal comments. Het gewicht $\beta=0,3$ weerspiegelt de hogere inspanning van commenteren in vergelijking met stemmen.
• Exogene Signalen: Het model integreert Wikipedia-pagina-bezoekgegevens als proxy voor collectieve publieke interesse. "Spike"-termen worden dagelijks geïdentificeerd op basis van een ratio van huidige views tot views van de vorige dag ($\rho \ge 2,0$) en absolute toenames in views. De top 512 trending termen per dag worden behouden, gefilterd op ruis (bijv. evergreen-pagina's) en gecodeerd.

Architectuur: ViralityNet

ViralityNet is een cross-attention-architectuur ontworpen om interne postrepresentaties te fuseren met externe temporele trendsignalen.

1. Post-Encoder: Genereert een 256-dimensionale postrepresentatie ($p$) door vier parallelle streams te fuseren:

   • Titel & Body: Gecodeerd met all-mpnet-base-v2 (768-dimensionaal). Body-tekst wordt opgedeeld in chunks (400 tekens), gemiddeld gepooled en hergenormaliseerd. Een geleerde padding-embedding behandelt posts zonder body-tekst.
   • Structurele Kenmerken: 9 kenmerken (publicatie-uur, dag van de week, log-genormaliseerde leeftijd/lengtes, subreddit-grootte, enz.) geprojecteerd naar 64 dimensies.
   • Subreddit-Embedding: Een geleerde 32-dimensionale embedding voor de specifieke subreddit.
   • Fusie: Deze streams worden samengevoegd (1632 dimensies), geprojecteerd naar 256 dimensies en gefuseerd met een geleerde jaarembbedding ($e_y$) via een residuale verbinding om jaar-op-jaar verschuivingen in engagement-normen te compenseren.

2. Cross-Attention Block:

   • Trends Matrix ($T_d$): Een schuivend venster van 7 dagen van de top 512 Wikipedia-spike-termen wordt geconstrueerd voor elke dag $d$. Deze termen worden gecodeerd in een $512 \times 768$ matrix.
   • Mechanisme: De post-encoding $p$ fungeert als een query met één token ($Q$) tegen de keys en values ($K, V$) van de trends-matrix. Een multi-head attention-mechanisme met 4 koppen (MHA) stelt het model in staat selectief aandacht te schenken aan het subset van recente publieke interesse-onderwerpen dat het meest semantisch overeenkomt met de postinhoud.
   • Output: De resulterende contextvector $c$ (256 dimensies) vangt de uitlijning tussen de post en huidige trends.

3. Classificator: De concatenatie van de post-encoding en contextvector ($[p; c]$) wordt doorgegeven aan een Multi-Layer Perceptron (MLP) met twee verborgen lagen om een virale logit te produceren. Het model wordt getraind met Focal Loss ($\alpha=0,25, \gamma=2,0$) om de ernstige class-imbalance aan te pakken (9,7% positief percentage).

Belangrijkste Bijdragen

1. Trend-uitlijnings-signaal: Introductie van een postniveau trend-uitlijnings-signaal afgeleid van Wikipedia-pagina-bezoekspikes, aangetoond als statistisch significant op het niveau van individuele posts.
2. ViralityNet Architectuur: Een nieuwe cross-attention-architectuur die postrepresentaties conditioneert op dagelijkse schuivende venster-trendmatrices, verrijkt met geleerde jaar- en subreddit-embeddings.
3. Systematische Ablatie: Een studie die de bijdragen van temporele context (jaarembbeddings), exogene trends (cross-attention) en hun combinatie ontrafelt.

Resultaten

Het model werd geëvalueerd op een vastgehouden testset van 118.331 posts (11.459 virale). De primaire metriek is AUC-PR, met AUC-ROC en F1 gerapporteerd bij een vaste drempel van 0,31 (geoptimaliseerd voor F1).

• Prestatiewinst: Het volledige ViralityNet-model behaalde een AUC-PR van 0,3584 en een AUC-ROC van 0,8355.
• Vergelijking met Baselines:
  • Alleen Tekst: AUC-PR 0,3431.
  • Tekst + Jaar: AUC-PR 0,3554 (+0,012 verbetering).
  • Tekst + Trends: AUC-PR 0,3476 (+0,005 verbetering).
  • Volledig Model: AUC-PR 0,3584 (+0,015 verbetering ten opzichte van alleen tekst).
• Componentanalyse: De jaarembbedding droeg de meest significante winst bij (+0,012), toegeschreven aan verschuivende engagement-normen tussen 2021 en 2023. De trend cross-attention bood een kleinere maar consistente complementaire winst (+0,003 ten opzichte van de Text+Year-baseline).
• Subreddit-variatie: De prestaties varieerden per community. Subreddits met sterke thematische overlap met Wikipedia-trends (bijv. r/technology, r/stocks) vertoonden de hoogste AUC-PR (>0,39). Communities die worden aangedreven door interne cultuur (bijv. r/gaming, r/wallstreetbets) waren moeilijker te voorspellen met externe signalen.
• Drempelgevoeligheid: Vanwege class-imbalance leverde de standaarddrempel van 0,5 een lage recall op (2,7%). Het verlagen van de drempel naar 0,31 verbeterde de recall naar 53,0% met een precisie van 31,9%, geschikt voor het aan het licht brengen van kandidaat-virale posts voor beoordeling.

Betekenis en Claims

Het artikel stelt dat het integreren van externe aandachtsignalen meetbare verbeteringen oplevert ten opzichte van baselines die alleen tekst gebruiken, waarmee de hypothese wordt gevalideerd dat virialiteit niet alleen wordt bepaald door inhoud, maar door de uitlijning met real-world dynamiek.

• Bewijs van Uitlijning: De resultaten suggereren dat posts die semantisch uitgelijnd zijn met contemporaine spikes in publieke aandacht meetbaar meer kans hebben om viraal te gaan.
• Complementariteit: Exogene signalen (Wikipedia-trends) fungeren als een nuttige aanvulling op platform-interne kenmerken, met name in communities waar virialiteit wordt aangedreven door externe gebeurtenissen in plaats van interne cultuur.
• Beperkt maar Consistent: De auteurs karakteriseren de winsten als "beperkt maar consistent", en merken op dat hoewel het trend-signaal alleen geen dominante factor is in vergelijking met temporele context (jaar), het het volledige model toch naar zijn hoogste prestaties drijft.
• Beperkingen: De auteurs merken expliciet op dat het model contemporane uitlijning meet, geen vooruitblikkende voorspelling. Ze erkennen beperkingen met betrekking tot de statische aard van de engagement-gegevens (gebrek aan vroege snelheid), het heuristische ontwerp van de pijplijn en potentiële generaliseerbaarheidsproblemen door de specifieke subreddit-selectie. Ze wijzen ook op de bredere impact-zaak dat dergelijke voorspellende capaciteiten theoretisch misbruikt zouden kunnen worden voor het optimaliseren van de verspreiding van gepolariseerde inhoud of spam.