Riepilogo Tecnico: Previsione della Viralità Post con Cross-Attention Temporale su Segnali di Tendenza

Enunciato del Problema

I modelli attuali per prevedere la viralità sui social media si basano prevalentemente su caratteristiche testuali e strutturali statiche (ad esempio, numero di follower, orario di pubblicazione, centralità nella rete e semantica del testo). Un limite critico di questi approcci è la loro "cecità temporale": non tengono conto della natura dinamica dell'attenzione pubblica. Un post su un argomento specifico può avere un potenziale virale molto diverso a seconda che quell'argomento stia attualmente vivendo un picco di interesse pubblico o sia stato dormiente. Gli autori ipotizzano che ignorare queste dinamiche temporali porti a una caratterizzazione errata dei driver di engagement e a una ridotta accuratezza predittiva. Il problema centrale affrontato è se segnali di attenzione reali ed esogeni possano migliorare la previsione della viralità oltre quanto rivelato dal solo testo del post.

Metodologia

Dati e Etichettatura

Lo studio utilizza un dataset di 788.873 post di Reddit provenienti da 10 subreddit diversi (che coprono notizie, tecnologia, finanza, scienza e intrattenimento), raccolti tra gennaio 2021 e dicembre 2023.

• Definizione di Viralità: La viralità è definita tramite una strategia di etichettatura binaria stratificata per subreddit per tenere conto delle differenze di scala tra le comunità. Un post è etichettato come virale ($y=1$) se il suo punteggio di engagement $v$ supera il 90° percentile della distribuzione del suo subreddit E il suo punteggio grezzo $s$ soddisfa una soglia minima di 100.
• Punteggio di Engagement: $v = s + 0,3 \cdot c$, dove $s$ è il punteggio del post (upvote meno downvote) e $c$ è il numero di commenti. Il peso $\beta=0,3$ riflette il maggiore sforzo richiesto per commentare rispetto al votare.
• Segnali Esogeni: Il modello incorpora dati sulle visualizzazioni delle pagine di Wikipedia come proxy per l'interesse pubblico collettivo. I termini "di picco" sono identificati quotidianamente in base al rapporto tra le visualizzazioni correnti e quelle del giorno precedente ($\rho \ge 2,0$) e agli aumenti assoluti delle visualizzazioni. I 512 termini di tendenza superiori per giorno vengono mantenuti, filtrati per il rumore (ad esempio, pagine evergreen) e codificati.

Architettura: ViralityNet

ViralityNet è un'architettura di cross-attention progettata per fondere le rappresentazioni interne dei post con segnali esterni di tendenza temporale.

1. Codificatore del Post: Genera una rappresentazione del post a 256 dimensioni ($p$) fondendo quattro flussi paralleli:

   • Titolo e Corpo: Codificati utilizzando all-mpnet-base-v2 (768 dimensioni). Il testo del corpo viene suddiviso in blocchi (400 caratteri), mediato e rineormalizzato. Un embedding di padding appreso gestisce i post senza testo del corpo.
   • Caratteristiche Strutturali: 9 caratteristiche (ora di pubblicazione, giorno della settimana, età/lunghezze normalizzate in logaritmo, dimensione del subreddit, ecc.) proiettate su 64 dimensioni.
   • Embedding del Subreddit: Un embedding appreso a 32 dimensioni per il subreddit specifico.
   • Fusione: Questi flussi vengono concatenati (1632 dimensioni), proiettati su 256 dimensioni e fusi con un embedding dell'anno ($e_y$) appreso tramite una connessione residua per tenere conto degli spostamenti annuali nelle norme di engagement.

2. Blocco di Cross-Attention:

   • Matrice delle Tendenze ($T_d$): Per ogni giorno $d$ viene costruita una finestra scorrevole di 7 giorni dei 512 termini di picco di Wikipedia. Questi termini sono codificati in una matrice $512 \times 768$.
   • Meccanismo: La codifica del post $p$ agisce come una query a singolo token ($Q$) contro le chiavi e i valori della matrice delle tendenze ($K, V$). Un meccanismo di attenzione multi-testa a 4 teste (MHA) permette al modello di prestare attenzione selettivamente al sottoinsieme di argomenti di interesse pubblico recenti più semanticamente allineati al contenuto del post.
   • Output: Il vettore di contesto risultante $c$ (256 dimensioni) cattura l'allineamento tra il post e le tendenze attuali.

3. Classificatore: La concatenazione della codifica del post e del vettore di contesto ($[p; c]$) viene passata attraverso un Perceptron Multistrato (MLP) con due livelli nascosti per produrre un logit virale. Il modello è addestrato utilizzando la Focal Loss ($\alpha=0,25, \gamma=2,0$) per affrontare lo squilibrio di classe severo (9,7% di tasso positivo).

Contributi Chiave

1. Segnale di Allineamento alle Tendenze: Introduzione di un segnale di allineamento alle tendenze a livello di post derivato dai picchi di visualizzazioni delle pagine di Wikipedia, dimostrato essere statisticamente significativo a livello di singolo post.
2. Architettura ViralityNet: Una nuova architettura di cross-attention che condiziona le rappresentazioni dei post su matrici di tendenza a finestra scorrevole giornaliera, arricchita con embedding dell'anno e del subreddit appresi.
3. Ablazione Sistematica: Uno studio che scompone i contributi del contesto temporale (embedding dell'anno), delle tendenze esogene (cross-attention) e della loro combinazione.

Risultati

Il modello è stato valutato su un set di test tenuto da parte di 118.331 post (11.459 virali). La metrica primaria è l'AUC-PR, con AUC-ROC e F1 riportati a una soglia fissa di 0,31 (ottimizzata per F1).

• Miglioramenti delle Prestazioni: Il modello completo ViralityNet ha raggiunto un AUC-PR di 0,3584 e un AUC-ROC di 0,8355.
• Confronto con le Baseline:
  • Solo Testo: AUC-PR 0,3431.
  • Testo + Anno: AUC-PR 0,3554 (+0,012 di miglioramento).
  • Testo + Tendenze: AUC-PR 0,3476 (+0,005 di miglioramento).
  • Modello Completo: AUC-PR 0,3584 (+0,015 di miglioramento rispetto al Solo Testo).
• Analisi dei Componenti: L'embedding dell'anno ha contribuito al miglioramento più significativo (+0,012), attribuito agli spostamenti delle norme di engagement tra il 2021 e il 2023. La cross-attention sulle tendenze ha fornito un miglioramento complementare più piccolo ma costante (+0,003 rispetto alla baseline Testo+Anno).
• Varianza tra Subreddit: Le prestazioni variavano in base alla comunità. I subreddit con una forte sovrapposizione tematica con le tendenze di Wikipedia (ad esempio, r/technology, r/stocks) hanno registrato l'AUC-PR più alto (>0,39). Le comunità guidate da una cultura interna (ad esempio, r/gaming, r/wallstreetbets) sono state più difficili da prevedere utilizzando segnali esterni.
• Sensibilità della Soglia: A causa dello squilibrio di classe, la soglia predefinita di 0,5 ha prodotto un richiamo basso (2,7%). Abbassare la soglia a 0,31 ha migliorato il richiamo al 53,0% con una precisione del 31,9%, adatto a mettere in evidenza post candidati virali per la revisione.

Significato e Affermazioni

Il documento afferma che l'inclusione di segnali di attenzione esterni produce miglioramenti misurabili rispetto alle baseline basate solo sul testo, validando l'ipotesi che la viralità non sia determinata solo dal contenuto ma dal suo allineamento con le dinamiche del mondo reale.

• Evidenza di Allineamento: I risultati suggeriscono che i post semanticamente allineati con picchi contemporanei di attenzione pubblica hanno una probabilità misurabilmente maggiore di diventare virali.
• Complementarità: I segnali esogeni (tendenze di Wikipedia) agiscono come un utile complemento alle caratteristiche interne alla piattaforma, in particolare nelle comunità in cui la viralità è guidata da eventi esterni piuttosto che da una cultura interna.
• Modesti ma Costanti: Gli autori caratterizzano i guadagni come "modesti ma costanti", notando che, sebbene il segnale di tendenza da solo non sia un fattore dominante rispetto al contesto temporale (anno), spinge il modello completo alla sua massima prestazione.
• Limitazioni: Gli autori notano esplicitamente che il modello misura l'allineamento contemporaneo, non la previsione futura. Riconoscono limitazioni riguardanti la natura statica dei dati di engagement (mancanza di velocità iniziale), la progettazione euristica della pipeline e i potenziali problemi di generalizzabilità dovuti alla selezione specifica dei subreddit. Sottolineano inoltre la preoccupazione per l'impatto più ampio secondo cui tali capacità predittive potrebbero teoricamente essere utilizzate impropriamente per ottimizzare la diffusione di contenuti polarizzati o spam.