Riepilogo Tecnico: SURGE – Un Benchmark per le Serie Temporali di Sentiment sui Social Media Centrato sugli Eventi

1. Definizione del Problema

Gli eventi pubblici sui social media (ad esempio, disastri naturali, conflitti politici, lanci tecnologici) generano discussioni massive e frammentate le cui dinamiche collettive sono fondamentali per la previsione dell'opinione pubblica e la risposta alle crisi. Una modellazione predittiva efficace richiede di organizzare queste discussioni in serie temporali a livello di evento che si allineino al ciclo di vita dell'evento. Tuttavia, le risorse esistenti non soddisfano tre esigenze simultanee:

1. Organizzazione a Livello di Evento: Molti dataset organizzano i dati per utente o segnali di ancoraggio a driver esogeni (ad esempio, il meteo) piuttosto che alla discussione stessa.
2. Struttura di Interazione: Le serie temporali esistenti spesso scartano la topologia di risposta e ripubblicazione tra i post, nonostante il fatto che le dinamiche sociali siano strettamente accoppiate alle strutture di interazione.
3. Allineamento Multimodale: Sebbene esistano dataset di previsione multimodale, le loro fonti testuali (notizie, rapporti finanziari) mancano delle catene di risposta da utente a utente caratteristiche dei social media, trattando il testo come un canale laterale esogeno piuttosto che come un segnale interattivo.

Di conseguenza, il valore predittivo della struttura di interazione per le dinamiche dell'opinione collettiva rimane inedito e la trasferibilità tra i tipi di evento è difficile da valutare.

2. Metodologia: Il Benchmark SURGE

SURGE è un benchmark sociale multi-evento progettato per accoppiare segnali temporali a livello di evento con strutture testuali e di interazione allineate.

2.1 Raccolta e Elaborazione dei Dati

• Ambito: Il dataset copre 67 eventi pubblici in cinque categorie: Disastri Naturali, Eventi Politici, Movimenti Sociali, Lanci Tecnologici e Sport/Intrattenimento.
• Fonti: I dati sono aggregati da Twitter, Reddit e Threads, comprendendo 817.442 post (da una raccolta grezza iniziale di circa 1,26 milioni).
• Pre-elaborazione:
  • Filtraggio: I post vengono deduplicati e filtrati per rimuovere testi brevi, predominanza di emoji/URL e contenuti non in inglese.
  • Rilevamento del Periodo Attivo: Gli eventi vengono ridotti ai loro "periodi attivi" per escludere chiacchiere sparse e ambientali, garantendo che la serie temporale rifletta un coinvolgimento genuino.
  • Annotazione del Sentiment: I post sono etichettati come Positivi, Neutrali o Negativi utilizzando Qwen3-32B in modalità zero-shot. Questi vengono mappati su punteggi numerici $\{+1, 0, -1\}$.
  • Validazione: Uno studio di verifica umana stratificato su 3.000 post ha confermato un $\kappa$ di Cohen di 0,74 tra gli annotatori e un tasso di corrispondenza dell'86,5% con le etichette LLM, con un bias sistematico limitato da $|\mu| \le 0,05$.

2.2 Costruzione delle Serie Temporali

Il benchmark costruisce serie temporali allineate al calendario a tre granularità temporali: 1 giorno, 12 ore e 6 ore.

• Obiettivi: Per ogni intervallo temporale $t$, vengono derivati due variabili target:
  1. Intensità della Discussione ($c_t$): Il conteggio dei post nell'intervallo.
  2. Polarità del Sentiment ($\bar{s}_t$): Il punteggio medio del sentiment dei post nell'intervallo.
• Normalizzazione: Gli obiettivi vengono normalizzati tramite z-scoring per evento per gestire le differenze di scala tra gli eventi.
• Viste Testuali: Ogni intervallo temporale è accoppiato a due viste testuali derivate dagli stessi post selezionati:
  • Vista Piana: Post linearizzati cronologicamente senza marcatori di ruolo.
  • Vista Strutturata: Post organizzati in catene di risposta con marcatori di ruolo espliciti (genitore/figlio), trattando le ripubblicazioni come interazioni simili a risposte.

2.3 Protocolli di Valutazione

SURGE definisce quattro protocolli di benchmark:

1. Previsione Solo Numerica: Previsione dei valori futuri utilizzando solo le serie temporali storiche.
2. Previsione Aumentata dal Testo: Previsione utilizzando serie storiche più testo (testato nelle configurazioni Senza Testo, Piana e Strutturata).
3. Valutazione Consapevole della Struttura: Una metrica ($MAE_{reply}(k\%)$) che valuta le prestazioni specificamente sugli intervalli temporali più densi di risposte (ad alta interazione).
4. Generalizzazione Trans-Categoria: Un protocollo "lascia-una-categoria-fuori" per testare la trasferibilità tra i cinque tipi di evento.

3. Contributi Chiave

1. Il Dataset SURGE: Il primo benchmark a fornire simultaneamente copertura multi-evento a livello di evento, serie temporali pre-costruite, viste testuali allineate agli intervalli e struttura di interazione sociale esplicita (archi di risposta/ripubblicazione).
2. Framework di Valutazione: Un set completo di protocolli che include metriche consapevoli della struttura e test di generalizzazione trans-categoria, affrontando le lacune nei dataset esistenti di previsione sui social media e multimodali.
3. Implementazione di Riferimento: Una leggera Sonda Consapevole della Struttura (CMA) che utilizza l'attenzione cross-modale per consumare token di post tipizzati e embedding di thread, servendo come riferimento per futuri modelli consapevoli dell'interazione.

4. Risultati Sperimentali

Gli autori hanno valutato modelli rappresentativi di previsione di serie temporali (TSF) (lineari, Transformer, CNN, basati su LLM e basati su diffusione) e baseline multimodali.

• Forte Persistenza Locale: Le baseline naive (Ultimo Valore, Media Mobile) rimangono difficili da battere sotto l'Errore Assoluto Medio (MAE) su tutte le granularità. Ciò indica un "regime di forte persistenza locale" in cui la migliore previsione a breve termine è spesso l'osservazione più recente. I modelli appresi spesso riducono l'Errore Quadratico Medio (MSE) ammorbidendo le previsioni ma non riescono a migliorare il MAE.
• Trasferimento Limitato dei Modelli Aumentati dal Testo: I modelli TSF multimodali esistenti (progettati per testi finanziari/notizie) mostrano una robustezza limitata quando applicati ai dati dei social media. Non migliorano costantemente rispetto alle baseline solo numeriche e le loro prestazioni sono insensibili alla forma strutturale del testo (Piana vs Strutturata).
• La Densità di Interazione Conta: La metrica consapevole della struttura ($MAE_{reply}$) rivela che i periodi densi di risposte sono intrinsecamente più difficili da prevedere. Le classifiche dei modelli su queste fette dense divergono dalle classifiche sulle metriche aggregate, suggerendo che i periodi ad alta interazione sono quelli in cui i modelli falliscono di più.
• Asimmetria di Generalizzazione: Il trasferimento trans-categoria è strutturalmente asimmetrico. I disastri naturali sono la categoria più difficile da generalizzare, mentre i movimenti sociali sono la più facile. La difficoltà varia significativamente in base alla variabile target (Intensità vs Sentiment).

5. Significato e Affermazioni

Il paper posiziona SURGE non come una proposta per un nuovo modello di previsione, ma come un test di stress per la previsione sui social media guidata dagli eventi. Il suo significato risiede nell'esporre tre proprietà fondamentali del dominio:

1. La persistenza è forte ma insufficiente: Gli attuali obiettivi di ottimizzazione (MSE) possono sopprimere grandi deviazioni senza migliorare l'accuratezza della tendenza centrale (MAE) sulle serie guidate da eventi.
2. Il testo non è automaticamente utile: La struttura interna del testo dei social media (catene di risposta) differisce fondamentalmente dal testo unidirezionale nei dataset finanziari/notizie. I modelli multimodali devono essere esplicitamente progettati per gestire questa struttura di interazione per essere efficaci.
3. I regimi di valutazione differiscono per densità: Le metriche aggregate oscurano i fallimenti dei modelli nei periodi ad alta interazione. Il benchmark fornisce assi (densità di interazione e spostamento di categoria) lungo i quali i metodi esistenti sono carenti, in particolare negli scenari più critici per la risposta alle crisi e il monitoraggio dell'opinione.

Gli autori concludono che SURGE fornisce i dati, i protocolli e le misurazioni diagnostiche necessari per avanzare la ricerca sulla previsione consapevole dell'interazione, lasciando la progettazione di modelli più robusti come compito per lavori futuri.