Sintesi Tecnica: TENSOR per il Rilevamento Non Supervisionato di Utenti IO

Definizione del Problema

Il documento affronta la sfida del rilevamento di utenti di Operazioni di Informazione (IO) sui Social Network (SN). Le IO sono tentativi organizzati di manipolare l'opinione pubblica attraverso la disinformazione e l'hate speech, spesso avviati da piccoli gruppi di utenti coordinati. La difficoltà principale risiede nella capacità di generalizzazione dei metodi di rilevamento esistenti:

• Gli approcci supervisionati e semi-supervisionati si affidano a dataset etichettati che restano indietro rispetto alla natura rapidamente evolutiva delle campagne IO, rendendoli inefficaci contro le IO non ancora viste.
• Gli approveri non supervisionati esistenti spesso si basano su assunzioni semplificate della coordinazione (ad esempio, il clustering basato sulla similarità) che potrebbero non valere nella pratica o non riuscire a catturare complesse dinamiche temporali.
• Contaminazione dei Dati: Un problema critico è che i dati di addestramento per il rilevamento delle anomalie sono spesso "contaminati", il che significa che il dataset destinato a rappresentare gli utenti "normali" (di controllo) contiene inevitabilmente una piccola frazione di utenti IO. L'addestramento di modelli su tali dati può portare il modello a trattare le anomalie come normali, degradando le prestazioni.

Gli autori formulano il rilevamento di utenti IO come un problema di rilevamento di anomalie non supervisionato, con l'obiettivo di identificare gli utenti IO (etichetta 0) rispetto agli utenti di controllo (etichetta 1) utilizzando solo le loro timeline di pubblicazione, composte da timestamp ($t$) e contenuti ($c$).

Metodologia: TENSOR

La soluzione proposta è Temporal-bEhavior-laNguage Signals for information Operation Recognition (TENSOR). Si tratta di un framework multimodale e non supervisionato che combina pattern comportamentali (temporali) e pattern linguistici (testuali) per rilevare anomalie. L'architettura consiste in due componenti principali integrate tramite un framework di regolazione:

1. Processo Puntuale Temporale (TPP) per i Pattern Comportamentali

• Funzione: Il TPP modella la timeline di pubblicazione dell'utente come un processo stocastico. Cattura la funzione di intensità condizionale $\lambda^*(t)$, che rappresenta la probabilità che un evento avvenga al tempo $t$ data la storia precedente.
• Addestramento: Un modello TPP (specificamente il Self-attentive Hawkes Process, SAHP) viene addestrato sul dataset contaminato $T$ (che contiene sia utenti di controllo che utenti IO).
• Meccanismo: Gli utenti IO mostrano spesso comportamenti coordinati (ad esempio, pubblicare a intervalli specifici o inondare di contenuti) che differiscono dagli utenti organici. Il TPP calcola un punteggio basato sulla log-verosimiglianza negativa dei timestamp osservati: $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$.
• Limitazione: Poiché i dati di addestramento sono contaminati, il modello TPP potrebbe apprendere i pattern IO come parte della distribuzione "normale", riducendo la sua capacità di distinguere le anomalie.

2. Modello Linguistico di Grandi Dimensioni (LLM) per i Pattern Linguistici

• Funzione: Un LLM viene utilizzato per analizzare il contenuto testuale dei post dell'utente ($c_i$) insieme alla timeline per generare un punteggio di "evidenza".
• Prompting: L'LLM viene istruito tramite un'istruzione di sistema zero-shot per agire come un analista di social media, distinguendo tra "account IO" (coordinati, sponsorizzati da stati) e "account di Controllo" (organici).
• Funzione di Evidenza: L'output testuale grezzo dell'LLM viene convertito in un punteggio quantitativo $T(t_i, c_i)$ utilizzando una strategia di mappatura della similarità semantica. L'output viene confrontato con testi di riferimento ("Account IO" vs "Account di Controllo") per generare una distribuzione di probabilità. Per garantire la robustezza contro la non-determinatezza dell'LLM, vengono estratti $N$ campioni e mediati per produrre $\bar{T}_N(t_i, c_i)$.

3. Regolazione Post-Hoc basata su Evidenza (EPHAD)

Per affrontare il problema della contaminazione del set di addestramento, TENSOR integra le componenti TPP e LLM utilizzando il framework Evidence-based Post-Hoc Adjustment for Anomaly Detection (EPHAD).

• Invece di riaddestrare il TPP, il framework regola l'output del TPP al momento del test utilizzando l'evidenza derivata dall'LLM.
• Il punteggio decisionale finale è calcolato inclinando esponenzialmente il punteggio TPP con l'evidenza dell'LLM:
  $$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$$
  dove $\beta$ è un parametro di temperatura.
• Ciò consente al sistema di sfruttare la comprensione dei pattern linguistici dell'LLM per correggere i bias introdotti dai dati di addestramento contaminati nel TPP.

Contributi Chiave

1. Formulazione Novosa: Il documento inquadra il rilevamento di utenti IO come un problema di rilevamento di anomalie non supervisionato, allontanandosi dai limiti dei metodi supervisionati che richiedono dati etichettati obsoleti.
2. Integrazione Multimodale: TENSOR è il primo approccio che sfrutta congiuntamente pattern comportamentali temporali (tramite TPP) e pattern linguistici (tramite LLM) per il rilevamento non supervisionato di IO.
3. Mitigazione della Contaminazione dei Dati: Il documento introduce una nuova applicazione del framework EPHAD al dominio specifico del rilevamento di IO. Esso mitiga efficacemente il degrado delle prestazioni causato dall'addestramento su dataset contaminati (dove gli utenti IO sono presenti nel set di addestramento) utilizzando una funzione di evidenza basata su LLM per regolare l'inferenza del TPP.
4. Capacità Zero-Shot: Il metodo non richiede dati IO etichettati per l'addestramento della componente LLM, affidandosi invece al prompting zero-shot e alla similarità semantica.

Risultati Sperimentali

Gli autori hanno valutato TENSOR su cinque dataset IO reali (Egitto, China_1, Iran_1, Russia_1, UAE) che coprono 26 IO etichettate in 15 paesi. I dataset sono altamente sbilanciati (pochi utenti IO, molti utenti di controllo).

• Prestazioni: TENSOR ha superato tre baseline — User Embedding Clustering, Behavioral Languages for Online Characterization (BLOC) e un rilevatore puramente basato su LLM zero-shot — nella maggior parte delle metriche (Precision, Recall, F1, AUC e AUPRC).
• Studi di Ablazione:
  • La rimozione della funzione di evidenza dell'LLM ha ridotto significativamente le prestazioni, confermando la necessità dei pattern linguistici.
  • La rimozione del TPP (usando solo l'LLM) ha portato a scarse prestazioni, confermando che le dinamiche temporali sono cruciali.
  • L'uso di una funzione di evidenza casuale ha performato peggio del TPP standard, provando che l'LLM fornisce un segnale reale.
• Analisi di Sensibilità:
  • Scelta dell'LLM: TENSOR è rimasto stabile ed efficace attraverso diversi LLM (inclusi modelli di ragionamento come gpt-oss-120B e modelli non di ragionamento come llama3.3-70B), sebbene i modelli di ragionamento più grandi abbiano generalmente prodotto risultati leggermente migliori.
  • Temperatura ($\beta$): Le prestazioni sono state sensibili al parametro di temperatura $\beta$. Sebbene il valore predefinito $\beta=0.5$ fosse efficace, gli autori hanno notato che i valori ottimali variano a seconda del dataset (spesso intorno a 0.3), suggerendo la possibilità di una futura ottimizzazione non supervisionata di questo iperparametro.

Significato e Rivendicazioni

Il documento sostiene che TENSOR offre un'alternativa resiliente ai tradizionali modelli supervisionati, spostando il focus sull'attrito intrinseco tra le campagne IO coordinate e i comportamenti degli utenti organici. Il suo significato primario risiede nel:

• Superare il Gap di Generalizzazione: Essendo non supervisionato, può rilevare nuove IO non viste senza richiedere il riaddestramento su nuovi dataset etichettati.
• Risolvere il Problema della Contaminazione: Fornisce un meccanismo pratico per addestrare rilevatori di anomalie su dati reali (che sono inevitabilmente contaminati) senza che il modello apprenda le anomalie come normali.
• Praticità: L'approccio è "senza addestramento" per quanto riguarda l'LLM (utilizzando pesi congelati) e si affida a un singolo passaggio di addestramento TPP, rendendolo adattabile a varie architetture TPP e LLM esistenti.

Gli autori concludono che, sebbene l'ottimizzazione non supervisionata del parametro di temperatura $\beta$ rimanga una direzione futura, TENSOR stabilisce attualmente un nuovo stato dell'arte per il rilevamento non supervisionato di utenti IO in scenari reali e sbilanciati.