Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest

Titolo

Valutazione delle Capacità dei Modelli Linguistici di Grande Dimensione (LLM) nell'Analisi dei Social Media: Una Ricerca Multi-Compito

1. Il Problema

L'analisi dei social media (o mining dei social media) affronta sfide critiche dovute alla natura complessa, ambigua e in rapida evoluzione del contenuto generato dagli utenti (testi brevi, slang, meme, spam). Sebbene i modelli tradizionali abbiano fatto progressi, spesso faticano a generalizzare su dati nuovi o a cogliere le sfumature stilistiche e contestuali.
L'emergere dei Large Language Models (LLM) come GPT-4, Gemini e Llama offre nuove opportunità, ma manca una valutazione sistematica e unificata delle loro capacità reali in contesti specifici dei social media. La ricerca si pone tre domande fondamentali:

1. Quanto sono affidabili nell'identificare l'autore di un post (Authorship Verification)?
2. Riescono a generare contenuti che imitano fedelmente lo stile e le preferenze di un utente reale (Post Generation)?
3. Possono inferire attributi demografici e interessi (come occupazione e hobby) basandosi solo sul testo dei post (User Attribute Inference)?

2. Metodologia

Gli autori hanno condotto una valutazione empirica su un ampio dataset di Twitter (X), coprendo un periodo di 15 settimane con oltre 120.000 utenti. Lo studio si articola in tre compiti principali, utilizzando un framework unificato che include modelli LLM moderni (GPT-4, GPT-4o, GPT-3.5-Turbo, Gemini 1.5 Pro, DeepSeek-V3, Llama 3.2) e baselines tradizionali (BERT, Random Forest, Siamese Networks, ecc.).

A. Verifica dell'Autore (Task I)

• Obiettivo: Determinare se un post è stato scritto da un utente specifico o da un altro.
• Campionamento: È stato introdotto un framework di campionamento sistematico che varia le strategie di selezione degli utenti (Random, Recenti Attivi, Top Attivi) e dei post negativi (Random, Simili per argomento, Basati sul grafo sociale: follower/following/reciproci).
• Mitigazione del Bias: Per evitare il "data leakage" (memorizzazione dei dati di addestramento), è stata effettuata una valutazione su dati "invisibili" (unseen data), ovvero tweet pubblicati dal gennaio 2024 in poi, ben oltre le date di cut-off della conoscenza dei modelli.
• Metriche: F1-score ponderato.

B. Generazione di Post Sociali (Task II)

• Obiettivo: Generare post sintetici che riflettano lo stile, i temi e il contesto sociale di un utente reale.
• Dataset: Utilizzo di utenti "VAPOR" (Verificati, Attivi, con Profilo ricco, Post originali), selezionati per garantire dati di verità (ground truth) di alta qualità.
• Valutazione:
  • Metriche Automatiche: BLEU, ROUGE (sovrapposizione lessicale), Perplexity (fluidità), e nuove metriche basate su similarità semantica (SBERT) come Average Gen vs. Real (AGR) e Dispersion Ratio per misurare la copertura tematica.
  • Studio Utenti (User Study): Un esperimento con 12 partecipanti reali che hanno valutato l'autenticità di tweet generati dai LLM rispetto ai propri post reali, utilizzando una scala a 5 punti.

C. Inferenza degli Attributi Utente (Task III)

• Obiettivo: Prevedere occupazione e interessi/hobby.
• Tassonomie Standardizzate: Per garantire riproducibilità e allineamento con standard reali, sono state utilizzate due tassonomie:
  1. IAB Tech Lab Content Taxonomy v3.1 per gli interessi.
  2. SOC 2018 (Standard Occupational Classification) per le occupazioni (a due livelli di granularità).
• Metodo: Gli LLM hanno analizzato i post degli utenti per assegnare categorie specifiche senza utilizzare descrizioni del profilo o dati di rete, basandosi solo sul contenuto testuale.

3. Risultati Chiave

Verifica dell'Autore (Task I)

• GPT-4 ha ottenuto le prestazioni migliori in assoluto (F1 medio: 0.845), dimostrando una robustezza superiore anche sui dati "invisibili" (F1: 0.85).
• Gemini e DeepSeek formano un secondo livello solido (F1 ~0.75-0.80).
• I modelli tradizionali e alcuni LLM più piccoli (Llama, GPT-3.5) hanno mostrato prestazioni inferiori e più variabili.
• Impatto del Campionamento: La strategia di campionamento dei post negativi ha un impatto maggiore sulla precisione rispetto alla selezione degli utenti.

Generazione di Post (Task II)

• Trade-off: Esiste un compromesso tra similarità semantica e fluidità.
  • DeepSeek ha mostrato la migliore allineamento semantico con i post reali, ma una fluidità inferiore (alta perplexity).
  • Llama ha ottenuto i punteggi più alti in BLEU e ROUGE (riuso lessicale), ma la minore similarità semantica complessiva.
  • GPT-4o ha offerto il profilo più equilibrato, con buona similarità semantica, ampia copertura tematica e la perplexity più bassa tra gli LLM.
• Percezione Umana: Nello studio con utenti reali, Gemini e Llama sono stati percepiti come i più autentici (punteggio medio 3.95/5), superando leggermente GPT-4o e DeepSeek. Questo suggerisce che la semplice similarità semantica non garantisce la percezione di autenticità umana; fattori stilistici e lessicali giocano un ruolo cruciale.

Inferenza degli Attributi (Task III)

• Gemini ha ottenuto i risultati migliori sia per gli interessi che per le occupazioni, mantenendo prestazioni robuste anche a livelli di granularità più fini (Livello 2 SOC).
• GPT-4o e DeepSeek hanno performato bene a livelli ampi (Livello 1), ma le prestazioni sono diminuite significativamente con categorie più specifiche.
• Llama ha mostrato prestazioni costantemente inferiori rispetto agli altri modelli.

4. Contributi Principali

1. Prima Valutazione Unificata: Questo è il primo studio a valutare sistematicamente e congiuntamente multipli LLM moderni su tre compiti fondamentali dell'analisi dei social media sotto un unico framework.
2. Framework di Campionamento Robusto: Introduzione di strategie di campionamento controllate (utente e post) e valutazione su dati "unseen" per mitigare i bias di memorizzazione.
3. Protocollo di Valutazione Ibrido: Combinazione di metriche automatiche (lessicali, semantiche, di dispersione) e uno studio umano per misurare l'autenticità percepita, colmando il divario tra metriche computazionali e giudizio umano.
4. Standardizzazione delle Tassonomie: Uso di tassonomie standardizzate (IAB e SOC) per l'inferenza degli attributi, permettendo un'analisi gerarchica e risultati riproducibili allineati agli standard del mondo reale.
5. Benchmark Pubblico: Fornitura di codice e dati per facilitare ricerche future e benchmarking riproducibile.

5. Significato e Implicazioni

Lo studio stabilisce un nuovo standard per la valutazione degli LLM nei contesti dei social media. Dimostra che, sebbene modelli come GPT-4 eccelano nella verifica dell'autore e nella generalizzazione, non esiste un modello "perfetto" per tutti i compiti:

• Per la sicurezza e il forense (verifica autore), GPT-4 è attualmente lo stato dell'arte.
• Per la personalizzazione e la generazione di contenuti, la scelta del modello dipende dal compromesso desiderato tra fedeltà semantica, fluidità e percezione umana.
• L'uso di tassonomie standardizzate è cruciale per rendere l'inferenza degli attributi utile in applicazioni reali (es. pubblicità, analisi demografica).

Il lavoro evidenzia anche i rischi etici legati all'impersonificazione e alla profilazione della privacy, sottolineando che questi strumenti dovrebbero essere utilizzati per il benchmarking e la ricerca, non per un dispiegamento non controllato. Le limitazioni includono la dimensione dello studio utente e la dipendenza da un singolo dataset (Twitter), suggerendo che futuri lavori dovrebbero espandersi ad altre piattaforme e includere segnali multimodali.