💻 computer science

Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content

Questo studio presenta USE24-XD, un ampio dataset di quasi 100.000 post raccolti da X durante le elezioni presidenziali statunitensi del 2024, annotati in modo scalabile e affidabile utilizzando un approccio di "saggezza della folla" basato su sei grandi modelli linguistici per identificare contenuti dannosi come teorie del complotto, sensazionalismo, discorsi d'odio, speculazioni e satira.

Autori originali: Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che X (ex Twitter) sia un'enorme piazza pubblica, un mercato affollato dove milioni di persone urlano, cantano, raccontano barzellette e, purtroppo, lanciano anche pietre. Durante le elezioni presidenziali USA del 2024, questa piazza era un caos totale. Il problema? Trovare le "pietre" (i contenuti dannosi) in mezzo a milioni di messaggi è come cercare un ago in un pagliaio, ma un pagliaio che cambia forma ogni secondo.

Ecco come gli autori di questo studio hanno affrontato il problema, usando un approccio che potremmo chiamare "La Saggezza della Folla di Robot".

1. Il Problema: Troppa gente, troppo rumore

Fino a poco tempo fa, per pulire questa piazza, dovevamo assumere migliaia di persone umane per leggere ogni singolo messaggio e dire: "Questo è una bugia?", "È un insulto?", "È una battuta?".
Ma è costoso, lento e le persone umane sono stanche, hanno pregiudizi o semplicemente non sono d'accordo tra loro. Se chiedi a due persone se una frase è "satira", una potrebbe ridere e l'altra potrebbe arrabbiarsi.

2. La Soluzione: Un esercito di "Giudici Robot"

Gli ricercatori hanno deciso di non usare una sola persona, ma di chiamare sei diversi "intelligenze artificiali" (LLM) come se fossero sei giudici esperti in un tribunale.
Hanno preso quasi 100.000 messaggi raccolti durante l'elezione del 2024 e li hanno fatti leggere a questi sei robot. Ogni robot doveva classificare i messaggi in cinque categorie, come se fossero cinque tipi di "veleni" diversi:

Cospirazione: "Hanno rubato le elezioni!" (Teorie del complotto).
Sensazionalismo: "ALLARME ROSSO! Il mondo sta finendo!" (Esagerazioni per fare clic).
Speculazione: "Secondo me vincerà il candidato X perché..." (Affermazioni senza prove).
Discorso d'odio: Insulti e attacchi personali.
Satira: "Ahah, guarda che buffo!" (Battute politiche).

3. Il Trucco: La "Saggezza della Folla"

Qui entra in gioco la parte geniale. Invece di fidarsi ciecamente di un solo robot, hanno usato la Saggezza della Folla.
Immagina di chiedere a un solo amico se un film è bello: potrebbe sbagliare. Ma se chiedi a 100 amici e fai la media delle loro opinioni, il risultato è molto più affidabile.
Gli scienziati hanno fatto votare i sei robot su ogni messaggio. Se la maggior parte dei robot diceva "Questo è odio", allora lo classificavano come tale.
Il risultato sorprendente? I robot, lavorando insieme, erano più d'accordo tra loro rispetto alle persone umane. Erano più coerenti, meno stanchi e meno influenzati dal loro umore del momento.

4. La Verifica Umana: I "Giudici in Giacca e Cravatta"

Per essere sicuri che i robot non stessero allucinando, gli scienziati hanno assunto 34 persone reali (tramite un sito di lavoro online) per leggere un piccolo campione di messaggi (circa 1.000) e classificarli manualmente.
Hanno scoperto due cose importanti:

Le persone non sono neutre: Il modo in cui una persona etichetta un messaggio dipende da chi è. Se sei di centro, potresti vedere più "speculazioni". Se sei di destra, potresti vedere più "odio". Le nostre idee politiche agiscono come occhiali colorati che cambiano ciò che vediamo.
I robot sono più stabili: Anche se le persone umane sono necessarie per capire le sfumature, i robot hanno mostrato una maggiore capacità di essere coerenti, specialmente quando si tratta di cose come le "teorie del complotto".

5. Il Risultato: Un Manuale per il Futuro

Alla fine, gli scienziati hanno creato un enorme archivio pubblico (chiamato USE24-XD) con quasi 100.000 messaggi già etichettati.

Perché è utile? Immagina di voler costruire un filtro automatico per i social media. Invece di dover assumere 10.000 persone per insegnare al computer cosa è "cattivo", puoi usare questo archivio. È come dare al computer un libro di testo già scritto da esperti (e robot) per imparare a riconoscere i pericoli.
La scoperta principale: Circa il 60% dei messaggi elettorali conteneva almeno una di queste forme di "veleno". Non è un problema raro; è la norma.

In sintesi

Questo studio ci dice che per pulire la piazza digitale, non dobbiamo scegliere tra "umani lenti e costosi" e "robot freddi". La soluzione migliore è lavorare insieme: usare i robot per fare il lavoro pesante e veloce (come un aspirapolvere industriale) e usare la saggezza della folla (di robot diversi) per prendere decisioni più sagge, mentre teniamo d'occhio il tutto per assicurarci che non ci siano pregiudizi nascosti.

È come avere un esercito di robot che setacciano il grano, ma con un supervisore umano che controlla che non stiano buttando via il pane buono insieme alla crusca. E la cosa più bella? Hanno messo tutto questo "grano setacciato" a disposizione di tutti, gratis, per aiutare il mondo a capire meglio come funziona la disinformazione.

1. Problema e Contesto

La diffusione di disinformazione e contenuti politici dannosi durante le elezioni minaccia l'integrità democratica, influenzando l'opinione pubblica e il comportamento degli elettori. Sebbene esistano dataset per rilevare la disinformazione, questi sono spesso limitati a categorie specifiche (es. "fake news"), basati su metodi euristici (come la corrispondenza di parole chiave) o privi di annotazioni validate su larga scala per contenuti sfumati e multilabel.
Lo sviluppo di dataset curati è ostacolato dall'alto costo e dalla lentezza dell'annotazione manuale, che è soggetta a incoerenza, specialmente per contenuti ambigui o soggettivi. Inoltre, c'è una mancanza di studi sistematici che confrontino le prestazioni di diversi Large Language Models (LLM) nell'annotazione di categorie diverse di contenuti dannosi.

2. Metodologia

Lo studio introduce USE24-XD, un dataset su larga scala di quasi 100.000 post raccolti da X (ex Twitter) durante il ciclo elettorale presidenziale USA 2024 (dal 17 ottobre 2024 al 16 luglio 2025). La metodologia si articola in tre fasi principali:

Raccolta Dati e Preprocessing: I dati sono stati raccolti tramite l'API di X, filtrando post originali contenenti "election" e "2024". Sono stati rimossi duplicati, post troppo brevi e sono state aggiunte metadati (sentiment, lunghezza, ecc.).
Definizione delle Categorie: Sono state definite cinque categorie binarie indipendenti per l'annotazione multilabel:
1. Cospirazione (Conspiracy): Narrazioni su piani segreti o elezioni rubate.
2. Sensazionalismo (Sensationalism): Contenuti allarmistici o esagerati.
3. Speculazione (Speculation): Affermazioni audaci senza prove credibili.
4. Discorso d'Odio (Hate Speech): Attacchi personali, insulti o retorica incitente.
5. Satira (Satire): Uso di umorismo o ironia per criticare la politica.
Annotazione con LLM (AI): Sono stati utilizzati sei LLM all'avanguardia (divisi in modelli leggeri e completi: GPT-4o/Mini, Gemini 2.0/2.5, Llama 3.1/3.3) in un approccio zero-shot. Ogni modello ha classificato i post in base a prompt dettagliati con output strutturati (True/False).
Annotazione Umana (Crowdsourcing): Un sottocampione di 1.000 post (1,02%) è stato annotato da 34 lavoratori su Amazon Mechanical Turk (MTurk). Ogni post è stato valutato da 3 annotatori indipendenti, con raccolta di dati demografici (ideologia politica, affiliazione, ecc.).
Approccio "Wisdom of the Crowd": Per creare un ground truth robusto, è stata applicata una votazione a maggioranza sia tra gli annotatori umani che tra i migliori LLM.

3. Contributi Chiave

Dataset USE24-XD: Rilascio pubblico di un dataset curato di ~97.700 post etichettati multilabel, arricchito con metadati spaziotemporali, specifico per l'elezione USA 2024.
Valutazione Sistematica degli LLM: Un benchmark comparativo di sei modelli LLM diversi su cinque categorie di contenuti dannosi, confrontando le loro prestazioni con quelle degli annotatori umani.
Analisi dell'Influenza Demografica: Uno studio approfondito su come l'ideologia politica, l'affiliazione e altre caratteristiche demografiche degli annotatori umani influenzino le decisioni di etichettatura, rivelando fonti sistemiche di soggettività.
Validazione dell'Approccio "Wisdom of the Crowd": Dimostrazione che aggregare le previsioni di più LLM tramite votazione a maggioranza produce annotazioni più coerenti e affidabili rispetto ai singoli modelli e, in molti casi, superiori alla coerenza inter-annotatore umana.

4. Risultati Principali

Affidabilità (Inter-Rater Reliability - IRR):
- Gli LLM hanno mostrato una coerenza interna superiore rispetto agli umani. La coerenza media (Krippendorff's $\alpha$ ) tra le combinazioni ottimali di LLM è stata di 0.70, contro 0.62 per i migliori set di annotazione umana.
- Le categorie come "Cospirazione" e "Odio" hanno mostrato il più alto accordo, mentre "Satira" è risultata la più ambigua e con il più basso accordo per entrambi i gruppi.
Prestazioni degli LLM vs Umani:
- Utilizzando le etichette umane come ground truth, gli LLM hanno raggiunto un Recall fino a 0.90 per la categoria "Speculazione" e 0.68 per la "Satira".
- L'approccio di votazione a maggioranza tra tre LLM ha migliorato l'accordo rispetto ai singoli modelli, specialmente combinando famiglie di modelli diverse (es. GPT + Llama + Gemini).
Influenza Demografica:
- L'ideologia politica ha avuto un impatto significativo sulle etichette, in particolare su "Speculazione" e "Discorso d'Odio". Gli annotatori di destra tendevano a etichettare più contenuti come "Odio", mentre i centristi e gli indipendenti erano più propensi a etichettare "Speculazione".
- Questo dimostra che le etichette "ground truth" ottenute tramite crowdsourcing non sono demograficamente neutre.
Distribuzione dei Contenuti:
- Nel dataset finale, il 59,62% dei post ha ricevuto almeno un'etichetta di contenuto dannoso, indicando che tali contenuti sono pervasivi e non casi limite rari.

5. Significato e Implicazioni

Questo studio valida l'uso degli LLM come strumenti di supporto scalabili ed economici per l'annotazione di contenuti dannosi su larga scala, superando i limiti di costo e coerenza dell'annotazione manuale tradizionale.

Efficienza: L'approccio basato sulla "saggezza della folla" degli LLM riduce drasticamente i costi e i tempi di annotazione mantenendo una qualità comparabile o superiore a quella umana.
Consapevolezza della Soggettività: Lo studio evidenzia che la definizione di "contenuto dannoso" è intrinsecamente soggettiva e influenzata dal contesto politico dell'annotatore. I futuri sistemi di moderazione devono tenere conto di questi bias demografici.
Risorsa per la Ricerca: Il dataset USE24-XD fornisce una base solida per lo sviluppo di futuri modelli di rilevamento della disinformazione e per lo studio delle dinamiche dei contenuti dannosi nelle elezioni moderne.

In sintesi, il paper dimostra che una combinazione strategica di diversi LLM può produrre annotazioni di alta qualità per contenuti complessi, offrendo una soluzione praticabile per monitorare l'enorme volume di dati generati sui social media durante le elezioni.