💬 NLP

TruthStance: An Annotated Dataset of Conversations on Truth Social

Il paper presenta TruthStance, un nuovo dataset su larga scala di conversazioni da Truth Social (2023-2025) arricchito con annotazioni umane e LLM per l'analisi dell'estrazione di argomenti e della rilevazione dello stance, colmando il divario di ricerca sulle piattaforme "alt-tech".

Autori originali: Fathima Ameen, Danielle Brown, Manusha Malgareddy, Amanul Haque

Pubblicato 2026-02-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Fathima Ameen, Danielle Brown, Manusha Malgareddy, Amanul Haque

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di entrare in una gigantesca piazza digitale, piena di persone che urlano, sussurrano, litigano e cercano di convincersi a vicenda. Questa piazza è Truth Social, una piattaforma sociale alternativa dove le discussioni politiche sono spesso molto accese.

Gli scienziati del North Carolina State University hanno deciso di esplorare questa piazza per capire come nascono le opinioni e come le persone discutono. Il risultato del loro lavoro è un progetto chiamato TruthStance.

Ecco una spiegazione semplice di cosa hanno fatto, usando qualche metafora:

1. Il Problema: Una mappa incompleta

Fino a oggi, gli studiosi di linguaggio avevano mappe molto dettagliate di altre piazze (come Twitter o Reddit), ma Truth Social era come un'isola misteriosa. Sapevamo che c'era gente che parlava, ma non avevamo le "mappe" delle conversazioni vere e proprie. Avevamo solo i cartelli singoli (i post), ma non sapevamo chi rispondeva a chi, né come si evolveva una discussione. Era come avere solo le prime battute di un film senza vedere il resto della trama.

2. La Soluzione: Costruire una mappa gigante

Il team ha creato TruthStance, un'enorme raccolta di dati che funziona come una mappa 3D interattiva di queste conversazioni.

Cosa contengono: Hanno raccolto circa 24.000 "radici" (i post originali) e oltre 523.000 rami (i commenti e le risposte).
La struttura: Hanno salvato non solo cosa è stato detto, ma anche chi ha risposto a chi. È come se avessero registrato ogni singola conversazione in una stanza piena di gente, mantenendo intatto l'ordine in cui le parole sono state scambiate.

3. L'Esplorazione: Due compiti principali

Per capire cosa succede in questa piazza, gli scienziati hanno chiesto aiuto a dei "detective digitali" (intelligenze artificiali avanzate) per fare due cose:

Caccia alle Argomentazioni (Argument Mining):
Immagina di leggere un post e chiederti: "Questa persona sta solo sfogando un'emozione o sta davvero cercando di convincermi con una ragione?".
I detective hanno analizzato i post per distinguere tra chi urla "Dio benedica l'America!" (un'emozione) e chi dice "Il partito X dovrebbe essere abbandonato perché..." (un'argomentazione con una ragione). Hanno scoperto che i post che contengono argomentazioni vere e proprie tendono a essere più lunghi, più "tossici" (più aggressivi) e a generare più discussioni.
Il Termometro dell'Opinione (Stance Detection):
Qui il compito era capire l'atteggiamento di chi risponde. Se il primo post dice "Il partito Y è cattivo", la risposta può essere:
- FOR (A favore): "Hai ragione, è terribile!"
- AGAINST (Contro): "No, stai sbagliando, è ottimo!"
- NEUTRAL (Neutrale): "Interessante, ma non so cosa pensare."
La parte geniale è che hanno seguito il filo della conversazione. Se la persona A dice "Il partito Y è cattivo" e la persona B risponde "No, è ottimo", e poi la persona C risponde a B dicendo "Esatto, B ha ragione", il sistema capisce che C è contro l'idea originale di A, anche se C non ha letto direttamente A. È come seguire un'onda che si propaga.

4. Cosa hanno scoperto?

Analizzando questa mappa gigante, hanno trovato alcune cose curiose:

La tossicità è il carburante: Le discussioni più accese e "argomentative" sono spesso quelle più aggressive e cariche di emozioni negative.
L'effetto "Soffio": All'inizio di una discussione, le persone sono molto decise (o d'accordo o in disaccordo). Ma man mano che la conversazione diventa profonda (come un albero con molti rami), le persone tendono a diventare più neutrali o a cambiare argomento, come se si stancassero di litigare sullo stesso punto.
I "Troll" e i "Leader": Le persone con molti follower tendono a scrivere post più argomentativi, mentre chi ha pochi follower spesso si limita a reagire.

5. Perché è importante?

Pensate a TruthStance come a un laboratorio di vetro aperto a tutti i ricercatori. Prima, studiare queste conversazioni era come cercare di capire il clima guardando solo una foto sgranata. Ora, con questo dataset, gli scienziati possono:

Capire meglio come si polarizza la società.
Studiare come le fake news o le opinioni estreme si diffondono.
Creare strumenti migliori per moderare le discussioni online senza censurare la libertà di parola.

In sintesi:
Gli autori hanno costruito il primo "atlante" completo delle conversazioni su Truth Social. Hanno usato l'intelligenza artificiale per leggere milioni di parole, capire chi sta cercando di convincere chi, e come le opinioni cambiano mentre si scambiano le battute. È uno strumento prezioso per chiunque voglia capire come funziona la politica e il dibattito nel mondo digitale di oggi, ma con l'avvertenza di usare questi dati con cautela, per non ferire la privacy delle persone reali che hanno scritto quelle parole.

Panoramica e Problema di Ricerca

Il paper affronta la lacuna esistente nella ricerca sull'estrazione di argomenti (argument mining) e sul rilevamento della posizione (stance detection) nelle piattaforme tecnologiche alternative ("alt-tech"). Mentre la maggior parte delle risorse pubbliche si concentra su piattaforme mainstream come Twitter e Reddit, le conversazioni su piattaforme come Truth Social rimangono poco studiate.
Il problema centrale è la mancanza di dataset su larga scala che preservino la struttura conversazionale (thread di risposta) su Truth Social. I dataset esistenti sono composti principalmente da post isolati, rendendo impossibile analizzare fenomeni dialogici come il disaccordo, la persuasione o l'evoluzione della posizione degli utenti all'interno di una discussione. Inoltre, la natura gerarchica delle risposte (dove la posizione di un commento dipende dal contesto dei commenti genitore) rende complessa l'analisi, specialmente per le risposte annidate profonde.

Metodologia

1. Raccolta e Arricchimento del Dataset

Gli autori hanno costruito TruthStance, un dataset su larga scala basato su un corpus esistente di Truth Social (Shah et al., 2024b), integrandolo con dati grezzi.

Fonte: Post politici raccolti tra il 2023 e il 2025.
Processo di Preprocessing: Rimozione di post vuoti, duplicati, repost ("retruths") e post con meno di tre risposte dirette per garantire interazioni significative.
Arricchimento: Utilizzo di un tool di scraping personalizzato basato sul framework di Stanford per recuperare l'intero albero delle conversazioni (523.360 commenti) e i metadati degli autori (numero di follower, follow, verifica).
Risultato: 24.352 thread di conversazione completi con struttura ad albero preservata.

2. Pipeline di Annotazione

L'annotazione è stata eseguita in due fasi, con un subset di dati etichettati manualmente per addestrare e validare i modelli:

Estrazione di Argomenti (Argument Mining - AM): Classificazione binaria per determinare se un post contiene un argomento (una tesi supportata da premesse).
- Ground Truth: 750 post annotati da umani (accordo inter-annotatore $\kappa = 0.70$ ).
Rilevamento della Posizione (Stance Detection - SD): Classificazione multi-classe per determinare la posizione di un commento rispetto al suo genitore immediato (Post o altro commento).
- Classi: FOR (a favore), AGAINST (contro), NEUTRAL (neutrale).
- Ground Truth: 750 commenti annotati (accordo $\kappa = 0.76$ ).
- Nota: La posizione rispetto al post originale (OP) viene inferita ricorsivamente, ma si interrompe se si incontra un commento "NEUTRAL" intermedio, poiché la propagazione della posizione diventa indefinita.

3. Valutazione dei Modelli LLM

Gli autori hanno confrontato diverse strategie di prompting con modelli di Large Language Models (LLM) e un baseline SVM:

Modelli Testati: Gemini-2.5-Flash, GPT-o3, DeepSeek-v3.
Strategie di Prompting: Few-Shot (FS), Chain-of-Thought (CoT), e una combinazione CoT+Few-Shot (FSCoT).
Baseline: Support Vector Machine (SVM) con embedding Qwen/Qwen3-Embedding-0.6B.
Selezione: Non è stato utilizzato il fine-tuning (che ha mostrato prestazioni peggiori), ma l'inferenza in-context. Il modello Gemini-2.5-Flash con strategia FSCoT ha ottenuto le migliori prestazioni.

Risultati Chiave

Performance dei Modelli

Argument Mining: Tutti gli LLM hanno superato il baseline SVM. Gemini con FSCoT ha raggiunto un Macro-F1 di 0.821 e accuratezza del 0.822.
Stance Detection: Il compito è più complesso. Gemini con FSCoT ha ottenuto il miglior risultato (Macro-F1 0.783, Accuratezza 0.836), superando significativamente sia gli altri LLM che l'SVM.
Generazione su larga scala: Utilizzando la configurazione migliore, gli autori hanno generato etichette per tutti i 24.352 post (presenza di argomento) e 107.873 commenti (posizione rispetto al genitore).

Analisi Descrittiva e Dinamiche

Predittori degli Argomenti: L'analisi di regressione logistica ha mostrato che le caratteristiche del contenuto sono i predittori più forti. In particolare, tossicità (alto OR) e lunghezza del testo sono associate positivamente alla presenza di argomenti, mentre un sentiment positivo è associato negativamente.
Evoluzione della Posizione:
- All'aumentare della profondità della conversazione (dalla radice verso le risposte profonde), la percentuale di commenti NEUTRAL aumenta significativamente (dal 16% al primo livello al 78.8% al livello 6+).
- I commenti FOR e AGAINST diminuiscono man mano che la discussione si approfondisce, suggerendo un "drift" tematico o una riduzione dell'impegno diretto con la tesi originale.
Comportamento degli Utenti: Gli utenti che iniziano con una posizione opposta (AGAINST) tendono a mantenere tale posizione, mentre quelli inizialmente a favore (FOR) tendono a spostarsi verso la neutralità nelle risposte successive.

Contributi Principali

Dataset TruthStance: Il primo dataset pubblico su larga scala di thread conversazionali su Truth Social (2023-2025), contenente oltre 523k commenti con struttura ad albero completa e metadati degli autori.
Benchmark Annotato: 1.500 istanze con ground truth umano per AM e SD, incluse misure di accordo inter-annotatore.
Valutazione delle Strategie LLM: Una valutazione sistematica di diverse strategie di prompting su un dominio di nicchia, dimostrando che l'approccio FSCoT con LLM è superiore ai metodi supervisionati tradizionali per questo compito.
Analisi Empirica: Prime analisi quantitative sulle dinamiche di polarizzazione, tossicità e struttura conversazionale su una piattaforma alt-tech.

Significato e Applicazioni

Il lavoro è significativo perché:

Colma il divario delle piattaforme: Fornisce una finestra su un ecosistema mediatico parallelo (alt-tech) che influenza la comunicazione politica ma è stato trascurato dalla ricerca computazionale.
Avanzamento Metodologico: Dimostra come gli LLM possano essere utilizzati per inferire la posizione in thread complessi e profondi, superando i limiti dei modelli che analizzano solo post isolati.
Implicazioni per la Moderazione: Le correlazioni trovate tra tossicità, lunghezza e presenza di argomenti offrono spunti per la moderazione dei contenuti e lo studio della polarizzazione.
Riproducibilità: Il dataset e il codice sono rilasciati pubblicamente sotto licenza CC BY-NC 4.0, seguendo i principi FAIR, permettendo alla comunità di ricerca di condurre studi comparativi e di validazione.

Il paper conclude sottolineando la necessità di un uso responsabile dei dati, data la natura sensibile dei contenuti politici e i rischi di profilazione o harassment derivanti dall'uso di tali dataset.