Conspiracy Frame: a Semiotically-Driven Approach for Conspiracy Theories Detection

Titolo: Conspiracy Frame: Un Approccio Semiotico-Driven per il Rilevamento delle Teorie del Complotto

1. Il Problema

Le teorie del complotto (CT) sono narrazioni anti-autoritarie che alimentano conflitti sociali e distorcono la percezione dell'informazione politica. Sebbene il rilevamento automatico di queste narrazioni sia un obiettivo cruciale nel campo dell'elaborazione del linguaggio naturale (NLP), le soluzioni attuali presentano due limiti fondamentali:

• Mancanza di granularità strutturale: La maggior parte dei dataset esistenti si basa su classificazioni binarie (complotto/non-complotto) o multilabel. Questo approccio non distingue sufficientemente le CT da altre forme di disinformazione (come la propaganda o la disinformazione generica) perché ignora la struttura interna e la retorica specifica delle narrazioni cospirative.
• Scarsa generalizzabilità tematica: Le risorse NLP attuali sono spesso confinate a temi specifici (es. COVID-19, vaccini, 5G), rendendo difficile applicare i modelli a nuovi contesti geopolitici o tematici.
• Soggettività: L'etichettatura binaria è soggetta a un'alta variabilità inter-annotatore a causa della mancanza di definizioni precise su come si manifesta la credenza cospirativa nel testo.

2. Metodologia e Proposta

Gli autori propongono un approccio innovativo basato sulla semiotica e sulla frame semantics (semantica dei frame) per creare una rappresentazione semantica fine-grained delle narrazioni cospirative.

A. Il "Conspiracy Frame" (Con.Fra.)
Derivando dalla letteratura semiotica (Birchall, Leone et al.), gli autori definiscono una teoria del complotto come una narrazione in cui un evento è il risultato di un piano segreto attuato da un gruppo moralmente malvagio per danneggiare un gruppo di vittime, portando a una catastrofe se non fermato.
Questo concetto è tradotto in un frame strutturale composto da cinque elementi (annotati a livello di span nel testo):

1. Core Elements (Elementi Core):
   • Plan (Piano): L'evento o l'azione intrapresa per raggiungere la fine malvagia (es. "sostituzione etnica").
   • Secret (Segreto): La connotazione di segretezza del piano (es. "stanno silenziando la verità").
2. Non-core Elements (Elementi Non-core):
   • In-group (Gruppo interno): Le vittime ("noi").
   • Out-group (Gruppo esterno): I nemici ("loro").
   • Call-to-action (Appello all'azione): Cosa deve essere fatto per evitare la catastrofe.

B. Creazione del Dataset Con.Fra.
È stato creato un corpus di 2.577 messaggi Telegram (2.077 per l'annotazione e 500 per la valutazione out-of-domain) attraverso un processo iterativo:

1. Raccolta Dati: Crawl di 11.618 canali Telegram, selezionando i top 35 per diversità demografica e coprendo il periodo 2023-2024.
2. Workshop di Annotazione: 13 partecipanti (studenti e ricercatori) hanno annotato i messaggi. Il dataset mostra una distribuzione sbilanciata (20,63% cospirativo, 77% non cospirativo).
   • Accordo: L'accordo inter-annotatore per la classificazione è moderato (Kappa = 0,41), mentre per l'identificazione degli span è sostanziale (Kappa tra 0,63 e 0,81).
3. Mappatura con FrameNet: Gli span annotati (specialmente Plan e Secret) sono stati mappati lessicalmente su FrameNet (v1.7) per identificare pattern semantici astratti (es. Kinship, Ingest_substance, EXECUTE_PLAN).

C. Sperimentazione con LLM
Gli autori hanno valutato la capacità di modelli LLM (Llama-3.3 8B e 70B) di riconoscere le CT e gli span in due scenari:

• In-domain: Addestramento/valutazione sul dataset annotato.
• Out-of-domain: Valutazione su canali Telegram non visti durante la creazione del corpus.
• Strategie di Prompting:
  1. Zero-shot: Nessuno esempio.
  2. Few-shot: Esempi annotati nel prompt.
  3. Frame-guided: Prompt arricchiti con hints semantici derivati da FrameNet (es. suggerendo i frame rilevanti per gli span).
• Metriche: Precisione, Recall, F-score per l'in-domain; sistema di rating ELO per l'out-of-domain (confronto a coppie tra modelli guidati da frame e few-shot).

3. Risultati Chiave

A. Riconoscimento e Classificazione (In-domain)

• Dimensione del Modello: Il modello 70B supera il 8B di circa 3 punti F-score e 3,8 punti di Recall.
• Strategia di Prompting: Non vi è un aumento netto delle prestazioni complessive (F-score) nell'uso del frame-guided rispetto al few-shot o zero-shot per la classificazione binaria.
  • Tuttavia, emerge un trade-off: lo zero-shot eccelle nella Precisione, mentre few-shot e frame-guided migliorano drasticamente la Recall (circa +15 punti).
• Rilevamento degli Span: Qui le differenze sono più marcate. Lo zero-shot performa peggio su tutti gli elementi. Il frame-guided ottiene i migliori risultati nel rilevamento di In-group e Call-to-action, mentre il few-shot è leggermente migliore per Out-group.

B. Generalizzazione (Out-of-domain)

• Performance per Dimensione: Il modello 70B domina sistematicamente il 8B (998/1000 vittorie ELO in classificazione, 982/1000 nel rilevamento span).
• Impatto dei Frame: I risultati sono misti. L'approccio frame-guided supera il few-shot nella classificazione del testo (830/1000), ma è inferiore nel rilevamento degli span (213/1000).
• Analisi degli Errori:
  • Gli annotatori umani preferiscono l'approccio frame-guided quando questo cattura la completezza narrativa (meccanismi specifici, target, conseguenze) rispetto a parole chiave frammentate.
  • Tuttavia, l'approccio few-shot è preferito quando l'approccio frame-guided commette errori di precisione sintattica (inclusione di verbi ausiliari non necessari o contesto non cospirativo) o quando il modello few-shot riesce a catturare una dichiarazione causale completa che il modello guidato dai frame trancia.
  • I frame aiutano a risolvere ambiguità semantiche (es. identificare un "segreto" implicito), ma talvolta portano a falsi positivi in testi semplici.

C. Analisi Qualitativa dei Frame
La mappatura con FrameNet rivela pattern semantici ricorrenti:

• I frame più frequenti non sono quelli strettamente legati a "Piano" o "Segreto" (come EXECUTE_PLAN), ma frame contestuali come POLITICAL_LOCALES (luoghi istituzionali) e STATEMENT (affermazioni che smascherano la verità ufficiale).
• I frame INGEST_SUBSTANCE e FIREFIGHTING (usati dai LLM) riflettono metafore di invasione, contagio e guerra tipiche della retorica cospirativa.
• Il frame CALENDRIC_UNIT (presente nelle annotazioni umane ma meno nei LLM) evidenzia l'importanza della dimensione temporale (passato, presente pericoloso, futuro temuto).

4. Contributi Chiave

1. Conspiracy Frame: Una nuova rappresentazione semantica fine-grained delle teorie del complotto basata su 5 elementi strutturali, derivata dalla semiotica.
2. Dataset Con.Fra.: Un corpus annotato a livello di span su Telegram, che supera i limiti dei dataset tematici precedenti offrendo generalizzabilità strutturale.
3. Analisi Semiotica-Computazionale: La prima integrazione sistematica di FrameNet per analizzare la struttura semantica astratta delle CT, identificando pattern linguistici ricorrenti (es. metafore di guerra/contagio).
4. Valutazione LLM: Dimostrazione che, sebbene l'iniezione di frame non aumenti drasticamente le metriche standard di classificazione, è cruciale per migliorare la spiegabilità e la comprensione della struttura narrativa, specialmente nel rilevamento di span complessi.

5. Significato e Conclusioni

Il lavoro dimostra che il rilevamento delle teorie del complotto non deve basarsi solo sul contenuto tematico, ma sulla struttura retorica e semiotica della narrazione. Sebbene l'uso attuale dei frame come hint nei prompt non abbia portato a un miglioramento immediato e massiccio delle prestazioni dei LLM, il lavoro apre la strada a:

• Modelli più spiegabili che possono giustificare perché un testo è cospiratorio basandosi su elementi strutturali (piano, segreto, gruppi).
• Future ricerche che integrino i frame semantici tramite fine-tuning o pre-training su grafi della conoscenza, permettendo agli LLM di internalizzare la logica relazionale delle CT piuttosto che affidarsi a suggerimenti superficiali nei prompt.
• Una migliore comprensione della variabilità umana nell'annotazione di fenomeni soggettivi come le CT.

In sintesi, il paper sposta il focus dal "cosa" (tema) al "come" (struttura semiotica) delle teorie del complotto, fornendo un framework solido per lo sviluppo di strumenti di rilevamento più robusti e generalizzabili.