LLM-based Detection of Manipulative Political Narratives

Riepilogo Tecnico: Rilevamento di Narrazioni Politiche Manipolatorie Basato su LLM

Enunciato del Problema
Il documento affronta la sfida critica di rilevare la Manipolazione e l'Interferenza delle Informazioni Straniere (FIMI) all'interno di grandi dataset di social media non filtrati. La difficoltà principale risiede nel distinguere tra critiche politiche legittime, sebbene controverse, e narrazioni strategiche coordinate e manipolatorie. Gli approcci tradizionali, come la modellazione tematica standard o la verifica dei fatti per l'autenticità, spesso falliscono perché i contenuti manipolatori si basano frequentemente sulla riformulazione malevola di eventi fattuali (malinformazione) piuttosto che su semplici falsità. Inoltre, i metodi esistenti faticano a separare le campagne coordinate allineate agli stati da genuine opinioni politiche populiste o personali, trascurando spesso le specifiche sfumature retoriche e l'intento che definiscono le narrazioni strategiche.

Metodologia
Gli autori propongono una pipeline di elaborazione dei dati guidata da un Modello Linguistico di Grande Dimensione (LLM) progettata per rilevare, filtrare e raggruppare narrazioni manipolatorie senza fare affidamento su un elenco predefinito di categorie target. La metodologia consta di quattro fasi sequenziali:

1. Filtraggio Basato su Prompt:

   • Obiettivo: Isolare i post manipolatori dalle critiche legittime e dai contenuti non pertinenti.
   • Meccanismo: Un modello di ragionamento (Qwen3.5-122B) è guidato da un prompt dettagliato few-shot. Questo prompt definisce le caratteristiche FIMI (es. spostamento della colpa, inversione morale, vittimismo) e istruisce esplicitamente il modello a differenziare tra manipolazione coordinata e scetticismo politico standard.
   • Vincoli: Il prompt include specifici "motivi noti" (es. Doppelgänger, Storm-1516) ed esclude esplicitamente i falsi positivi come la normale critica governativa o la frustrazione economica personale. Il modello produce una classificazione booleana e una stringa di ragionamento in formato JSON.
   • Strategia: Il sistema privilegia un'elevata completezza (recall) (0,92) rispetto alla precisione durante questa fase, accettando un tasso più alto di falsi positivi per garantire che nessun frammento di narrazione potenziale venga scartato.

2. Embedding Guidato dall'Intento:

   • Obiettivo: Mappare i post filtrati in uno spazio di embedding in cui la prossimità riflette l'intento manipolatorio piuttosto che la semplice similarità tematica.
   • Meccanismo: Gli autori utilizzano il modello Qwen3-Embedding-8B. A differenza dei transformer per frasi standard, questo modello viene istruito tramite prompt specifici a "Identificare la narrazione strategica, l'intento manipolatorio e il motivo sottostante della disinformazione". Ciò garantisce che i post che condividono strategie retoriche e intenti malevoli simili siano raggruppati strettamente insieme.

3. Riduzione della Dimensionalità e Clustering:

   • Meccanismo: Gli embedding ad alta dimensionalità (4096 dimensioni) vengono ridotti utilizzando UMAP (Uniform Manifold Approximation and Projection) a cinque dimensioni.
   • Clustering: HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) viene applicato allo spazio ridotto. Questo algoritmo non supervisionato determina il numero di cluster dinamicamente in base alla densità.
   • Ottimizzazione: I parametri iper sono stati sintonizzati (in particolare min_cluster_size) per bilanciare la riduzione del rumore con la distinzione semantica. È stata selezionata una dimensione minima del cluster di 400, risultando in 41 cluster distinti mantenendo i livelli di rumore gestibili (~29,7%).

4. Estrazione della Narrazione Strategica:

   • Obiettivo: Generare etichette leggibili dall'uomo per ogni cluster che descrivano la trama sottostante.
   • Meccanismo: Viene impiegato un modello di ragionamento più grande (Qwen3.5-397B). Riceve i documenti del cluster e le parole chiave c-TF-IDF. Utilizzando un prompt few-shot, il modello sintetizza un'etichetta narrativa completa che include l'affermazione principale, l'avversario mirato e l'angolo manipolatorio.

Contributi Chiave
Il documento delinea tre contributi tecnici principali:

1. Ragionamento Basato su Prompt: Superando la classificazione tradizionale basata su BERT, gli autori introducono un approccio di ragionamento guidato da caratteristiche FIMI esplicite ed esempi few-shot. Questo isola con successo i contenuti manipolatori strategici dalle critiche legittime basandosi sulle sfumature retoriche.
2. Embedding Guidato dall'Intento: La pipeline sposta il focus del modello di embedding dai temi generali a specifici intenti manipolatori. Configurando esplicitamente il modello di embedding tramite prompt, le trame correlate vengono posizionate più vicine nello spazio vettoriale, facilitando un clustering più accurato.
3. Estrazione della Narrazione Strategica: Gli autori sostituiscono l'estrazione tematica standard (elenchi di parole chiave) con un prompt specializzato che costringe il modello a produrre trame complete. Queste narrazioni catturano esplicitamente l'affermazione principale, il nemico e l'angolo manipolatorio, fornendo una comprensione più ricca della struttura della campagna.

Risultati
Applicato a un dataset di 1.255.895 post sui social media (da X, Reddit e Telegram) raccolti prima delle elezioni federali tedesche del 2025, la pipeline ha identificato con successo 41 cluster distinti di narrazioni manipolatorie.

• Prestazioni di Filtraggio: Il filtraggio iniziale ha raggiunto un punteggio F1 di 0,77, caratterizzato da un'elevata completezza (0,92) e una precisione inferiore (0,66). Gli autori notano che il modello è più rigoroso dei valutatori umani, segnando spesso opinioni populiste individuali come manipolatorie; tuttavia, il successivo clustering HDBSCAN filtra efficacemente questi falsi positivi come rumore, poiché non formano cluster densi e coerenti.
• Temi Narrativi: I cluster estratti sono stati raggruppati in quattro pilastri tematici principali:
  1. La "Grande Sostituzione": Narrazioni che inquadrano la migrazione come un'arma per distruggere la popolazione nativa.
  2. La Guerra per Procura: Trame che ritraggono la Germania come una colonia degli USA che sacrifica la pace nazionale per interessi esteri (in particolare riguardo alla Russia).
  3. La Dittatura Climatica: Inquadrare le politiche climatiche come una bufala fabbricata dai globalisti per controllare e impoverire i cittadini.
  4. L'AFD come Salvatore: Posizionare il partito di destra AfD e attori esterni (es. Elon Musk) come gli unici salvatori contro un "stato profondo" corrotto.

Significato e Affermazioni
Il documento afferma che il suo approccio colma efficacemente il divario tra il rilevamento della disinformazione coordinata e la comprensione delle narrazioni strategiche sottostanti. Integrando il filtraggio basato su prompt con il clustering non supervisionato, il sistema può scoprire nuovi gruppi narrativi senza fare affidamento su una tassonomia predefinita.

Una scoperta significativa è la sinergia tra la fase di filtraggio ad alta completezza e la fase di clustering basata sulla densità. La pipeline sfrutta la capacità dell'LLM di applicare le proprie conoscenze interne (es. riconoscere domini specifici come rtde.media come proxy per i media statali) per valutare i post, anche quando tali entità specifiche non sono elencate esplicitamente nel prompt. Gli autori sostengono che questo metodo è superiore alla modellazione tematica tradizionale perché cattura l'intento e la trama della manipolazione piuttosto che il semplice argomento.

Il documento mantiene una posizione modesta riguardo ai suoi limiti, riconoscendo la "linea sfocata" tra manipolazione coordinata e opinioni politiche radicali personali. Sottolinea che le narrazioni estratte sono output non modificati destinati alla trasparenza e non riflettono le opinioni politiche degli autori. Il lavoro conclude che, sebbene l'approccio attuale sia efficace, le iterazioni future potrebbero beneficiare dell'ottimizzazione programmatica dei prompt e dell'integrazione di modelli linguistici visivi per gestire contenuti multimodali.