Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Riepilogo Tecnico: Fine-tuning con Prompting Gerarchico per una Classificazione Robusta della Propaganda attraverso Schemi di Annotazione

Enunciato del Problema
Il rilevamento della propaganda sui social media affronta sfide significative a causa della natura rumorosa e breve dei testi, della prevalenza di un linguaggio informale e del basso accordo inter-annotatore (IAA). Le tassonomie esistenti sono spesso centrate sulla tecnica (focalizzandosi su dispositivi retorici come "linguaggio carico") e faticano a catturare le intenzioni comunicative strategiche alla base della propaganda. Inoltre, esiste un compromesso nella progettazione degli schemi: schemi realistici e complessi catturano la diversità del mondo reale ma riducono l'affidabilità dell'annotazione, mentre schemi semplificati aumentano l'accordo a scapito della validità ecologica. Inoltre, l'interazione tra la progettazione dello schema di annotazione, i regimi di supervisione (zero-shot vs. fine-tuned) e le strategie di prompting rimane poco esplorata nel contesto dei Modelli Linguistici su Grande Scala (LLM).

Metodologia
Gli autori hanno condotto un esperimento controllato valutando la classificazione della propaganda attraverso tre dimensioni interagenti: schema di annotazione, regime di supervisione e strategia di prompting.

1. Dataset e Schemi:

   • Fonte dei Dati: Lo studio ha utilizzato il dataset di riferimento HQP (30.000 tweet in inglese dall'inizio della guerra Russia-Ucraina).
   • Schema A (Nuovo basato su Intenti): Gli autori hanno introdotto una nuova tassonomia che raggruppa 17 tecniche granulari in cinque categorie di alto livello basate sull'intento comunicativo (ad es. Spostare la Colpa, Giustificare l'Aggressione, Falsificare il Consenso). Questo schema è stato sviluppato tramite un processo iterativo che ha coinvolto annotazione esperta, armonizzazione assistita da LLM e consenso di gruppo. Ha prodotto un IAA moderato ($\kappa=0.309$), riflettendo l'ambiguità intrinseca degli intenti nei testi brevi.
   • Schema B (Sahitaj et al., 2025): Una tassonomia basata su span e centrata sulla tecnica, adattata per Twitter. Per questo studio, gli autori hanno raggruppato le sue 17 tecniche in sei categorie di alto livello. Questo schema ha dimostrato un IAA sostanzialmente più alto ($\kappa=0.594$).

2. Modelli:
   Sono stati valutati quattro modelli linguistici: GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B e Qwen3-14B. Gli esperimenti sono stati condotti sia in regime zero-shot (Base) che fine-tuned (FT). Il fine-tuning è stato eseguito utilizzando adattatori LoRA per i modelli a peso aperto e ottimizzazione basata su API per GPT-4.1-nano.

3. Strategie di Prompting:

   • Direct-High: I modelli prevedono direttamente la categoria di alto livello dal testo.
   • HiPP (Prompting Gerarchico): Una strategia "Main→High" in cui il modello prevede prima la tecnica granulare più prominente e poi aggrega questa previsione per determinare la categoria di alto livello in un singolo passaggio.

4. Valutazione:
   Le prestazioni sono state misurate utilizzando Macro-F1 e Weighted-F1 su un set di test dorato bilanciato (200 tweet per schema). L'analisi degli errori ha incluso matrici di confusione, statistiche sulla frequenza dei lemmi e visualizzazione PCA dei vettori TF-IDF.

Contributi Chiave

1. Nuova Tassonomia basata su Intenti: Il paper introduce la prima tassonomia concettuale completamente nuova per la propaganda dal 2019, spostando il focus dalle tecniche di superficie agli obiettivi comunicativi strategici.
2. Framework Comparativo Controllato: Lo studio isola gli effetti della progettazione dello schema, della supervisione e del prompting trattandoli come fattori ortogonali, dimostrando come questi elementi interagiscano per plasmare la robustezza del modello.
3. Validazione del Prompting Gerarchico (HiPP): Gli autori propongono e validano il metodo HiPP, ne dimostrano l'utilità specifica negli ambienti fine-tuned, in particolare per schemi di annotazione rumorosi e a basso accordo.
4. Etichettatura di Alto Livello per Schemi Esistenti: Gli autori hanno creato etichette di alto livello per lo schema di Sahitaj et al. (2025) tramite una procedura di clustering, ottenendo un alto accordo nella validazione umana e fornendo una baseline robusta per il confronto.

Risultati

• Impatto del Fine-Tuning: Il fine-tuning è stato decisivo in tutte le configurazioni, trasformando baselines zero-shot deboli in sistemi competitivi (miglioramenti da +0.09 a +0.30 in Weighted-F1). Ha rivelato differenze metodologiche invisibili nel regime base.
• Prestazioni degli Schemi: Lo schema Sahitaj ha prodotto costantemente prestazioni assolute più elevate (divari da +0.05 a +0.15 in Weighted-F1) a causa della sua maggiore affidabilità di annotazione. Tuttavia, lo schema basato su intenti, sebbene più impegnativo, ha fornito una lente più ricca sugli obiettivi strategici.
• Prestazioni dei Modelli: Tra i modelli a peso aperto, la serie Qwen (in particolare Qwen3-14B) ha raggiunto le prestazioni complessive più forti. Phi-4 14B ha costantemente superato GPT-4.1-nano in entrambi gli schemi e regimi.
• Efficacia di HiPP:
  • In ambienti zero-shot, HiPP (Main→High) ha spesso ottenuto risultati inferiori rispetto a Direct-High, in particolare sullo schema a basso IAA, suggerendo che la decomposizione gerarchica può amplificare il rumore senza rappresentazioni adattate.
  • Dopo il fine-tuning, HiPP è diventato altamente benefico, specialmente sullo schema basato su intenti. Ha fornito un vantaggio metodologico stabile, aiutando i modelli a recuperare le etichette a voto di maggioranza anche in casi di alto disaccordo tra gli annotatori.
• Analisi degli Errori:
  • Zero-Shot: I modelli erano ipersensibili a indizi lessicali (ad es. "Ucraina", "Nazista", "guerra"), portando a un alto numero di falsi positivi.
  • Fine-Tuned: Gli errori sono passati da semplici trigger lessicali a casi genuinamente ambigui e polarizzati. I modelli HiPP fine-tuned hanno ridotto i falsi positivi sulle notizie di guerra neutre e hanno concentrato gli errori su categorie concettualmente vicine (ad es. confondere Distorcere la Realtà con Spostare la Colpa), indicando una comprensione più strutturata della tassonomia.
  • Visualizzazione PCA: Lo schema basato su intenti ha prodotto uno spazio decisionale più denso e sovrapposto rispetto ai cluster compatti e ben separati dello schema Sahitaj, confermando la maggiore difficoltà del compito basato su intenti.

Significato e Affermazioni
Il paper afferma che il suo contributo principale è metodologico, dimostrando che il fine-tuning è essenziale per un rilevamento robusto della propaganda e che il prompting gerarchico (HiPP) agisce come un bias induttivo stabilizzante specificamente quando i modelli sono adattati a spazi di annotazione rumorosi e sbilanciati.

Gli autori sostengono che, sebbene schemi semplificati e centrati sulla tecnica offrano segnali di apprendimento più chiari, gli schemi basati su intenti sono necessari per un'analisi sfumata degli obiettivi strategici della propaganda. Essi ipotizzano che i moderni LLM, quando fine-tuned con HiPP, convergano verso strutture di errore simili e interpretabili, suggerendo che le conclusioni tratte da una famiglia di modelli siano ragionevolmente trasferibili ad altre. Il lavoro fornisce un benchmark impegnativo (il dataset HQP con nuove etichette basate su intenti) per la ricerca futura sul rilevamento nel mondo reale, sottolineando che sistemi robusti devono tenere conto del compromesso tra realismo ecologico e affidabilità dell'annotazione.

Gli autori rimangono modesti, notando che i loro risultati sono indicativi di tendenze metodologiche basate su un singolo split di dati e che la tassonomia basata su intenti proposta, sebbene preziosa, introduce rumore intrinseco che la rende un problema di classificazione più difficile rispetto ai framework esistenti.