FactAppeal: Identifying Epistemic Factual Appeals in News Media

1. Il Problema

Nel contesto attuale di disinformazione pervasiva e scetticismo verso i media, è fondamentale comprendere non solo cosa viene affermato, ma come le affermazioni fattuali acquisiscono credibilità. La ricerca esistente si è concentrata principalmente sulla rilevazione e verifica delle affermazioni (claim detection and verification), spesso trattando il contenuto in isolamento. Tuttavia, questi approcci trascurano le strutture epistemiche che conferiscono forza persuasiva e credibilità alle affermazioni stesse.

Il problema centrale affrontato dal paper è la mancanza di risorse e modelli capaci di identificare e analizzare le appellazioni epistemiche (epistemic appeals): ovvero, come un'affermazione fattuale venga ancorata a fonti esterne o prove (es. testimoni, esperti, documenti ufficiali) per essere validata. Senza comprendere queste strutture, è difficile analizzare la dinamica della conoscenza nei media o migliorare i sistemi di fact-checking automatico.

2. Metodologia e Dataset (FACTAPPEAL)

Per colmare questo divario, gli autori introducono FACTAPPEAL, un nuovo dataset e una formulazione di task specifica.

Il Dataset

• Composizione: 3.226 frasi in inglese estratte da articoli di notizie pubblicati tra il 2020 e il 2022.
• Annotazione: Le frasi sono state annotate manualmente a livello di span (segmenti di testo) con un alto livello di granularità.
• Schema di Annotazione:
  • Fattualità: Distinzione tra affermazioni fattuali (sullo stato del mondo esterno) e non fattuali (opinioni, sentimenti, comandi).
  • Appellazioni Epistemiche: Identificazione di affermazioni supportate da fonti.
  • Tipologia di Fonti (Source Types): Classificazione basata su due dimensioni (prossimità all'evento e natura umana/non umana):
    • Interno: Partecipanti attivi, Testimoni, Prove dirette.
    • Esterno: Ufficiali, Esperti, Documenti di esperti, Rapporti di notizie.
  • Attributi della Fonte: Nome (citata o no), ruolo, credenziali epistemiche, modalità di citazione (cita diretta o indiretta), destinatario, tempo e luogo dell'appello.

Accordi tra Annotatori

L'analisi dell'accordo inter-annotatore (IAA) su un sottoinsieme di dati ha mostrato un accordo sostanziale, con un IoU (Intersection over Union) complessivo di 0.74 e un Kappa di Cohen di 0.82, indicando l'affidabilità delle annotazioni.

3. Sperimentazione e Modelli

Gli autori hanno confrontato due strategie di modellazione per il task di identificazione degli appellativi epistemici:

1. Classificazione Multi-Etichetta a Livello di Token (Encoder-only):

   • Utilizzo di modelli transformer pre-addestrati (RoBERTa, DeBERTa v3, ModernBERT).
   • Le etichette sono rappresentate come annotazioni binarie a livello di token.
   • Addestramento con focal loss.

2. Modelli Generativi Decoder (Seq2Seq):

   • Utilizzo di Large Language Models (LLM) più piccoli (Gemma 2 2B/9B, Llama 3.1 8B, Mistral 7B).
   • Le annotazioni sono rappresentate come tag XML all'interno della frase generata.
   • Addestramento tramite QLoRA con quantizzazione a 4 bit.

4. Risultati

I risultati sono stati valutati sulla base di Precisione, Recall e F1-score macro-averaged a livello di parola.

• Performance Migliore: Il modello Gemma 2 9B ha ottenuto il punteggio più alto con un Macro-F1 di 0.73.
• Confronto Encoder vs Decoder: Sebbene le differenze tra i migliori encoder e decoder siano contenute, i modelli generativi (decoder) hanno mostrato una maggiore coerenza e una minore correlazione tra la frequenza di un'etichetta e il suo punteggio F1. Gli encoder, invece, hanno mostrato una forte dipendenza dalla prevalenza delle etichette (i rari tipi di fonte erano più difficili da rilevare).
• Sfide Specifiche: L'identificazione di certi tipi di fonti (es. "Partecipante Attivo" o "Prova Diretta") rimane una sfida significativa, con punteggi F1 variabili a seconda del modello.

5. Contributi Chiave

1. Nuovo Task e Dataset: Introduzione del task di Epistemic Appeal Identification e del dataset FACTAPPEAL, che va oltre la semplice verifica dei fatti per analizzare la struttura di supporto delle affermazioni.
2. Granularità delle Annotazioni: Fornisce dettagli fini non solo sulla presenza di una fonte, ma sulla sua natura (tipo, modalità di citazione, credenziali), permettendo un'analisi più profonda della retorica giornalistica.
3. Valutazione dei Modelli: Dimostra che i modelli generativi di dimensioni medie (2B-9B parametri) sono efficaci per questo task complesso, superando in alcuni aspetti gli encoder tradizionali grazie alla capacità di modellare la struttura sequenziale delle annotazioni.

6. Significato e Implicazioni

• Per il Fact-Checking: Offre strumenti per migliorare la verifica automatica delle affermazioni integrando segnali di credibilità basati sulla fonte, non solo sul contenuto.
• Per le Scienze Sociali e la Comunicazione: Permette di studiare sistematicamente come i media costruiscono e validano la conoscenza, analizzando le dinamiche di polarizzazione e le "profonde disuguaglianze" epistemiche tra gruppi politici.
• Analisi del Discorso: Facilita l'indagine sulle strutture di giustificazione e trasferimento della conoscenza nel discorso pubblico.

Limitazioni

Il lavoro presenta alcune limitazioni: le annotazioni sono a livello di frase (mancanza di contesto più ampio come paragrafi o articoli), non c'è un collegamento esplicito tra più fonti e più affermazioni nella stessa frase, e il dataset è limitato alla lingua inglese e a un arco temporale specifico (2020-2022), il che potrebbe limitare la generalizzabilità.

In sintesi, FACTAPPEAL rappresenta un passo avanti cruciale verso un'analisi della fattualità che non si limita a dire "è vero o falso", ma spiega "perché e come viene presentato come vero".