Artificial Intelligence and Misinformation Detection in Digital Media: An Explainable Machine Learning Framework
Questo studio propone un framework di apprendimento automatico spiegabile per il rilevamento della disinformazione politica sui social media che raggiunge una prestazione predittiva superiore rispetto ai modelli di base, evidenziando al contempo che l'affidabilità del sistema nel mondo reale è in ultima analisi limitata dal basso accordo tra le etichette di verità fondamentale e dalla scarsa generalizzabilità temporale, piuttosto che da limitazioni architettoniche.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nell'era digitale, il flusso di informazioni è cambiato irrevocabilmente. Le piattaforme di social media sono diventate le principali piazze del mercato dove viaggiano le notizie politiche, ma fungono anche da terreni di coltura per storie false progettate per influenzare l'opinione pubblica. Quando una nazione si avvicina a un momento critico, come un'elezione presidenziale, la velocità con cui si diffonde l'informazione fabbricata spesso supera la capacità dei fact-checker umani di verificarla. Ciò ha portato i ricercatori a rivolgersi all'intelligenza artificiale, specificamente all'apprendimento automatico (machine learning), affinché agisca da filtro. Questi sistemi informatici imparano a riconoscere schemi nel testo che suggeriscono che una storia sia falsa, proprio come un editor esperto potrebbe scorgere un errore di battitura o una fonte sospetta. Tuttavia, un problema significativo sorge con i più potenti di questi sistemi: spesso operano come "black box" (scatole nere). Possono identificare correttamente una menzogna, ma non possono spiegare perché abbiano preso quella decisione. In un mondo in cui un falso flag può rovinare una reputazione o alterare un'elezione, l'incapacità di comprendere il ragionamento dietro il giudizio di un computer rende difficile per gli esseri umani fidarsi o verificare il risultato.
Per colmare questa lacuna, i ricercatori Muhammad Usman Aslam e Hafiz Aqib Sattar hanno sviluppato un nuovo approccio che combina la potenza del machine learning con la necessità della comprensione umana. Non si sono limitati a costruire un computer più intelligente; hanno costruito un sistema capace di mostrare il proprio lavoro. Utilizzando una vasta collezione di oltre 8.000 tweet relativi alle elezioni presidenali statunitensi del 2016, il team ha addestrato diversi tipi di modelli informatici per distinguere tra notizie reali e disinformazione. Hanno poi combinato il meglio di questi modelli in un unico framework stratificato. Fondamentalmente, hanno aggiunto uno strato di spiegazione che evidenzia esattamente quali parole, dettagli dell'utente o indizi strutturali abbiano portato il sistema a segnalare un post come falso. Ciò consente a un revisore umano di vedere, ad esempio, che un post è stato segnalato perché proveniva da un account non verificato e utilizzava un linguaggio emotivo specifico, piuttosto che ricevere solo un cieco verdetto di "falso".
I risultati di questo esperimento sono stati rivelatori. Il nuovo framework ha performato meglio di qualsiasi singolo modello testato singolarmente, identificando con successo una percentuale maggiore di storie false mantenendo al contempo un basso tasso di falsi allarmi. Il sistema ha scoperto che i segni più affidabili della disinformazione non erano sempre le parole stesse, ma piuttosto il contesto in cui apparivano. Ad esempio, il sistema ha imparato che i post che menzionavano candidati specifici durante le ore live della notte elettorale, o quelli provenienti da account senza badge di verifica, erano altamente sospetti. Ha anche notato che le storie false usavano spesso un linguaggio diretto in seconda persona, rivolgendosi direttamente al lettore con parole come "tu", mentre le notizie reali tendevano a essere più neutrali. Concentrandosi su questi indizi strutturali e contestuali insieme al testo, il sistema è riuscito a emettere giudizi più accurati rispetto ai modelli che guardavano solo alle parole.
Tuttavia, lo studio ha anche messo in luce un limite deprimente che sfida l'idea di una soluzione perfetta e universale. Quando i ricercatori hanno testato i modelli su tweet provenienti da un periodo diverso — specificamente, post pubblicati dopo la conclusione delle elezioni — le prestazioni di ogni sistema, incluso il loro nuovo framework, sono crollate drasticamente. I modelli, che erano stati addestrati sul linguaggio intenso e specifico della stagione elettorale, faticavano a riconoscere la disinformazione una volta che l'evento era passato e il contesto era cambiato. Ciò suggerisce che, sebbene questi strumenti siano efficaci nel individuare le bugie all'interno del momento specifico per cui sono stati addestrati, non sono ancora abbastanza robusti da gestire il panorama mutevole di futuri eventi senza un significativo riaddestramento. Inoltre, i ricercatori hanno scoperto che la verità di base (ground truth) che stavano insegnando ai computer era essa stessa confusa; gli esperti umani spesso discordavano sul fatto che un tweet specifico fosse falso o meno, con un livello di accordo molto basso. Questo significa che anche il miglior modello informatico è limitato dalla qualità delle etichette umane da cui impara.
In definitiva, questa ricerca suggerisce che il futuro della lotta alla disinformazione non risiede nella costruzione di algoritmi sempre più complessi e inspiegabili, ma nella creazione di sistemi che lavorino fianco a fianco con gli esseri umani. Il framework proposto non sostituisce il giudizio umano; agisce invece come un assistente sofisticato che segnala i contenuti sospetti e fornisce le prove necessarie affinché un essere umano possa prendere l'ultima decisione. Lo studio dimosta che è possibile costruire un sistema che sia sia accurato che trasparente, ma avverte anche che tali strumenti sono fragili. Sono altamente sensibili al tempo e all'argomento specifico per cui sono stati addestrati, e sono affidabili solo quanto i dati umani utilizzati per istruirli. Per le piattaforme e i fact-checker, la strada da seguire consiste nell'utilizzare questi strumenti spiegabili per supportare la supervisione umana, riconoscendo al contempo che nessun singolo modello può risolvere il problema della disinformazione in ogni tempo e in ogni contesto. La vera vittoria, sostengono gli autori, non è nella velocità pura di un computer, ma nella sua capacità di rendere il proprio ragionamento abbastanza chiaro da poter essere compreso e verificato dagli esseri umani.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.