VeritasAI Multi Agent Framework for Explainable Fake News Detection Using Retrieval Augmented Generation

Internet è diventata un vasto mercato di informazioni rapido e frenetico, dove la verità e la falsità spesso viaggiano alla stessa velocità. Quando una notizia scatta, può diffondersi in tutto il mondo in pochi minuti, plasmando l'opinione pubblica, influenzando le elezioni e persino alterando il modo in cui le persone si comportano nella loro vita quotidiana. Il problema non è solo che le bugie esistono, ma che gli strumenti che abbiamo per verificarle spesso non riescono a spiegare perché qualcosa sia falso. La maggior parte dei sistemi automatizzati agisce come una scatola nera: prende un'affermazione, la elabora e sputa fuori un semplice'etichetta come "vero" o "falso" senza mostrare il lavoro svolto. Questa mancanza di trasparenza rende difficile per le persone fidarsi del risultato, specialmente quando la posta in gioco è alta. Per risolvere questo problema, i ricercatori si stanno rivolgendo a un nuovo approccio che combina due idee potenti. Primo, utilizzano sistemi in grado di raggiungere il web in tempo reale per trovare fatti attuali, invece di fare affidamento solo su ciò che un computer ha memorizzato. Secondo, stanno costruendo team digitali in cui diversi programmi informatici assumono ruoli specifici, discutendo tra loro per raggiungere una conclusione, proprio come un panel di esperti umani.

In questo contesto, un team di ricercatori dell'RV College of Engineering di Bengaluru, in India, ha costruito un nuovo sistema chiamato VeritasAI. Il loro obiettivo era creare uno strumento che non si limitasse a rilevare le fake news, ma che spiegasse il proprio verdetto in un modo che un essere umano possa comprendere e verificare. Invece di un singolo programma informatico che prende una decisione istantanea, VeritasAI organizza un dibattito strutturato tra tre agenti di intelligenza artificiale specializzati. Il sistema è progettato per prendere l'affermazione di un utente, dare la caccia alle prove su internet e poi far sì che questi agenti discutano il caso a favore e contro la dichiarazione prima di emettere una decisione finale e motivata.

Il processo inizia quando un utente sottopone un'affermazione di notizie al sistema. Il software si mette immediatamente al lavoro, cercando in due fonti diverse simultaneamente: motori di ricerca web generici e database di notizie dedicati. Questo approccio duale assicura che il sistema raccolga una vasta gamma di potenziali prove, dai rapporti di notizie ufficiali alle discussioni più ampie sul web. Una volta raccolti i documenti, il sistema filtra il rumore. Rimuove gli articoli che provengono dalla stessa fonte dell'affermazione originale per evitare il ragionamento circolare e scarta gli frammenti di bassa qualità che non contengono informazioni utili. I documenti rimanenti vengono poi organizzati in base alla loro vicinanza all'affermazione originale, utilizzando un metodo che raggruppa idee simili. Da questa lista pulita, il sistema seleziona i dieci pezzi di evidenza più rilevanti per servire da base per il dibattito.

Questi dieci pezzi di evidenza vengono poi consegnati ai tre agenti IA, ciascuno con un ruolo distinto. Il primo agente, agendo come un pubblico ministero, esamina le prove per trovare argomenti che contraddicono l'affermazione. Cerca fatti che dimostrino l'erroneità della dichiarazione e identifica i contro-argomenti più forti. Il secondo agente, il difensore, fa l'esatto opposto. Cerca nelle stesse prove punti che supportano l'affermazione, cercando conferme e ragioni valide per credere alla dichiarazione. Infine, un terzo agente, il giudice, ascolta entrambe le parti. Esamina gli argomenti del pubblico ministero e del difensore, insieme alle prove originali, e li pesa l'uno contro l'altro. Il giudice non si limita a scegliere un vincitore; analizza la forza dei punti di supporto e di contraddizione per emettere un verdetto finale. Questo verdetto rientra in una di quattro categorie: vero, falso, fuorviante o non verificato. Il sistema fornisce anche un punteggio di confidenza, indicando quanto sia sicuro del risultato, e elenca le fonti specifiche che hanno portato alla conclusione.

Ciò che rende questo sistema particolarmente utile è il suo impegno per la trasparenza. Ogni argomento generato dal pubblico ministero o dal difensore è collegato direttamente a un URL di una fonte, consentendo a un utente umano di cliccare e verificare autonomamente l'evidenza. Il sistema produce un rapporto strutturato che include la decisione finale, il livello di confidenza e un riassunto del ragionamento. Se le prove sono insufficienti per prendere una decisione, il sistema etichetta onestamente l'affermazione come "non verificata" invece di forzare un'ipotesi. I ricercatori hanno testato questo sistema su un dataset di 500 affermazioni, confrontando le sue prestazioni con la verità di base annotata dagli umani. I risultati hanno mostrato che il sistema ha raggiunto un'elevata precisione nella classificazione delle affermazioni, con metriche di prestazione che oscillavano intorno all'87 percento nelle diverse categorie. Più importante ancora, il sistema è riuscito a generare spiegazioni chiare in linguaggio naturale per le sue decisioni, una caratteristica che molti sistemi automatizzati precedenti non possedevano.

I ricercatori hanno inoltre costruito un'interfaccia visiva per il sistema, permettendo agli utenti di guardare l'intero processo di verifica svolgersi in tempo reale. Mentre il sistema cerca, filtra e classifica le prove, un tracker di avanzamento mostra all'utente esattamente quale fase sta avvenendo. Una volta terminato il dibattito tra gli agenti, l'interfaccia visualizza la scheda del verdetto finale, gli argomenti di entrambe le parti e la griglia delle prove con i rating di credibilità. Questo livello visivo aiuta a demistificare il complesso lavoro che avviene dietro le quinte, rendendo la tecnologia accessibile anche ai non esperti. Il sistema è progettato per essere flessibile; può memorizzare le relazioni tra diverse affermazioni in un grafo di conoscenza, il che potrebbe aiutare a identificare modelli nel modo in cui la disinformazione si diffonde, sebbene questa specifica funzione non sia stata pienamente valutata nello studio attuale.

Nonostante il successo, gli autori sottolineano con cautela i limiti del sistema. L'efficacia dello strumento dipende interamente dalla disponibilità di informazioni sul web; se un'affermazione riguarda un argomento molto di nicchia o un evento nuovissimo che non è ancora stato coperto dalle testate giornalistiche, il sistema potrebbe faticare a trovare prove sufficienti per emettere un giudizio. Inoltre, poiché il sistema si affida a modelli linguistici di grandi dimensioni per generare i suoi argomenti, eredita il potenziale bias di tali modelli sottostanti. I ricercatori evidenziano anche che la loro valutazione attuale è stata condotta su un campione relativamente piccolo di 500 affermazioni e che intendono testare il sistema su una scala molto più ampia in futuro. Intendono anche migliorare il sistema aggiungendo modi migliori per valutare la credibilità dei diversi editori e ampliando la sua capacità di gestire affermazioni in più lingue.

Il progetto VeritasAI rappresenta un cambiamento nel modo in cui potremmo affrontare il problema della disinformazione. Allontanandosi da algoritmi singoli e opachi verso un sistema multi-agente che imita il dibattito umano, i ricercatori hanno creato uno strumento che è non solo accurato, ma anche responsabile. Non dice solo agli utenti cosa pensare; mostra loro l'evidenza, presenta le opinioni opposte e spiega il ragionamento dietro la conclusione. In un'era in cui la fiducia nell'informazione è fragile, questo tipo di trasparenza offre una via d'uscita, trasformando il processo di verifica da una scatola nera a un dialogo chiaro e comprensibile tra uomo e macchina. Il sistema è attualmente disponibile come software open-source, invitando altri a esaminarne il codice, testare i suoi metodi e costruire sul suo framework per perfezionare ulteriormente la lotta contro la falsa informazione.