Hallucinations in AI Chatbots: A Comparative Analysis

Negli ultimi anni, un nuovo tipo di programma per computer è diventato uno strumento comune per scrivere, programmare e cercare informazioni. Questi programmi, noti come modelli linguistici di grandi dimensioni, sono addestrati su enormi quantità di testo provenienti da internet. Sono progettati per prevedere quale parola debba venire dopo in una frase, permettendo loro di generare risposte simili a quelle umane alle domande. Sebbene siano incredibilmente utili, hanno un difetto peculiare: a volte affermano cose completamente false con totale sicurezza. I ricercatori chiamano questi errori "allucinazioni". Un'allucinazione può sembrare un fatto reale, una citazione autentica da un libro o una riga di codice funzionante, ma è in realtà una fabbricazione. Questo non è solo un piccolo intoppo; quando questi programmi vengono utilizzati per compiti scolastici, consigli medici o ricerca professionale, un fatto inventato può portare a confusione o pericolo nel mondo reale. La domanda che i ricercatori e gli utenti si pongono non è se questi errori accadano, ma quanto spesso si verifichino, quali programmi siano più inclini a essi e come le persone possano individuarli prima che causino problemi.

Un team di ricercatori dell'Usman Institute of Technology ha intrapreso un percorso per comprendere questo problema esaminando i quattro chatbot IA più popolari disponibili oggi: GPT-4, Gemini, Claude e Microsoft Copilot. Invece di testare semplicemente le macchine in un laboratorio, i ricercatori hanno intervistato 80 utenti reali sulle loro esperienze nel mondo reale. Volevano sapere quanto spesso questi utenti incontravano informazioni false, come avevano notato gli errori e cosa avevano fatto per risolverli. Lo studio si è concentrato su compiti che richiedono un'alta precisione, come la stesura di articoli accademici, la scrittura di codice informatico e la conduzione di ricerche. L'obiettivo era andare oltre i benchmark tecnici e vedere come questi strumenti si comportano nelle mani di persone comuni che fanno affidamento su di essi per lavori importanti.

I risultati del sondaggio hanno rivelato che le allucinazioni sono un problema persistente, anche nei sistemi più avanzati. La maggior parte delle persone che hanno partecipato al sondaggio ha dichiarato di utilizzare questi strumenti IA ogni giorno o più volte al giorno. Si affidano a loro per la programmazione, la ricerca e la scrittura. Tuttavia, la maggioranza ha anche riferito di incontrare frequentemente informazioni inventate o riferimenti falsi. I ricercatori hanno scoperto che questi errori non avvengono casualmente; tendono ad apparire più spesso man mano che una conversazione si allunga. Dopo che un utente ha scambiato da cinque a venti messaggi con il bot, la probabilità che il programma commetta un errore fornendo dettagli incoerenti o falsi aumenta. Ciò suggerisce che più si parla con la macchina, più è probabile che perda il contatto con la verità.

Quando gli utenti si rendevano conto che qualcosa non andava, non si affidavano al computer per saperlo. Al contrario, utilizzavano le proprie conoscenze. Il modo più comune in cui le persone individuavano un'allucinazione era quando la risposta dell'IA contraddiceva qualcosa che sapevano già essere vero. Un altro grande segnale d'allarme era la presenza di citazioni false. Se il programma elencava un libro, uno studio o un sito web che non poteva essere trovato o che non esisteva, gli utenti capivano immediatamente che l'informazione era fabbricata. Lo studio ha dimostrato che rilevare questi errori è ancora in gran parte un lavoro umano. Dipende dalla capacità dell'utente di verificare i fatti e dalla sua volontà di mettere in discussione la macchina, piuttosto che da un interruttore di sicurezza automatico integrato nel software stesso.

I ricercatori hanno anche confrontato i quattro diversi chatbot per vedere se uno fosse più sicuro o affidabile degli altri. Hanno scoperto che ogni sistema ha i suoi punti di forza e le sue debolezze. GPT-4 è stato lodato per la sua capacità di ragionare su problemi complessi, mentre Gemini è stato notato per la sua forte capacità di estrarre informazioni dai risultati di ricerca, il che aiuta a mantenere le sue risposte ancorate alla realtà. Claude si è distinto per il suo focus sulla sicurezza e l'onestà, in particolare in aree sensibili come la salute, dove ha mostrato un'alta precisione. Microsoft Copilot è stato riconosciuto per la sua stretta integrazione con altri strumenti software, rendendolo utile per la produttività. Tuttavia, nessuno dei quattro modelli era perfetto. Tutti producevano ancora citazioni false e codice inaffidabile a tratti. Lo studio ha concluso che, sebbene questi strumenti siano potenti, non sono ancora abbastanza affidabili da essere usati senza la supervisione umana, specialmente in campi ad alto rischio come la medicina o la ricerca accademica.

Quindi, cosa si può fare per risolvere il problema? I partecipanti al sondaggio hanno offerto una risposta chiara. Non credevano che la soluzione risiedesse esclusivamente nel rendere l'IA più intelligente. Invece, hanno affermato che il modo più efficace per ridurre gli errori è richiedere all'IA di mostrare il proprio lavoro. Gli utenti preferivano schiacciantemente risposte che includessero citazioni verificate, il che significa che il programma deve indicare una fonte reale ed esistente per ogni fatto che afferma. La revisione umana era la seconda soluzione più popolare, seguita dai sistemi di controllo dei fatti automatici. Le persone che utilizzano questi strumenti vogliono trasparenza; vogliono vedere da dove provengono le informazioni in modo da poterle controllare autonomamente. I ricercatori suggeriscono che i miglioramenti futuri dovrebbero concentrarsi sul rendere l'IA capace di spiegare le proprie fonti e ammettere quando non è sicura, piuttosto che limitarsi a generare più testo.

In definitiva, questo studio evidenzia una realtà cruciala riguardo lo stato attuale dell'intelligenza artificiale. Questi strumenti stanno diventando più sofisticati e vengono utilizzati per compiti più complessi, ma il problema di inventare le cose non è scomparso. I ricercatori hanno scoperto che gli utenti sono consapevoli del rischio e lavorano attivamente per aggirarlo, controllando i fatti e pretendendo prove. Affinché questi sistemi diventino veramente affidabili, specialmente in aree critiche come la sanità e l'istruzione, devono evolversi per fornire fonti chiare e verificabili per le loro risposte. Fino ad allora, la responsabilità dell'accuratezza rimane saldamente nelle mani umane, con l'IA che funge da assistente utile piuttosto che da autorità finale.