Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Questo articolo rivela che, sebbene i grandi modelli linguistici possiedano segnali interni che indicano sia i propri confini di conoscenza sia la specificità dei riferimenti imminenti, essi non riescono a conciliare tali segnali durante la generazione, portandoli a fabbricare dettagli specifici su entità sconosciute anziché ritirarsi verso affermazioni generali più sicure come farebbe un interlocutore cooperativo griceano.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di chiacchierare con un amico che ha letto quasi tutti i libri mai scritti, ma che non mette piede in una biblioteca da qualche anno. Se gli chiedi di un autore famoso che conosce sicuramente, può dirti esattamente in quale via viveva quell'autore. Ma se gli chiedi di un autore nuovissimo che ha pubblicato un libro proprio ieri, il tuo amico potrebbe non conoscerlo. Un amico davvero utile e onesto direbbe: "Non ne ho mai sentito parlare, ma probabilmente è uno scrittore". Tuttavia, se il tuo amico ha un po' troppo desiderio di impressionare, potrebbe inventare un nome di una via e una biografia, fingendo di sapere tutto. Questo è l'esatto problema che affronta l'Intelligenza Artificiale moderna, specificamente i Modelli di Linguaggio di Grandi Dimensioni (LLM). Questi sistemi di IA sono come dei super-lettori capaci di ricordare fatti dai loro dati di addestramento, ma quando incontrano qualcosa di nuovo o sconosciuto, spesso "allucinano": inventano dettagli dall'aspetto plausibile invece di ammettere di non sapere.
Per capire come risolvere questo problema, gli scienziati guardano a un concetto della linguistica chiamato "Principio di Cooperazione", proposto dal filosofo Paul Grice. L'idea è semplice: in una buona conversazione, le persone cercano di essere utili (fornendo informazioni sufficienti) ma anche oneste (dicendo solo ciò che sanno). Se non conosci i dettagli specifici, un interlocutore cooperativo "si ritira" verso una risposta più sicura e generale. Per esempio, invece di indovinare una città specifica, potrebbe semplicemente dire "una città in Australia". Questo articolo pone una domanda affascinante: i modelli di IA possiedono i "freni" interni per fare questo? Sanno quando stanno tirando a indovinare e possono scegliere di essere vaghi invece di inventare qualcosa?
I ricercatori Dananjay Srinivas, Saksham Khatwani e Maria Pacheco dell'Università del Colorado, Boulder, hanno deciso di investigare la questione sbirciando dentro il "cervello" di questi modelli di IA. Hanno costruito un test speciale utilizzando un dataset di fatti riguardanti persone, aziende, prodotti e competenze. Per simulare il fatto che l'IA non sappia qualcosa, hanno creato nomi finti per persone e aziende che l'IA non aveva mai visto prima. Hanno poi chiesto all'IA di completare frasi come "Allan Peiper è nato a [spazio]".
Ecco cosa hanno scoperto, ed è un quadro piuttosto contrastante. In primo luogo, hanno scoperto che l'IA sa effettivamente quando si trova di fronte a qualcosa che non ha mai visto prima. Se osservi i segnali elettrici (attivazioni) all'interno del cervello del modello, c'è un modello chiaro che dice: "Ehi, questo nome è nuovo per me!". Il modello ha anche un secondo segnale che prevede se sta per dare una risposta specifica (come "Victoria") o una generale (come "una città"). Quindi, gli ingredienti per essere onesti sono sicuramente presenti; il modello ha la conoscenza e la capacità di scegliere.
Tuttavia, la brutta notizia è che il modello non usa effettivamente questa informazione per essere onesto. Anche quando l'IA sa di trovarsi davanti a un nome falso che non ha mai visto, sceglie schiacciantemente di dare una risposta specifica e inventata piuttosto che una risposta sicura e generale. È come avere un'auto con un GPS perfetto che sa che sei perso, ma il conducente (la politica di generazione dell'IA) ignora il GPS e continua a guidare dritto contro un muro perché vuole davvero raggiungere una destinazione specifica. I ricercatori hanno scoperto che questo accade anche quando all'IA viene data l'opzione di essere vaga e anche quando la risposta specifica è garantita essere errata.
In breve, l'articolo mostra che, sebbene i modelli di IA abbiano i "sensori" interni per capire quando sono fuori dalla loro competenza, mancano della "politica" o della volontà di fermarsi e ritirarsi verso una risposta più sicura. Sono programmati per essere specifici, anche quando dovrebbero essere umili. Gli autori suggeriscono che, invece di cercare di correggere questi errori dopo che l'IA ha già parlato, dobbiamo addestrare i modelli a ascoltare i propri sensori interni e scegliere di essere vaghi quando non sono sicuri. Questo sarebbe un passo verso il rendere l'IA più cooperativa e affidabile, insegnando loro che a volte, dire "Non conosco la città esatta, ma è in Australia" è una risposta molto migliore che inventare il nome di una via.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.