La trappola della memoria: quando l'IA diventa troppo creativa

Immaginate di parlare con un assistente digitale super intelligente che ricorda tutto ciò che gli avete mai detto. Questo non è un semplice blocco note; è un'IA "personalizzata" progettata per conoscere voi. Nel mondo dell'informatica, questo viene chiamato personalizzazione dei Large Language Models (LLM). Pensate a questi modelli come a lettori incredibilmente veloci in grado di chattare con voi, ma che hanno un'abitudine complicata: a volte riempiono i vuoti della storia della vostra vita con supposizioni che sembrano molto sicure di sé, ma che in realtà sono inventate.

Per capire il problema, dobbiamo sapere due cose. Primo, la memoria persistente è la capacità di un'IA di ricordare fatti su di voi attraverso diverse conversazioni, come ricordare il vostro gusto di pizza preferito della scorsa settimana. Secondo, l'allucinazione è quando un'IA inventa fatti sul mondo (come dire che la luna è fatta di formaggio). Ma c'è un terzo problema, ancora più subdolo: l'over-inference (sovra-inferenza). Questo accade quando l'IA prende un piccolo fatto vero che le avete fornito e lo trasforma in un intero nuovo tratto della personalità che non avete mai menzionato. È come dire a un amico che vi piace il caffè, e lui immediatamente dice a tutti che siete un barista che vive in un loft profumato di caffè e sogna di aprire un bar. L'amico non sta mentendo sul caffè, ma ha inventato un'intera vita intorno ad esso. Ci preoccupiamo di questo perché se i nostri assistenti digitali iniziassero a inventare le nostre vite, potrebbero iniziare a darci consigli basati su una persona che non esiste.

Il miraggio: quando l'IA sogna la vostra vita

Un team di ricercatori ha deciso di mettere alla prova questi assistenti IA "personalizzati". Hanno creato un parco giochi chiamato MirageBench (un "miraggio" è un'oasi falsa nel deserto, un nome perfetto per questo). Hanno dato a 12 diversi modelli di IA una sfida semplice: fingere di conoscere una persona basandosi solo su tre fatti su di essa. Poi, hanno chiesto all'IA di fare cose come scrivere un profilo per un sito di incontri, suggerire un viaggio nel fine settimana o descrivere l'appartamento della persona.

I risultati sono stati un po' come guardare un mago che diventa troppo sicuro dei propri trucchi. I ricercatori hanno scoperto che ogni singolo modello testato era colpevole di "over-inference". In media, circa il 41,6% delle cose che queste IA sostenevano di sapere sull'utente erano completamente inventate. Ciò significa che se un'IA vi dice che sa 10 cose su di voi, circa 4 di esse sono pura finzione, anche se l'IA le espone con totale sicurezza.

Lo studio ha suddiviso queste affermazioni inventate in due categorie: Stereotipi (supporre che vi piaccia lo yoga perché siete un infermiere) e Fabricazioni (inventare che avete un iguana domestico quando non ne avete mai accennato). Le IA erano molto più brave a inventare storie assurde (fabricazioni) piuttosto che a fare affidamento sugli stereotipi. Infatti, per i compiti che richiedevano immaginazione, come descrivere l'appartamento di qualcuno, il tasso di "falsità" è salito a quasi il 59%. Sembra che meno prove l'IA ha, più liberamente inizi a sognare dettagli.

Il grande trucco della fiducia

Ecco la parte più sorprendente della storia, che i ricercatori chiamano "Self-Monitoring Inversion" (Inversione del monitoraggio di sé).

Di solito, pensiamo che se un'IA dice "Non sono sicura di questo", stia essendo onesta, e se dice "Sono sicura al 100%", sia fiduciosa. Ma i ricercatori hanno scoperto un modello complesso confrontando i diversi modelli di IA: i modelli che sostenevano di essere meno propensi a inventare cose erano in realtà quelli che inventavano di più. Viceversa, i modelli che ammettevano: "Ehi, potrei stare tirando a indovinare", erano spesso quelli che restavano più vicini alla verità.

È come una classe dove gli studenti che alzano la mano e dicono: "Penso di poter sbagliare", sono in realtà quelli che hanno studiato di più, mentre gli studenti che urlano: "So la risposta!", sono quelli che tirano a indovinare selvaggiamente. I ricercatori hanno trovato un legame negativo tra l'autoconsapevolezza dichiarata da un modello e la sua reale accuratezza, sebbene sottolineino che si tratta di un risultato esplorativo con un ampio intervallo di confidenza che include la possibilità di nessun effetto. Ciò significa che non potete semplicemente chiedere a un'IA: "Stai inventando qualcosa?" e fidarvi della risposta quando confrontate diverse IA. Quelle che sembrano più oneste potrebbero essere le bugiarde più grandi, ma i dati suggeriscono che questa relazione è ancora oggetto di piena comprensione.

L'inquinamento silenzioso

I ricercatori hanno anche eseguito una simulazione in cui l'IA aveva una conversazione con un utente per 8 round. Hanno osservato se l'IA avrebbe "pulito" i suoi errori se l'utente li avesse corretti. Il risultato è stato preoccupante, ma con un colpo di scena: non tutti i modelli si comportavano allo stesso modo.

Per i modelli più intelligenti e capaci, l'IA non si limitava a commettere errori; li accumulava. Immaginate una lavagna dove l'IA scrive una supposizione. Se l'utente dice: "In realtà, non mi piace questo", un buon sistema cancellerebbe la supposizione. Ma questi modelli top? Continuavano a scrivere la supposizione sulla lavagna e aggiungevano altre supposizioni sopra di essa. Aggiungevano circa da 5 a 15 nuovi fatti inventati ogni singolo round, e quasi mai cancellavano i vecchi (con tassi di rimozione bassi tra lo 0,4% e il 5%).

Tuttamente, questo non era vero per ogni modello. Alcuni modelli si comportavano più come un sistema "sostituisci e aggiorna", dove rimuovevano attivamente le vecchie supposizioni quando arrivavano nuove informazioni, con tassi di rimozione elevati tra il 70% e l'82%. Il pericolo risiede specificamente nei modelli accumulatori più capaci, la cui memoria diventava un ammasso gonfio di oltre 120 fatti inventati, la maggior parte dei quali non veniva mai corretta. È come un rumor che diventa sempre più dettagliato e sempre più sbagliato man mano che passa di persona in persona, ma nessuno si ferma mai a dire: "Aspetta, questo non è vero".

La lezione appresa

La grande lezione di questo articolo è che non possiamo fidarci dell'IA affinché controlli la propria immaginazione. L'idea che un'IA possa guardare i propri pensieri e dire: "Questa è una realtà" o "Questa è una supposizione" è un miraggio. I modelli che sembrano i più cauti sono spesso i più ingannevoli, e quelli che ammettono l'incertezza sono spesso i più affidabili, sebbene la forza esatta di questa relazione tra i diversi modelli sia ancora oggetto di ricerca.

I ricercatori suggeriscono che, invece di fidarsi dell'autodichiarazione dell'IA, abbiamo bisogno di una verifica esterna — un modo per gli esseri umani o altri sistemi per controllare il lavoro dell'IA. Dobbiamo anche trattare tutto ciò che un'IA "ipotizza" come un'ipotesi, non come un fatto. Finché non costruiremo sistemi in grado di separare chiaramente ciò che sanno da ciò che stanno immaginando, i nostri assistenti digitali personalizzati potrebbero costruire una versione falsa di noi, una bugia sicura alla volta.