La vita segreta della ripetizione nei cervelli dell'IA

Immaginate di cercare di insegnare a un robot come raccontare una storia. Gli date un suggerimento, come l'inizio di una frase, e gli chiedete di indovinare la parola successiva. È così che funzionano molti sistemi di Intelligenza Artificiale (IA) moderni, noti come Grandi Modelli Linguistici (Large Language Models). Sono come motori di completamento automatico superpotenziati che hanno letto quasi tutto su Internet. Per capire se "sanno" davvero qualcosa, gli scienziati spesso usano un trucco chiamato "cloze test". È come un puzzle con le parole mancanti: mostrate all'IA una frase con una parola mancante e vedete se riesce a indovinare quella corretta.

Per anni, i ricercatori hanno creduto a una regola semplice su come questi cervelli artificiali gestiscono la ripetizione. Pensavano che se si ripeteva una parola ancora e ancora nel prompt, l'IA sarebbe diventata più sicura di quella parola, proprio come un essere umano potrebbe sentirsi più a proprio agio con un concetto man mano che lo sente più spesso. Questo è chiamato "priming". Se dite "mela, mela, mela", l'IA dovrebbe pensare: "Ok, questo riguarda sicuramente le mele!" e prevedere "mela" con alta fiducia. Gli scienziati assumevano che questa fiducia continuasse a salire man mano che si aggiungevano copie della parola, indipendentemente da dove nella frase si chiedesse all'IA di fare la sua ipotesi. Ma cosa succederebbe se questa supposizione fosse errata? E se il cervello dell'IA funzionasse diversamente a seconda di dove le si chiede di guardare? Questa è la domanda che affronta il saggio di Han-yu Wang, esplorando un'insolita particolarità per cui "più" ripetizione porta a "meno" fiducia, ma solo in condizioni specifiche.

Quando il più diventa meno: Il punto di dimenticanza dell'IA

In questo studio, il ricercatore ha allestito un piccolo esperimento ingegnoso per testare come i modelli di IA reagiscono alla ripetizione. Immaginate di avere una parola magica, diciamo "gatto". Potete mostrare questa parola all'IA in due modi diversi, ma mantenete l'inizio della storia esattamente lo stesso.

Il test "Proprio accanto" (Sonda Adiacente):
Per prima cosa, scrivete una lunga lista di parole "gatto" proprio fino alla fine della frase: "gatto, gatto, gatto, gatto... [indovina qui]". Chiedete all'IA di indovinare la parola successiva.

• Cosa è successo: Proprio come prevedeva la vecchia regola, l'IA è diventata sempre più sicura. Più parole "gatto" aggiungevate, più diventava certa che la parola successiva sarebbe stata "gatto". Era come un battito ritmico che diventava sempre più forte.

Il test "Nuovo inizio" (Sonda Spostata):
Poi, il ricercatore ha fatto una cosa subdola. Ha scritto la stessa identica lunga lista di parole "gatto" all'inizio, ma poi ha aggiunto un punto fermo e una nuova struttura di frase prima di chiedere l'ipotesi. Era simile a questo: "gatto, gatto, gatto, gatto... . Il cielo è blu. [indovina qui]".

• Cosa è successo: È qui che il trucco magico è fallito. Inveve di diventare più sicura, la fiducia dell'IA ha fatto un salto mortale all'indietro. All'inizio, aggiungere alcune parole "gatto" aiutava. Ma non appena la lista diventava troppo lunga (intorno a 5 o 10 copie), l'IA iniziava a perdere la sua fiducia. Al momento in cui avevate 30 parole "gatto", l'IA era in realtà meno propensa a indovinare "gatto" rispetto a quando ne aveva solo poche.

Il ricercatore chiama questa forma una "U invertita". È come se l'IA si eccitasse un po' all'inizio, ma poi venisse sopraffatta o confusa dall'enorme quantità di ripetizione quando deve saltare a una nuova frase per trovare la risposta.

La grande scoperta: Tutto dipende da dove guardi

La scoperta più importante di questo saggio è che la posizione della domanda conta immensamente. La stessa lista di parole ripetute può rendere l'IA più intelligente se le si chiede immediatamente dopo la lista, ma può renderla più stupida se si chiede una frase dopo.

Lo studio ha testato questo su 13 diversi modelli di IA, dai più piccoli ai più grandi. Hanno scoperto che questo schema a "U invertita" accadeva in ciascuno di essi. Non era solo una coincidenza con un particolare cervello informatico. Lo hanno provato anche in altre quattro lingue — spagnolo, cinese, tedesco e francese — e lo stesso strano schema è apparito. Ciò suggerisce che non si tratti di un errore nel modo in cui l'IA parla inglese, ma di una particolarità fondamentale nel modo in cui questi modelli elaborano le informazioni ripetute.

Cosa NON è (e cosa È)

Il ricercatore non si è limitato a trovare il modello; ha giocato a fare il detective per capire perché stava accadendo. Voleva assicurarsi che non fosse solo perché la frase diventava troppo lunga, o perché l'IA era stanca, o perché stava pensando a parole correlate a "gatto" (come "gattino" o "fusa").

• Non riguarda la lunghezza: Hanno testato frasi con lo stesso numero di parole usando parole di riempimento casuali e noiose invece di ripetere "gatto". Il strana caduta di fiducia non è avvenuta.
• Non riguarda le parole correlate: Hanno provato a sostituire la parola ripetuta "gatto" con parole che significano la stessa cosa o che sono correlate. Anche in questo caso, nessuna caduta di fiducia.
• Riguarda la ripetizione ESATTA: Il calo è avvenuto solo quando la stessa identica parola veniva ripetuta continuamente.

Questo significa che l'IA non si sta solo "annoiando" o "confondendo" con un testo lungo. Qualcosa di specifico accade quando lo stesso token (l'unità digitale che compone una parola) viene ripetuto troppe volte prima dell'inizio di una nuova frase.

Dentro il cervello dell'IA

Per capire cosa stesse succedendo, il ricercatore ha sbirciato dentro i meccanismi di "attenzione" dei modelli. Potete pensare all'attenzione come a un riflettore che l'IA punta su diverse parti della frase.

• Il riflettore si restringe: Man mano che la lista di parole "gatto" cresceva, la quantità di attenzione che l'IA dedicava a ciascuna singola parola "gatto" diminuiva. Questo ha senso; se hai una quantità fissa di luce e devi illuminare 30 cose, ogni cosa riceverà meno luce.
• Il budget totale cresce (in alcuni modelli): Sorprendentemente, nei modelli che mostravano il calo di fiducia più grande, la quantità totale di attenzione che l'IA dava all'intero blocco di parole "gatto" in realtà aumentava man mano che la lista si allungava. Era come se l'IA stesse gridando "Guarda tutti questi gatti!" sempre più forte e forte, ma in qualche modo, quando doveva saltare alla nuova frase, quel grido rendeva più difficile ricordare la parola specifica "gatto".

Perché dovrebbe interessarvi?

Questo saggio è un'etichetta di avvertenza per chiunque cerchi di testare quanto siano intelligenti questi modelli di IA. Se siete uno scienziato che cerca di vedere se un'IA conosce un fatto, e usate un metodo che ripete una parola molte volte per "preparare" (priming) l'IA, potreste ottenere l'esatto opposto di ciò che vi aspettate. Se fate la domanda una frase dopo, potreste accidentalmente rendere l'IA meno propensa a darvi la risposta corretta.

Lo studio dimostra che non possiamo trattare la posizione di una domanda come un dettaglio neutro. Dove ponete la domanda cambia la risposta. È un promemoria del fatto che questi cervelli artificiali sono complessi e talvolta controintuitivi: a volte, sentire una parola troppe volte non aiuta a ricordarla; potrebbe semplicemente farvela dimenticare, specialmente se dovete attendere un momento prima di rispondere.

Il ricercatore ha testato questo su 13 modelli e ha trovato l'effetto in tutti loro. Ha controllato in 42 diverse combinazioni di modelli e lingue, e il modello ha tenuto ogni volta. Sebbene non possano dire esattamente perché il cervello dell'IA funzioni in questo modo (è una correlazione, non una spiegazione completa del meccanismo), hanno dimostrato che questo effetto "il più diventa meno" è reale, costante e avviene in modo generalizzato. È un piccolo ma cruciale tassello del puzzle per comprendere come questi cervelli digitali pensano realmente.