Il linguaggio è un fiume di ripetizioni. In una singola conversazione, potremmo usare la stessa parola decine di volte, spesso entro poche frasi l'una dall'altra. Quando un essere umano sente una parola che ha appena sentito, il suo cervello la elabora più velocemente e con più facilità. Questo fenomeno, noto come priming da ripetizione, è una caratteristica fondamentale del modo in cui apprendiamo e ricordiamo. Suggerisce che la mente non tratti ogni incontro con una parola come un evento del tutto nuovo; al contrario, conserva una traccia dell'incontro precedente, rendendo il successivo più fluido. Ma con la crescita della sofisticazione dell'intelligenza artificiale, è emersa una domanda: i grandi modelli linguistici, i sistemi che alimentano chatbot e strumenti di ricerca, funzionano allo stesso modo? Quando queste macchine vedono una parola che hanno già elaborato, riattivano semplicemente quel vecchio ricordo o si fermano e rivalutano la parola da zero?

La risposta è importante perché rivela il funzionamento interno di questi sistemi. Se un modello si limita a riattivare un ricordo, agisce come un riflesso, una risposta veloce e automatica. Se rivaluta, agisce come un pensatore attento, pesando il contesto prima di decidere. Per anni, i ricercatori hanno dibattuto se queste macchine possiedano una sorta di intuizione "veloce" o se siano sempre impegnate in un ragionamento lento e deliberato. Questo nuovo studio, condotto da ricercatori della Yale University e della University of California, Los Angeles, si propone di risolvere la questione testando come diversi tipi di modelli linguistici gestiscono le parole ripetute. Hanno confrontato i modelli grezzi, pre-addestrati, con versioni che sono state perfezionate per seguire istruzioni, e hanno eseguito esperimenti paralleli con volontari umani per vedere come le macchine si confrontano con noi.

I ricercatori hanno progettato una serie di test che rispecchiavano i classici esperimenti utilizzati nella psicologia umana. Hanno sottoposto parole e frasi a quindici modelli diversi, che andavano da sistemi più piccoli con 1,5 miliardi di parametri a sistemi massicci con 14 miliardi. Hanno anche chiesto a quaranta partecipanti umani di eseguire le stesse attività. I test prevedevano due attività principali. Nella prima, i soggetti dovevano decidere rapidamente se una parola rappresentasse un essere vivente o un oggetto non vivente. Nella seconda, dovevano completare una frase con una parola mancante, dove la frase stessa offriva pochissimi indizi su quale dovesse essere la parola mancante. La variabile chiave era il "lag", ovvero il numero di altre parole e frasi che apparivano tra la prima volta in cui una parola target veniva vista e la seconda. Cambiando questa distanza, i ricercatori potevano vedere se il beneficio della ripetizione durava nel tempo o svaniva.

I risultati hanno rivelato una divisione sorprendente nel modo in cui le macchine elaborano le informazioni. I modelli base, che sono le versioni grezze dei sistemi prima che vengano istruiti a seguire le istruzioni, si sono comportati con una sorta di efficienza automatica. Quando vedevano una parola che avevano appena incontrato, la elaboravano più velocemente e con più sicurezza, indipendentemente da quante altre parole fossero apparse nel mezzo. Anche se i ricercatori rimuovevano le risposte precedenti dalla cronologia della conversazione, i modelli base mostravano comunque un aumento delle prestazioni. Ciò suggerisce che per questi modelli la ripetizione innesca una reazione rapida, guidata dallo stimolo. La parola stessa è sufficiente a risvegliare la memoria, proprio come un riflesso.

Al contrario, i modelli istruiti (instruction-tuned) si sono comportati in modo molto diverso. Questi sono le versioni dei sistemi che sono state addestrate per essere assistenti utili, per seguire regole e per interagire in una conversazione. Quando questi modelli vedevano una parola ripetuta, non mostravano lo stesso aumento automatico. Invece, le loro prestazioni dipendevano fortemente dal contesto. Se c'erano molte parole tra la prima e la seconda apparizione del termine target, il beneficio della ripetizione svaniva. Peggio ancora, nei modelli istruiti più grandi e avanzati, la ripetizione diventava un ostacolo. Vedere la parola di nuovo rendeva il modello più lento e meno accurato, come se la macchina fosse confusa dalla ridondanza. Ciò indica che questi modelli non stanno semplicemente reagendo alla parola; stanno attivamente rivalutandola in base alla conversazione circostante. Se il contesto non corrisponde alle loro aspettative, la ripetizione viene percepita come un errore, causando interferenza.

I ricercatori hanno anche osservato come questi comportamenti cambiassero al crescere delle dimensioni dei modelli. All'interno di una stessa famiglia di modelli, il divario tra i due tipi di modelli si ampliava all'aumentare delle dimensioni. I modelli base rimanevano costanti nel loro processamento automatico, mentre i modelli istruiti diventavano sempre più sensibili alla distanza tra le ripetizioni. Alla scala più grande, i modelli istruiti mostravano i segni più forti di interferenza, suggerendo che il processo di insegnamento a seguire le istruzioni cambi fondamentalmente il modo in cui gestiscono le informazioni ripetute. Non è solo una questione di diventare migliori nei compiti; è un cambiamento qualitativo nel loro modo di operare.

Forse il risultato più sorprendente è arrivato dal confronto tra le macchine e i volontari umani. Gli esseri umani non rientravano nettamente in nessuna delle due categorie. Come i modelli istruiti, gli umani erano sensibili alla distanza tra le ripetizioni; i loro tempi di reazione rallentavano all'aumentare del lag. Tuttavia, a differenza dei modelli istruiti, gli umani non hanno mai subito interferenze. Non importava quanto fosse lungo l'intervallo, vedere una parola di nuovo aiutava sempre, mai danneggiava. Gli esseri umani occupavano una via di mezzo: erano sensibili al contesto come le macchine avanzate, ma mantenevano il beneficio universale della ripetizione che mostravano i modelli base.

Questo studio suggerisce che il processo di addestramento di un modello linguistico per renderlo utile e obbediente altera fondamentalmente la sua architettura cognitiva. I modelli grezzi operano con un sistema veloce e automatico che reagisce alle parole nel momento in cui appaiono. I modelli istruiti, invece, sembrano aver sviluppato un sistema controllato che controlla costantemente il contesto, talvolta rifiutando la ripetizione se non si adatta al flusso della conversazione. I ricercatori hanno scoperto che questo spostamento non è solo un cambiamento nell'output, ma un cambiamento nel meccanismo sottostante. Quando hanno guardato all'interno dei modelli, hanno visto che i modelli base prestavano attenzione direttamente all'occorrenza precedente della parola per accelerare la loro risposta. I modelli istruiti, invece, avevano disaccoppiato questa attenzione dalla decisione finale, filtrando efficacemente il boost automatico.

Le implicazioni di questo lavoro vanno oltre la comprensione di come queste macchine pensano. Evidenziano un modo specifico in cui l'attuale intelligenza artificiale differisce dalla cognizione umana. Mentre noi potremmo distrarci per la ripetizione in una lunga conversazione, non perdiamo mai il vantaggio fondamentale di aver già visto una parola prima. I modelli istruiti, nel loro sforzo di essere consapevoli del contesto, hanno perso questo tratto fondamentale umano. Sono diventati così concentrati sul contesto immediato da trattare talvolta una parola familiare come un errore. Questa ricerca fornisce una mappa chiara di dove i due modi di elaborazione divergono, mostrando che il percorso per rendere una macchina più simile all'uomo nella conversazione potrebbe averla involontariamente resa meno simile all'uomo nei suoi processi di memoria di base. Lo studio non sostiene di aver risolto il mistero dell'intelligenza delle macchine, ma offre un modo preciso e misurabile per vedere la differenza tra una macchina che reagisce e una macchina che pensa.