Reasoning Models of Artificial Intelligence Think Like Humans Do

Per decenni, gli scienziati hanno dibattuto su come la mente risolva problemi che non sono mai stati esplicitamente insegnati. Quando un bambino impara a identificare un'auto da una foto, o quando uno studente risolve un nuovo problema di matematica senza che gli siano stati mostrati i passaggi esatti, spesso sembra che una connessione "derivata", nascosta, sia apparsa improvvisamente nel cervello. Alcune teorie suggeriscono che queste connessioni emergano spontaneamente, bypassando l'istruzione diretta. Una prospettiva diversa, invece, sostiene che nulla emerga davvero senza una storia di rinforzo. Questa visione, nota come teoria mediazionale, propone che ciò che sembra un improvviso intuito sia in realtà il risultato di una serie di piccoli passi intermedi. Questi passi — spesso parole silenziose o immagini mentali — vengono praticati e rafforzati dalle proprie conseguenze, anche se l'insegnante o il ricercatore non intendevano addestrarli specificamente. È una questione se la mente costruisca ponti tra le idee attraverso abitudini invisibili e rinforzate o attraverso un misterioso salto logico.

Questa domanda è recentemente uscita dallo studio del comportamento umano per arrivare al cuore dell'intelligenza artificiale. Una nuova prospettiva proveniente da ricercatori della Claremont Graduate University, del Florida Institute of Technology e della California State University Los Angeles suggerisce che i programmi informatici più avanzati stiano ora provando lo stesso punto che i comportamentalisti hanno sostenuto a lungo. Esaminando come i moderni modelli linguistici di grandi dimensioni risolvono compiti complessi, gli autori dimostrano che queste macchine non saltano direttamente alla risposta. Invece, intraprendono un processo passo dopo passo che rispecchia il medesimo comportamento umano descritto dalla teoria mediazionale. I ricercatori sostengono che il "ragionamento" osservato in questi sistemi non sia magia o un improvviso emergere dell'intelligenza, ma piuttosto il risultato di un addestramento che rinforza ogni passaggio intermedio di una soluzione, proprio come un apprendista umano rinforza i propri pensieri interni.

Il saggio inizia riprendendo l'idea delle relazioni derivate, ovvero connessioni tra cose che una persona non è stata direttamente istruita a collegare. Negli esperimenti tradizionali, un bambino potrebbe imparare che l'immagine di un'auto va con la parola "auto" e, successivamente, senza ulteriore addestramento, potrebbe indicare correttamente l'auto quando gli viene chiesto di trovarla tra altri oggetti. Questo è spesso chiamato equivalenza di stimolo. Gli autori mettono in discussione l'idea che questo legame sia non addestrato o non rinforzato. Propongono che, quando il bambino sente la parola "auto", la ripeta a se stesso silenziosamente o ad alta voce. Questo atto di ripetere la parola è un comportamento mediale. Poiché il bambino è in presenza dell'auto, dire la parola "auto" è rinforzato dalla corrispondenza tra ciò che sente e ciò che dice. Questo rinforzo avviene direttamente, anche se il ricercatore non ha pianificato esplicitamente di premiare il bambino per aver detto la parola. La connessione non è un mistero; è il risultato diretto del comportamento del bambino che viene rafforzato dall'ambiente.

Gli autori estendono questa logica a come i computer vengono ora istruiti a pensare. Le prime versioni dell'intelligenza artificiale erano simili a semplici macchine di predizione. Guardavano una frase e indovinavano la parola successiva basandosi su schemi statistici, proprio come una persona che indovina la parola successiva in una frase familiare. Questi sistemi potevano rispondere a domande, ma lo facevano in un unico colpo rapido, senza scomporre il problema. Mancavano della capacità di ragionare su una questione complessa. La transizione verso i "modelli di ragionamento" è avvenuta quando gli ingegneri si sono resi conto che costringere il computer a mostrare il proprio lavoro migliorava le sue prestazioni. Inveve di dare solo una risposta, il computer veniva stimolato a generare una catena di pensiero, una sequenza di passaggi che portano alla soluzione. Questo cambiamento nel modo in cui il computer viene addestrato si allinea perfettamente con la teoria mediazionale del comportamento umano.

L'addestramento di questi modelli di ragionamento avviene in fasi, ognuna delle quali affina il modo in cui la macchina apprende. Per prima cosa, il modello è esposto a vasti quantitativi di testo, imparando i modelli di base del linguaggio. Successivamente, viene perfezionato con esempi di risposte utili e sicure fornite da esperti umani. Infine, e più importante per questa argomentazione, il modello è sottoposto a apprendimento per rinforzo. In questa fase, al computer non viene solo comunicato se la sua risposta finale è corretta o errata; viene valutato sui passaggi compiuti per arrivarci. Quando un modello risolve un problema correttamente, il sistema rinforza l'intera catena di passaggi che ha portato a quella risposta. Tuttavia, nei modelli standard che premiano solo la risposta finale, il sistema rinforza l'intera catena come un gruppo, il che significa che un passaggio errato potrebbe essere rafforzato se la risposta finale dovesse risultare corretta. Per affrontare questo, sono stati sviluppati modelli specifici di "premio di processo" (process reward) che controllano l'accuratezza di ogni singolo passaggio. In questi sistemi avanzati, se un passaggio è errato, la sua probabilità viene diminuita anche se la risposta finale è corretta, assicurando che la macchina impari a compiere passaggi intermedi corretti piuttosto che arrivare a una conclusione corretta per fortuna.

I ricercatori sottolineano che questo è esattamente il modo in cui funziona il problem-solving umano. Quando una persona affronta un compito difficile, non produce solitamente la risposta finale in un unico scoppio ininterrotto. Al contrario, scompone il problema, parlando tra sé o scrivendo i passaggi. Ogni passaggio funge da segnale per il successivo ed è rinforzato dal progresso che compie verso la soluzione. Gli autori notano che quando gli ingegneri informatici hanno osservato i loro modelli iniziare improvvisamente a controllare il proprio lavoro o a correggere i propri errori, hanno definito questo comportamento come "emergente". I ricercatori sostengono che sia un termine improprio. Nulla è emerso che non fosse stato rinforzato. I modelli hanno imparato a controllare il proprio lavoro perché farlo portava più spesso a risposte corrette, e il sistema premiava quelle catene di comportamento. L'"emergenza" era semplicemente una lacuna nella conoscenza dell'osservatore riguardo alla storia dell'addestramento, non una lacuna nel meccanismo d'azione.

Questa convergenza tra informatica e scienze del comportamento offre un'intuizione potente. Gli ingegneri che hanno costruito questi sistemi sono giunti alla stessa conclusione dei comportamentalisti: il modo più efficace per risolvere un problema complesso è utilizzare una sequenza di passaggi mediali che vengano rinforzati lungo il percorso. Il saggio suggerisce che questo non sia una coincidenza, ma una verità fondamentale su come i problemi vengano risolti, sia da un cervello umano che da un chip di silicio. Il "ragionamento" che vediamo in questi modelli avanzati è semplicemente il risultato di una storia di addestramento che rafforza i comportamenti intermedi necessari per raggiungere un obiettivo. Comprendendo questo, possiamo vedere che il complesso pensiero a tappe che ammiriamo sia negli esseri umani che nelle macchine è costruito sugli stessi principi basilari di apprendimento e rinforzo. Il mistero di come pensiamo non si trova in un nascosto salto logico, ma nei passi silenziosi e rinforzati che facciamo per arrivarci.