Effects of Theory of Mind and Prosocial Beliefs on Steering Human-Aligned Behaviors of LLMs in Ultimatum Games

L'interazione umana spesso si basa su una capacità silenziosa e invisibile: l'abilità di indovinare cosa un'altra persona stia pensando, provando o pianificando prima ancora che pronunci una parola. Gli psicologi chiamano questo la "teoria della mente". È il meccanismo mentale che ci permette di capire che qualcun altro potrebbe avere una convinzione diversa dalla nostra, o che le sue azioni siano guidate da un desiderio che noi non possiamo vedere. Per decenni, questa capacità è stata considerata un tratto unicamente umano, essenziale per navigare in mondi sociali complessi. Ora, mentre i sistemi di intelligenza artificiale diventano sempre più sofisticati, i ricercatori si pongono una domanda fondamentale: le macchine possono imparare a usare questa stessa intuizione sociale? Se a un programma per computer viene chiesto di negoziare con un essere umano, o con un altro computer, può esso comprendere davvero la prospettiva dell'altra parte, o sta semplicemente imitando le parole di accordo senza coglierne l'intento sottostante?

Per scoprirlo, un team di ricercatori della Singapore Management University e della Australian National University si è rivolto a un classico test di negoziazione umana noto come il "gioco dell'ultimatum". In questo scenario, due persone devono dividere una somma di denaro. Una persona, il proponente, suggerisce come dividere il denaro. L'altra persona, il rispondente, deve decidere se accettare l'offerta o rifiutarla. Se il rispondente accetta, il denaro viene diviso come proposto. Se rifiuta, nessuno dei due riceve nulla. Mentre un computer puramente logico potrebbe suggerire di tenere quasi tutto il denaro e aspettarsi che l'altro accetti qualsiasi cosa piuttosto che nulla, gli esseri umani reali spesso rifiutano offerte ingiuste per un senso di giustizia, anche se ciò costa loro qualcosa. I ricercatori volevano vedere se i grandi modelli linguistici — i potenti sistemi di IA che alimentano molti chatbot moderni — potessero essere programmati per agire come questi veri esseri umani, e se dotarli di un processo di ragionamento specifico basato sulla "teoria della mente" aiutasse loro ad allinearsi al comportamento umano.

Il team ha allestito una massiccia simulazione che prevedeva 2.700 partite giocate tra diversi agenti IA. Non hanno lasciato che i computer giocassero casualmente; hanno assegnato attentamente a ciascun agente una specifica personalità o una "credenza prosociale". Alcuni agenti sono stati programmati per essere avidi, interessandosi solo a massimizzare la propria quota. Altri sono stati impostati per essere equi, puntando a una divisione uguale. Un terzo gruppo è stato programmato per essere altruista, disposto a regalare la maggior parte del denaro all'altro giocatore. I ricercatori hanno poi testato come questi agenti si comportavano utilizzando diversi metodi di pensiero. Alcuni prendevano semplicemente una decisione senza spiegare il proprio processo di pensiero. Altri utilizzavano una tecnica di ragionamento standard passo dopo passo. Il gruppo più interessante, tuttavia, è stato chiesto di utilizzare il ragionamento della teoria della mente. Ciò significava che gli agenti dovevano esplicitamente pensare a ciò che l'altro giocatore credeva, desiderava e intendeva prima di compiere la loro mossa. Hanno testato questo approccio su sei diversi modelli linguistici di grandi dimensioni, spaziando da sistemi commerciali ampiamente noti a modelli open-source, per vedere se la dimensione o il tipo di modello importasse.

I risultati hanno rivelato un modello chiaro: dotare gli agenti IA della capacità di ragionare sulla mente dell'altro giocatore migliorava significativamente il loro allineamento con le norme umane. Quando gli agenti utilizzavano il ragionamento della teoria della mente, le loro decisioni diventavano molto più coerenti con il modo in cui si comportano le persone reali in questi giochi. Ad esempio, gli agenti equi erano più propensi a proporre una divisione uguale, e gli agenti avidi erano più propensi a offrire una quota che un rispondente avido avrebbe effettivamente accettato. Lo studio ha scoperto che il tipo di ragionamento contava molto a seconda del ruolo che l'IA stava ricoprendo. I proponenti, che fanno la prima offerta, ottenevano i risultati migliori quando utilizzavano un tipo specifico di teoria della mente focalizzato sul prevedere lo stato mentale dell'altra persona. I rispondenti, che decidono se accettare o rifiutare, traevano il massimo beneficio da un metodo di ragionamento più complesso che combinava il pensiero sui propri desideri con il pensiero sulle intenzioni del proponente.

Tuttavia, i ricercatori hanno anche scoperto un limite sorprendente. Anche quando l'IA veniva esplicitamente istruita a essere avida o altruista, spesso faticava ad agire in modo che corrispondesse davvero a tali istruzioni. Quando un agente gli veniva ordinato di essere avido, spesso offriva una divisione troppo equa, come se non potesse impegnarsi pienamente nell'essere egoista. Allo stesso modo, gli agenti istruiti per essere altruisti a volte trattenevano parte del denaro che le loro istruzioni richiedevano di donare. Gli autori suggeriscono che ciò accada perché questi modelli di IA sono stati addestrati su enormi quantità di dati umani e perfezionati per essere utili e cooperativi, creando un pregiudizio interno verso la correttezza che sovrasta le specifiche istruzioni date per l'esperimento. Questo "perfezionamento cooperativo" agisce come una forza nascosta, che allontana gli agenti dai comportamenti estremi, sia che si tratti di estrema egoismo che di estrema generosità.

Lo studio ha anche esaminato da vicino se il ragionamento dichiarato dall'IA corrispondesse alle sue azioni effettive. In molti casi, la logica interna degli agenti era coerente con le loro decisioni finali, ma c'erano momenti di disconnessione. Quando esperti umani hanno esaminato le tracce di ragionamento dell'IA, hanno scoperto che i modelli erano generalmente bravi a spiegare le proprie scelte, ma a volte non riuscivano ad articolare correttamente la propria personalità assegnata, specialmente nel reagire a un'offerta. Ad esempio, un rispondente altruista poteva giustificare l'accettazione di un'offerta bassa analizzando la gentilezza del proponente invece di ammettere il proprio desiderio di dare. Ciò suggerisce che, sebbene l'IA possa simulare il comportamento esteriore di un'interazione sociale, la coerenza interna della sua "personalità" può essere fragile.

In definitiva, la ricerca dimostra che equipaggiare gli agenti IA con il ragionamento della teoria della mente è uno strumento potente per farli comportare in modo più simile agli esseri umani nelle situazioni sociali. Aiuta loro a navigare nella tensione tra i propri obiettivi e le aspettative degli altri. Eppure, lo studio evidenzia anche che questi sistemi non sono lavagne vuote; portano con sé profondi pregiudizi verso la cooperazione che possono rendere difficile per loro interpretare autenticamente ruoli che richiedono egoismo o estremo altruismo. Le scoperte suggeriscono che, affinché l'IA possa davvero cooperare con gli esseri umani in decisioni ad alto rischio, non dobbiamo solo insegnare loro come pensare agli altri, ma anche comprendere i vincoli nascosti del loro stesso addestramento che ne modellano l'interpretazione di tali pensieri.