Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

Immaginate un mondo in cui i computer non si limitano a giocare ai videogiochi, ma imparano a essere dei buoni compagni di squadra. Questo è il regno dell'Apprendimento per Rinforzo Multi-Agente (Multi-Agent Reinforcement Learning), un ramo dell'intelligenza artificiale in cui programmi informatici (agenti) scoprono come cooperare provando diverse azioni e ottenendo punti per le mosse corrette. Di solito, questi agenti sono egoisti; si preoccupano solo del proprio punteggio. Se possono ingannare un partner per ottenere una ricompensa maggiore, spesso lo faranno. Per impedirlo, gli scienziati cercano di insegnare loro a prendersi cura degli altri aggiungendo un "bonus sociale" al loro punteggio. Ma ecco la parte complicata: quanto dovrebbe valere questo bonus? Dovrebbe essere un debole sussurro o un grido fragoroso? Finora, gli scienziati hanno principalmente tirato a indovinare o hanno regolato questi numeri manualmente, sperando di imboccare la strada giusta per caso.

La grande domanda che questo articolo affronta è: possiamo smettere di tirare a indovinare e invece misurare esattamente quanto sentono il peso del senso di colpa gli esseri umani quando deludono un amico? Gli autori esaminano un sentimento chiamato senso di colpa — quella sensazione di pesantezza allo stomaco che si prova quando la propria scelta danneggia qualcun altro. Si chiedono se sia possibile prendere il "peso" del senso di colpa umano, misurarlo in un laboratorio e poi consegnare esattamente quel numero a un computer affinché impari a prendersi cura del proprio partner proprio come farebbe una persona. Se ci riuscissero, potremmo costruire un'IA che non si limita a seguire regole rigide, ma che comprende realmente il costo emotivo delle proprie azioni.

---

L'Esperimento: Insegnare ai Robot a Provare Senso di Colpa

In questo studio, due ricercatori, Aaditya Mehta e Arya Shah, hanno deciso di smettere di tirare a indovinare e iniziare a misurare. Volevano vedere se potevano "calibrare" il senso di colpa artificiale utilizzando dati umani reali. Pensatelo come alla sintonizzazione di una radio: invece di girare la manopola finché la musica non suona accettabile, hanno trovato l'esatta frequenza in cui il cervello umano canta la canzone del senso di colpa, e poi hanno sintonizzato il robot sulla stessa stazione.

Dove hanno ottenuto i dati?
Hanno utilizzato un dataset pubblico chiamato SoDec, che contiene scansioni cerebrali e record comportamentali di 40 persone reali. Nell'esperimento originale, queste persone giocavano a un gioco in cui dovevano scegliere tra un'opzione Sicura (una piccola ricompensa garantita) e un'opzione Rischiosa (un lancio di moneta che poteva dare un grande premio o nulla). A volte giocavano per se stessi, e altre volte giocavano per se stessi e un partner.

I ricercatori hanno analizzato un momento specifico: quando una persona sceglieva l'opzione Rischiosa e il partner subiva un esito negativo. I ricercatori si sono chiesti: di quanto diminuisce la felicità della persona perché si sente responsabile della sfortuna del proprio partner? Analizzando i dati, hanno calcolato un numero specifico che rappresenta questo "peso del senso di colpa". Hanno scoperto che per ogni unità di sfortuna subita dal partner, la felicità della persona diminuiva di un fattore di 1,118.

Il Gioco del Robot
Successivamente, hanno costruito un parco giochi digitale chiamato ambiente Social Lottery. Hanno inserito due agenti IA (utilizzando un metodo di apprendimento intelligente chiamato PPO) in questo gioco. Gli agenti dovevano compiere le stesse scelte tra Sicuro e Rischioso. I ricercatori hanno testato quattro modi diversi per insegnare agli agenti:

1. Il Robot Egoista: Nessun senso di colpa. Si preoccupava solo dei propri punti.
2. Il Robot che Tira a Indovinare: Aveva una penalità per il senso di colpa, ma il numero era solo una supposizione casuale (0,5).
3. Il Robot "Perfetto": Aveva una penalità di senso di colpa di esattamente 1,0, un numero pulito e standard che gli scienziati usano spesso.
4. Il Robot Misurato dall'Umano (NeuroGuilt): Questo utilizzava l'esatto numero derivato dai dati del cervello umano: 1,118.

Cosa è Successo?
Dopo aver lasciato i robot giocare per 20.000 round del gioco, i risultati sono stati affascinanti.

• Il Robot Egoista è stato un disastro per il lavoro di squadra. Sceglieva l'opzione Rischiosa quasi sempre (solo il 10% di scelte sicure), ignorando completamente la sicurezza del suo partner.
• Il Robot che Tira a Indovinare è stato leggermente migliore, ma non era comunque molto premuroso.
• Il Robot "Perfetto" (con il numero pulito 1,0) è andato bene, ma non riusciva ancora a eguagliare il comportamento umano.
• Il Robot Misurato dall'Umano è stato la vera stella dello spettacolo. Ha scelto l'opzione Sicura il 45,9% delle volte.

Perché è una cosa importante?
I ricercatori hanno confrontato le scelte dei robot con le scelte effettuate dai 40 esseri umani nello studio originale. Gli umani hanno scelto l'opzione Sicura il 48,4% delle volte.

Il Robot Misurato dall'Umano era incredibilmente vicino al comportamento umano. La differenza tra le scelte del robot e quelle umane era minuscola (una distanza matematica chiamata divergenza KL di 0,0012). In confronto, gli altri robot erano molto lontani, con differenze centinaia di volte superiori.

Ancora più interessante, il "Robot Perfetto" utilizzava un numero di senso di colpa di 1,0, mentre il "Robot Misurato dall'Umano" utilizzava 1,118. Si potrebbe pensare che un numero più grande significhi una penalità più forte e un comportamento migliore, ma non è stato così. Il robot con il numero leggermente maggiore (1,118) ha commesso meno errori e ha percepito meno "massa di penalità del senso di colpa" complessiva perché sceglieva più spesso la via sicura. Questo dimostra che non si tratta solo di avere una penalità; si tratta di avere la quantità giusta di penalità, esattamente calibrata su come si sentono realmente gli esseri umani.

Conclusione

Questo articolo suggerisce che non abbiamo bisogno di inventare nuove regole affinché l'IA sia morale. Al contrario, possiamo osservare come gli esseri umani si sentono realmente quando deludono qualcuno, misurare quel sentimento e copiarlo direttamente nella macchina. Utilizzando un numero derivato dal cervello umano (1,118), l'IA ha imparato a prendersi cura del proprio partner quasi esattamente come farebbe un essere umano.

I ricercatori avvertono che questa è una simulazione e che i dati umani mostravano un effetto "da piccolo a moderato" che non era statisticamente perfetto di per sé. Tuttavia, il risultato è un forte indizio: se vogliamo che l'IA sia allineata con i valori umani, dovremmo smettere di tirare a indovinare i numeri e iniziare a misurare l'esperienza umana che sta dietro di essi. È un passo verso la costruzione di un'IA che non si limita a calcolare la mossa migliore, ma comprende il peso delle proprie scelte.