Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

Nello studio di come le persone imparano a prendere decisioni, gli scienziati osservano spesso giochi in cui due giocatori competono, cercando di superarsi a vicenda. Un esempio classico è un semplice gioco di "matching pennies" (monete corrispondenti), dove un giocatore vince se le monete corrispondono e l'altro vince se non lo sono. Per avere successo, un giocatore deve essere imprevedibile; se cade in uno schema, l'avversario lo noterà e lo sfrutterà. Allo stesso tempo, un giocatore deve prestare attenzione a ciò che sta facendo il suo avversario per regolare la propria strategia. Questo crea un equilibrio delicato: un giocatore deve essere abbastanza casuale da evitare di essere prevedibile, ma abbastanza intelligente da reagire all'altra persona. Per decenni, i modelli informatici standard utilizzati per simulare l'apprendimento umano hanno faticato con questo equilibrio. Questi modelli tipicamente iniziano con molte congetture casuali ma diventano gradualmente più sicuri e deterministici man mano che imparano, stabilizzandosi infine in una routine rigida e prevedibile. Questo comportamento, tuttavia, non corrisponde a ciò che le persone reali fanno realmente in laboratorio.

Un nuovo studio di Pratyush Mahadevaideiah indaga questa discrepanza analizzando i dati di centinaia di persone che giocano a questi giochi durante lunghe sessioni. Invece di cercare di adattare una complessa formula matematica ai risultati, il ricercatore ha utilizzato un metodo derivato dalla teoria dell'informazione per misurare due qualità specifiche del comportamento dei giocatori nel tempo. La prima qualità è la quantità di casualità, o "rumore", nelle scelte di un giocatore. La seconda è una misura di quanto la mossa successiva di un giocatore sia influenzata dalla mossa precedente del suo avversario. Tracciando questi due fattori attraverso 108 diversi gruppi di giocatori, lo studio rivela un modello distinto nel comportamento umano che i modelli informatici standard non riescono a replicare. La ricerca mostra che gli esseri umani mantengono un livello costante di imprevedibilità durante l'intero gioco, pur rimanendo altamente reattivi alle azioni del loro avversario. Al contrario, i modelli di apprendimento più comuni usati dagli scienziati diventano troppo prevedibili e smettono di reagire ai loro avversari con il progredire del gioco.

I dati provengono da un grande insieme di esperimenti in cui gruppi di otto persone hanno giocato a una serie di partite di matching pennies per 200 round ciascuna. I ricercatori hanno registrato ogni singola mossa fatta da ogni giocatore, creando una cronologia dettagliata delle decisioni. Hanno poi applicato una misurazione specifica per vedere quanta informazione la mossa attuale di un giocatore conteneva riguardo alla mossa precedente del suo avversario. Questa misurazione, nota come entropia di trasferimento, funge da rilevatore di reattività. Se un giocatore sta davvero prestando attenzione e regolando la propria strategia in base a ciò che l'altro ha appena fatto, questo numero sarà alto. Se il giocatore sta agendo solo sulla base della propria logica interna senza considerare l'avversario, il numero sarà basso. Quando i ricercatori hanno esaminato i dati umani, hanno scoperto che i giocatori mantenevano un alto livello di casualità, con una misura media di imprevedibilità che restava intorno a 0,64 bit durante tutto il gioco. Ancora più importante, hanno mostrato un forte segnale di reattività, con le loro scelte chiaramente influenzate dall'ultima mossa dell'avversario.

Quando la stessa analisi è stata applicata a un modello informatico standard chiamato Q-learning, i risultati sono stati drasticamente diversi. Questo modello, ampiamente utilizzato per simulare come gli agenti imparano dai premi, ha iniziato con una certa casualità ma l'ha persa rapidamente. Entro circa trenta round, il comportamento del modello è diventato quasi interamente prevedibile, portando la sua misura di casualità vicino allo zero. Poiché è diventato così prevedibile, ha anche smesso di reagire al suo avversario; la misura della reattività è scesa quasi a nulla. I ricercatori hanno testato se semplicemente cambiare le impostazioni di questo modello informatico potesse risolvere il problema. Hanno cercato di rendere il modello più casuale regolando le sue impostazioni di "temperatura" interna, ma ciò ha creato solo un compromesso. Quando il modello veniva reso più casuale, diventava meno reattivo all'avversario. Quando veniva reso più reattivo, diventava meno casuale. Nessuna singola impostazione permetteva al modello di essere sia imprevedibile che attento allo stesso tempo, una combinazione che gli esseri umani ottengono naturalmente.

Lo studio ha poi testato altri quattro modelli di apprendimento comuni per vedere se potessero riprodurre il modello umano. La maggior parte di questi modelli è fallita in modi simili: alcuni sono diventati troppo rigidi e prevedibili, mentre altri sono rimasti casuali ma non hanno prestato attenzione all'avversario. Tuttavia, un modello specifico, noto come "self-tuning experience-weighted attraction" (attrazione pesata dall'esperienza con auto-regolazione), ha avuto successo dove gli altri hanno fallito. Questo modello, che aggiorna la propria strategia basandosi sia sui premi passati sia su un meccanismo che rileva i cambiamenti nel gioco, è riuscito a rimanere sia casuale che reattivo. Il suo comportamento corrispondeva strettamente ai dati umani, occupando lo stesso spazio sul grafico in cui si trovavano i giocatori umani. Sebbene questo modello non corrispondesse perfettamente ai numeri umani, era l'unico ad avvicinarsi alla cattura della duplice natura del gioco umano.

I risultati suggeriscono che il modo in cui gli esseri umani apprendono in situazioni competitive è strutturalmente diverso da come operano i modelli standard di apprendimento per rinforzo. Gli esseri umani non diventano semplicemente più sicuri di sé e meno casuali man mano che acquisiscono esperienza; invece, mantengono un livello costante di rumore adattivo che permette loro di rimanere imprevedibili pur monitorando l'avversario. Lo studio non pretende di dimostrare che questo specifico modello informatico sia esattamente il modo in cui funziona il cervello umano, ma identifica una caratteristica cruciale che qualsiasi modello di apprendimento umano di successo deve possedere. Per descrivere accuratamente come le persone giocano a questi giochi, un modello deve essere in grado di essere rumoroso e attento contemporaneamente. Questa intuizione aiuta a restringere la ricerca di migliori teorie sul comportamento umano, andando oltre le semplici previsioni di ciò che le persone faranno dopo, per comprendere le qualità dinamiche di come imparano e si adattano nel tempo.