Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

1. Enunciato del Problema

Il documento affronta una lacuna critica nella comprensione della capacità dei Large Language Models (LLM) di simulare in modo affidabile il processo decisionale umano in ambienti complessi, sequenziali e incerti. Nello specifico, indaga il compromesso Esplorazione-Sfruttamento (E&E), una sfida cognitiva fondamentale in cui gli agenti devono bilanciare lo sfruttamento di opzioni ricompensate note (sfruttamento) con la ricerca di nuove possibilità che potrebbero produrre risultati migliori (esplorazione).

Sebbene gli LLM siano sempre più utilizzati come "gemelli digitali" per simulare il comportamento umano, non è ancora chiaro se essi esibiscano le stesse strategie adattive, finalizzate a un obiettivo e fondate su basi cognitive degli esseri umani, in particolare in ambienti non stazionari. Gli autori si chiedono: Gli LLM possono simulare in modo affidabile il comportamento umano E&E, e in che modo le capacità di "pensiero" (ad es. Chain-of-Thought, tracce di ragionamento interno) influenzano queste strategie?

2. Metodologia

Disegno Sperimentale

Gli autori hanno impiegato due esperimenti canonici a Braccia Multipla (MAB) ampiamente utilizzati nelle scienze cognitive e in psichiatria per garantire la comparabilità con i dati umani:

1. Braccia Multipla Stazionaria a 2 Braccia: Un contesto semplice con 20 prove di 10 round ciascuna. Le ricompense sono stocastiche ma stazionarie (media fissa).
2. Braccia Multipla Non Stazionaria a 4 Braccia: Un contesto complesso con 300 round in cui le medie delle ricompense seguono un cammino casuale gaussiano decrescente (processo di diffusione). Questo testa l'adattabilità a ambienti in cambiamento.

Agenti e Condizioni

Lo studio ha confrontato tre categorie di agenti:

• Partecipanti Umani: Dati da esperimenti di laboratorio controllati (Gershman 2018; Chakroun et al. 2020a) che hanno coinvolto rispettivamente 45 e 31 partecipanti.
• Agenti LLM: Tre famiglie di modelli commerciali (ChatGPT, Gemini, DeepSeek) testati in due configurazioni:
  • Modelli Base: Inferenza standard (ad es. GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
  • Modelli di Pensiero: Modelli con capacità di ragionamento esplicite (ad es. GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
  • Variazioni di Prompting: Per i modelli base, gli autori hanno testato il prompting Chain-of-Thought (CoT) ("pensare ad alta voce") rispetto alla risposta diretta. Per i modelli di pensiero, hanno attivato o disattivato le modalità di pensiero interno o modificato i budget di pensiero.
• Baseline Algoritmiche: Algoritmi MAB standard inclusi Upper Confidence Bound (UCB), Thompson Sampling (TS) e $\epsilon$-greedy.

Modellazione Comportamentale e Stima

Per caratterizzare le strategie decisionali, gli autori hanno utilizzato modelli di scelta interpretabili tratti dalle scienze cognitive:

• Regola di Apprendimento: Un apprendista bayesiano (filtro di Kalman) per stimare le ricompense attese ($Q$) e l'incertezza ($S$) per ogni braccio.
• Regole di Scelta:
  • Modelli basati su Softmax (SM-1, SM-2, SM-3): Che incorporano parametri per l'esplorazione casuale ($\beta$), l'esplorazione diretta/bonus per l'incertezza ($\phi$) e la perseveranza nella scelta ($\rho$).
  • Regressione Probit: Utilizzata per il compito a 2 braccia per modellare le differenze di valore e l'incertezza.
• Stima: È stato utilizzato un approccio bayesiano gerarchico per stimare i parametri a livello di popolazione tenendo conto dell'eterogeneità individuale. La selezione del modello è stata effettuata tramite Validazione Incrociata Leave-One-Out (LOO-CV).

3. Contributi Chiave

1. Confronto Diretto Uomo-LLM in Ambienti Complessi: A differenza di studi precedenti limitati a contesti semplici a 2 braccia o benchmark algoritmici, questo lavoro fornisce il primo confronto diretto tra LLM e esseri umani sia in compiti a braccia multipla stazionari che non stazionari a 4 braccia, utilizzando condizioni sperimentali corrispondenti.
2. Scomposizione delle Capacità di "Pensiero": Lo studio isola sistematicamente l'impatto del ragionamento confrontando i modelli base con prompting CoT e i modelli nativi di "pensiero" con ragionamento interno attivato. Questo va oltre le semplici metriche di prestazione per analizzare il meccanismo del processo decisionale.
3. Parametrizzazione Comportamentale: Invece di misurare semplicemente il rimpianto, gli autori mappano il comportamento degli LLM su parametri cognitivi consolidati ($\beta, \phi, \rho$), permettendo un'analisi sfumata di come gli LLM esplorano (casualmente vs. direzionalmente) piuttosto che solo di quanto bene performano.
4. Analisi della Specificazione del Modello: Gli autori dimostrano che, anche quando applicati ad agenti non umani (algoritmi/LLM), questi modelli cognitivi fungono da valido "framework di proiezione" per estrarre firme comportamentali interpretabili.

4. Risultati Chiave

Strategie di Esplorazione

• LLM Base: Mostrano un'esplorazione casuale significativamente più alta e un'esplorazione diretta più bassa rispetto agli esseri umani. Manca loro la consistente "perseveranza nella scelta" (ripetizione di una scelta) osservata negli umani.
• Impatto del Pensiero: Abilitare il pensiero (tramite CoT o ragionamento interno) sposta il comportamento degli LLM verso pattern simili a quelli umani:
  • Contesto Stazionario: Gli LLM abilitati al pensiero aumentano significativamente l'esplorazione diretta ($\phi$) e riducono l'esplorazione casuale ($\beta$), spesso raggiungendo o superando i livelli umani.
  • Contesto Non Stazionario: Sebbene il pensiero migliori le prestazioni, gli LLM faticano ancora a eguagliare l'adattabilità umana. Non riescono a impegnarsi in un'esplorazione diretta efficace in ambienti complessi e mutevoli, mostrando valori di $\phi$ negativi o prossimi allo zero, mentre gli umani mantengono un'esplorazione diretta positiva.

Metriche di Prestazione (Rimpianto e Sfruttamento)

• Stazionario (2 Braccia): Gli LLM base raggiungono livelli di rimpianto comparabili a quelli umani e algoritmici. I modelli di pensiero performano in modo simile o leggermente migliore.
• Non Stazionario (4 Braccia):
  • Umani: Raggiungono il rimpianto cumulativo più basso, dimostrando una superiore adattabilità alle strutture di ricompensa in cambiamento.
  • LLM Base: Accumulano rimpianto molto più velocemente degli umani, esibendo tassi di sfruttamento volatili (impegnandosi eccessivamente nei bracci iniziali).
  • Modelli di Pensiero: Riducono significativamente il rimpianto rispetto ai modelli base, avvicinando le prestazioni ai livelli umani (ad es. Gemini-2.5-flash e DeepSeek-R1), ma rimangono comunque indietro rispetto all'adattabilità umana negli scenari più complessi.

Dinamiche a Lungo Termine

• In compiti stazionari prolungati (300 round), i modelli di pensiero stabilizzano i loro parametri comportamentali nel tempo, mentre i modelli base mostrano un'alta varianza.
• L'analisi tramite il framework QCARE rivela che i modelli base spesso soffrono di "sovra-esplorazione" (nessun decadimento del rumore strutturale), mentre i modelli di pensiero raggiungono un compromesso migliore più vicino all'ottimo teorico ($\alpha \approx 0.5$).

5. Significato e Implicazioni

• Limiti della Simulazione Umana: Sebbene gli LLM possano mimare le strategie umane E&E in ambienti semplici e statici quando stimolati a "pensare", attualmente mancano della robusta adattabilità richiesta per scenari reali complessi e non stazionari. Faticano a mantenere un'esplorazione finalizzata a un obiettivo quando l'ambiente cambia.
• Ruolo del Ragionamento: Lo studio fornisce prove empiriche che le capacità di ragionamento (non solo la casualità di generazione) sono il principale motore del miglioramento delle strategie E&E negli LLM. Abilitare le tracce di pensiero è un metodo a basso costo ed efficace per allineare il comportamento degli LLM al processo decisionale umano senza modifiche architetturali.
• Applicazioni Pratiche: Per i sistemi di decisione automatizzata (ad es. scoperta scientifica, allocazione dinamica delle risorse), affidarsi a LLM base in ambienti non stazionari può portare a risultati subottimali. Tuttavia, integrare moduli di ragionamento espliciti o ingegneria dei prompt può mitigare significativamente questi rischi.
• Direzioni Future: Il documento suggerisce che il lavoro futuro dovrebbe concentrarsi sul fine-tuning degli LLM per gestire meglio la non stazionarietà e sull'incorporazione della variabilità demografica/individuale nei prompt di simulazione per migliorare la fedeltà dei "gemelli digitali".

In sintesi, il documento stabilisce che, sebbene gli LLM siano potenti simulatori del comportamento umano, le loro attuali capacità di "pensiero" sono un'arma a doppio taglio: colmano il divario in compiti semplici, ma rivelano una limitazione fondamentale nell'adattarsi all'incertezza complessa e dinamica rispetto all'intuizione umana.