Rigidity in LLM Bandits with Implications for Human-AI Dyads

Lo studio dimostra che i modelli linguistici di grandi dimensioni (LLM) mostrano bias decisionali rigidi e una scarsa capacità di esplorazione in contesti a due bracci, comportamenti che persistono indipendentemente dalle impostazioni di decodifica e che, come rivelato dalla modellazione computazionale, derivano da bassi tassi di apprendimento e alte temperature inverse, con implicazioni significative per le interazioni uomo-AI.

L'essenziale

Immagina di avere un assistente digitale super intelligente, un "oracolo" che può rispondere a qualsiasi domanda. Sembra perfetto, vero? Ma cosa succede se questo assistente, invece di essere un esploratore curioso, si comporta come un testardo che ha deciso una strada e rifiuta di cambiare idea, anche quando gli viene detto che sta sbagliando?

Questo è esattamente ciò che hanno scoperto Wang, Ward e Zhang nel loro studio. Hanno messo alla prova le intelligenze artificiali (come DeepSeek, GPT-4.1 e Gemini) in un gioco molto semplice, simile a una macchina delle caramelle o a un gioco d'azzardo, per vedere come prendono le decisioni.

Ecco la spiegazione semplice di cosa è successo, usando delle metafore quotidiane.

1. Il Gioco: Due Macchine delle Caramelle

Immagina due macchine delle caramelle, la Macchina X e la Macchina Y.

• Scenario A (Ambiguo): Entrambe le macchine hanno la stessa probabilità di darti una caramella (25%). Non c'è una scelta migliore. La cosa intelligente da fare è cambiare spesso macchina per vedere cosa succede.
• Scenario B (Chiaro): La Macchina X dà caramelle il 75% delle volte, la Y solo il 25%. La scelta intelligente è prendere quasi sempre dalla X, ma ogni tanto controllare la Y per assicurarsi che non sia cambiata.

Gli esseri umani, quando giocano a questo gioco, sono flessibili: provano, sbagliano, cambiano idea e imparano.

2. Il Problema: L'IA è un "Testardo"

Quando hanno fatto giocare le Intelligenze Artificiali, è successo qualcosa di strano:

• Nello Scenario Ambiguo (Caramelle uguali): L'IA ha scelto una macchina (spesso la prima che ha visto, la X) e ci è rimasta attaccata per tutto il gioco. Anche se la Y dava caramelle ugualmente, l'IA ignorava completamente. È come se avessero detto: "Ho scelto la X, punto. Non mi importa se la Y funziona meglio, resto qui".
• Nello Scenario Chiaro (Caramelle migliori): L'IA ha capito che la X era meglio e ha iniziato a usarla. Ma l'ha fatto in modo rigido. Non ha mai controllato la Y. Se la Macchina X avesse smesso improvvisamente di dare caramelle, l'IA non se ne sarebbe accorta per molto tempo perché non la stava mai controllando.

3. Perché succede? (La Metafora del Termostato)

Gli scienziati hanno usato un modello matematico per capire come pensano queste IA. Hanno scoperto due "manopole" interne che regolano il loro comportamento:

1. La Manopola dell'Apprendimento (Lento): Immagina che l'IA abbia un orecchio molto sordo. Quando riceve un nuovo indizio (es. "Oggi la Macchina Y ha dato una caramella"), lo sente appena. Impara molto lentamente.
2. La Manopola della Certezza (Troppo Alta): Immagina che l'IA sia come un termostato impostato al massimo. Una volta che decide "Questa è la strada giusta", diventa assolutamente certa di sé. Non lascia spazio al dubbio o alla curiosità.

Il risultato? L'IA prende una piccola intuizione iniziale (magari solo perché la Macchina X era scritta per prima nel testo) e la trasforma in una certezza incrollabile. Non esplora, non dubita, non cambia. È come un turista che, appena arrivato in una città, sceglie un ristorante e ci mangia per 100 giorni di fila, rifiutandosi di provare gli altri, anche se gli altri sono migliori.

4. Cambiare i "Pulsanti" non aiuta

I ricercatori hanno provato a cambiare le impostazioni tecniche dell'IA (rendendola più "casuale" o "creativa" con dei parametri chiamati temperature e top-p).
È come se provassimo a far camminare un'auto bloccata nel fango premendo l'acceleratore più forte o cambiando la radio.
Risultato: L'auto (l'IA) sembrava un po' più agitata, ma rimaneva bloccata nello stesso modo. La sua rigidità interna non è cambiata.

5. Perché dovremmo preoccuparci? (Il Pericolo per l'Uomo)

Questo studio ci dà un campanello d'allarme per il futuro, quando useremo queste IA come assistenti personali o consiglieri.

Immagina di chiedere a un'IA: "Qual è il miglior investimento?" o "Qual è la cura migliore?".

• Se l'IA è rigida, potrebbe darti una risposta con una sicurezza assoluta basata su un piccolo dettaglio iniziale, ignorando nuove informazioni che potrebbero smentirla.
• Se tu, come umano, ti fidi ciecamente di questa "certezza" (perché l'IA sembra così sicura), potresti prendere decisioni sbagliate.
• È come avere un navigatore GPS che, una volta scelto un percorso, si rifiuta di ricalcolare anche se vedi un cartello "Strada Chiusa" o se c'è un ingorgo enorme.

In Sintesi

Le Intelligenze Artificiali attuali, in situazioni di scelta, non sono come esploratori curiosi. Sono come burocrati testardi: prendono una decisione basata su un primo indizio e la difendono con ostinazione, ignorando i nuovi dati.

Questo studio ci dice che dobbiamo stare attenti: quando un'IA ci dà un consiglio, non dobbiamo fidarci della sua "certezza" come se fosse la verità assoluta. Dobbiamo ricordarci che, sotto quella superficie intelligente, c'è un sistema che fatica a cambiare idea e che potrebbe portarci su percorsi sbagliati senza nemmeno accorgersene.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Rigidity in LLM Bandits with Implications for Human-AI Dyads" in lingua italiana.

1. Problema e Contesto

Il paper affronta un vuoto critico nella valutazione dei Large Language Models (LLM): mentre le benchmark tradizionali misurano l'accuratezza, raramente rivelano le tendenze decisionali che i modelli portano nei contesti interattivi.
Quando gli LLM sono integrati in sistemi interattivi (ad esempio come advisor per gli umani), i loro pregiudizi decisionali possono influenzare e distorcere i giudizi umani, spesso senza che l'utente ne sia consapevole. Gli autori ipotizzano che gli LLM possano mostrare bias robusti, come la rigidità nell'esplorazione e l'amplificazione di nudge posizionali, che potrebbero avere implicazioni negative per le dinamiche Umano-AI (Dyads).

2. Metodologia

Gli autori hanno trattato gli LLM come "partecipanti" in esperimenti di bandit a due bracci (two-arm bandits), un paradigma classico della psicologia cognitiva per studiare il compromesso tra esplorazione e sfruttamento.

• Modelli Testati: DeepSeek, GPT-4.1 e Gemini-2.5.
• Design Sperimentale:
  • Sono state eseguite 200 simulazioni indipendenti per condizione, con 100 trial ciascuna.
  • Condizioni di Ricompensa:
    1. Simmetrica: Entrambi i bracci hanno la stessa probabilità di ricompensa ($p=0.25$). Un agente razionale dovrebbe scegliere in modo casuale (50/50).
    2. Asimmetrica: Un braccio è superiore ($p=0.75$) rispetto all'altro ($p=0.25$). Un agente razionale dovrebbe sfruttare il braccio migliore ma mantenere una flessibilità minima per verificare l'altro.
  • Configurazioni di Decodifica: Sono stati manipolati i parametri di temperatura e top-p (mantenendo top-k fisso al default del provider), creando quattro condizioni:
    • Strict: Temp=0.0, Top-p=0.5
    • Moderate: Temp=1.0, Top-p=0.5
    • Default-like: Temp=1.0, Top-p=1.0
    • Exploratory: Temp=2.0, Top-p=1.0
• Prompting: Gli LLM hanno agito come esploratori spaziali che devono scegliere tra due pianeti per trovare monete d'oro, basandosi sulla storia delle scelte precedenti.

3. Contributi Chiave

1. Applicazione di Modelli Cognitivi agli LLM: Dimostra l'utilità di applicare modelli computazionali (come Rescorla-Wagner) agli LLM per spiegare i loro comportamenti, superando l'argomentazione secondo cui gli LLM, non avendo architettura neurale biologica, non possono essere studiati con teorie cognitive.
2. Identificazione della Rigidità Decisionale: Evidenzia come gli LLM amplifichino piccole asimmetrie iniziali (come l'ordine di presentazione) in preferenze di scelta ostinate, indipendentemente dalla configurazione di decodifica.
3. Modellazione Gerarchica: Introduce un approccio di modellazione gerarchica in Stan per stimare i parametri latenti (tasso di apprendimento e temperatura inversa) che guidano il comportamento degli LLM, fornendo una spiegazione meccanicistica dei bias osservati.

4. Risultati Principali

Comportamento nelle Condizioni Simmetriche (Ambiguità)

• Amplificazione del Bias Posizionale: Invece di distribuire le scelte 50/50, gli LLM hanno mostrato una forte preferenza per il primo braccio scelto (spesso "X"), trasformando un caso iniziale in una politica rigida.
• Rigidità e Scarsa Flessibilità: Il tasso di "Stubbornness" (testardaggine) è stato molto alto (fino al 97% per DeepSeek nella configurazione Strict). Gli LLM raramente cambiavano strategia dopo un errore (Loss-Shift vicino a zero).
• Robustezza ai Parametri: Questo comportamento è stato consistente attraverso diverse temperature e top-p, suggerendo che il bias è intrinseco alla strategia di base del modello e non risolvibile semplicemente aumentando la casualità del campionamento.

Comportamento nelle Condizioni Asimmetriche (Chiarezza)

• Sfruttamento Rigido: Gli LLM hanno identificato il braccio migliore e vi si sono aggrappati rigidamente, ottenendo ricompense vicine all'ottimo ma non perfette.
• Mancanza di Verifica: Gli LLM hanno raramente "ricontrollato" il braccio inferiore, anche quando ciò avrebbe potuto migliorare l'efficienza a lungo termine.
• Effetto dell'Esplorazione: Aumentare la temperatura (configurazione Exploratory) ha portato a un crollo delle prestazioni per alcuni modelli (es. Gemini), aumentando gli errori di formato e riducendo l'efficienza, senza necessariamente generare una vera esplorazione cognitiva.

Modellazione Computazionale (Rescorla-Wagner)

L'adattamento di un modello gerarchico ha rivelato due parametri chiave che spiegano il comportamento:

1. Basso Tasso di Apprendimento ($\mu_A$): Gli LLM aggiornano molto lentamente le loro credenze basate sugli errori di previsione.
2. Altissima Temperatura Inversa ($\mu_\tau$): I modelli operano con una quasi-deterministica scelta della migliore opzione nota (greedy), con una probabilità di esplorazione casuale quasi nulla.

• Conclusione del modello: La combinazione di un apprendimento lento e una scelta estremamente deterministica spiega perché le fluttuazioni iniziali vengono "incistate" (entrenched) e perché gli LLM non riescono a ricalibrare le loro strategie.

5. Significato e Implicazioni

• Bias Cognitivo negli LLM: Gli LLM non sono agenti adattivi flessibili; mostrano una "inerzia epistemica". Trattano l'incertezza come rumore da eliminare piuttosto che come informazione da raccogliere.
• Rischi per le Dyade Umano-AI:
  • Certezza Prematura: Consigli deterministici e sicuri da parte degli LLM possono portare gli umani a fissarsi su opzioni non verificate (falsi positivi in ambiguità).
  • Mancata Revisione: In scenari chiari, la rigidità degli LLM può impedire la considerazione di alternative rare ma cruciali (falsi negativi).
  • Architettura della Scelta: L'ordine delle opzioni nel prompt agisce come un potente nudge che gli LLM amplificano, influenzando indirettamente il ragionamento umano.
• Limiti dei Parametri di Decodifica: Aumentare la temperatura o top-p non risolve il problema della rigidità strategica; al contrario, può semplicemente introdurre errori di formato o instabilità di output senza generare una vera esplorazione cognitiva.

In sintesi, il paper avverte che gli LLM, se utilizzati come advisor, potrebbero introdurre sistematicamente pregiudizi decisionali rigidi nelle interazioni umane, rendendo necessarie nuove strategie di mitigazione e una comprensione più profonda delle loro tendenze decisionali oltre la semplice accuratezza.