Mind the (DH) Gap! A Contrast in Risky Choices Between Reasoning and Conversational LLMs

1. Problema e Contesto

L'uso dei Large Language Models (LLM) come sistemi di supporto decisionale o in flussi di lavoro autonomi (agentic workflows) è in rapida crescita. Tuttavia, la comprensione del processo decisionale degli LLM in condizioni di incertezza rimane limitata. Esistono account contrastanti nella letteratura scientifica: alcuni studi suggeriscono che gli LLM siano razionali (massimizzatori di utilità attesa), mentre altri indicano che seguono la teoria del prospetto (Prospect Theory) o mostrano bias umani.

Il problema centrale affrontato da questo studio è la mancanza di una tassonomia comportamentale chiara per gli LLM e la scarsa comprensione di come due fattori critici influenzino le loro scelte rischiose:

1. La rappresentazione delle prospettive: Se presentate come descrizioni esplicite (probabilità e payoff) o come storie di esperienze (sequenze di risultati passati).
2. La richiesta di spiegazioni: Se chiedere all'LLM di giustificare la sua decisione ne altera la razionalità.

Lo studio mira a colmare il divario tra il comportamento umano, quello di un agente razionale ideale (economicus) e quello degli LLM, investigando il cosiddetto "gap descrizione-esperienza" (Description-Experience gap, o DE gap) nel contesto dei modelli linguistici.

2. Metodologia

Gli autori hanno condotto un esperimento controllato su larga scala con i seguenti elementi chiave:

• Campionamento dei Modelli: Sono stati testati 20 modelli LLM all'avanguardia (frontier) e open-weight, inclusi GPT-4.1/5.1, Gemini-2.5, DeepSeek-R1/Chat, Claude-Haiku-4.5, Qwen e Olmo.
• Baseline di Confronto: Il comportamento degli LLM è stato confrontato con:
  1. Un campione di 360 soggetti umani (raccolti tramite Prolific).
  2. Un modello teorico di agente razionale (economicus) che massimizza il payoff atteso senza avversione al rischio.
• Design Sperimentale:
  • Prospettive Rischiose: Tre coppie base di opzioni con diversi payoff e probabilità, presentate in due modalità:
    • Esplicite: Descrizione diretta (es. "70% di chance di $100").
    • Implicithe (Storia): Sequenze simulate di 20 o 100 risultati passati che riflettono la stessa distribuzione sottostante.
  • Condizioni di Prompt: Tre stili di output: nessuna spiegazione, spiegazione breve (una frase), spiegazione matematica/ragionata.
  • Metriche: Correlazione di Pearson tra le distribuzioni di scelta, errore quadratico medio (MSE) rispetto ai modelli teorici, e misure di coerenza (ordine, framing, prompt) e decisività.
• Modellazione Comportamentale: I dati sono stati adattati a modelli interpretabili basati sulla Teoria del Prospetto (Prospect Theory) con una parametrizzazione "Dual-Beta" (separando la decisività nei domini di guadagno e perdita) per estrarre parametri come avversione al rischio ($\sigma$), ponderazione delle probabilità ($\gamma$) e decisività ($\beta$).

3. Contributi Chiave

Il paper introduce diverse innovazioni metodologiche e teoriche:

1. Tassonomia Comportamentale: Identifica una divisione fondamentale tra due categorie di LLM: Modelli di Ragionamento (RMs) e Modelli Conversazionali (CMs).
2. Analisi del Gap Descrizione-Storia (DH Gap): Estende il concetto umano di DE gap agli LLM, dimostrando come la modalità di presentazione dell'informazione (descrizione vs. esperienza simulata) influenzi diversamente le diverse architetture di modelli.
3. Ruolo del Training Matematico: Dimostra che il training specifico per il ragionamento matematico è il fattore discriminante principale tra RMs e CMs, più significativo della semplice dimensione del modello o delle fasi successive di training (DPO/RLHF).
4. Impatto delle Spiegazioni: Analizza come la richiesta di giustificazioni (specialmente quelle matematiche) modifichi la razionalità delle decisioni, scoprendo effetti controintuitivi.

4. Risultati Principali

A. Clusterizzazione in RMs e CMs

I modelli si raggruppano nettamente in due cluster:

• Modelli di Ragionamento (RMs): (es. GPT-5.1, DeepSeek-R1, Gemini-2.5-Pro, varianti "Thinking" di Qwen/Olmo).
  • Comportamento simile all'economicus (razionale).
  • Insensibili all'ordine delle opzioni, al framing (guadagno/perdita) e al tipo di spiegazione richiesta.
  • Mostrano un DH Gap modesto: le loro scelte rimangono stabili sia con prospettive esplicite che storiche.
• Modelli Conversazionali (CMs): (es. GPT-4.1, DeepSeek-Chat, Gemini-2.5-Flash, Claude-Haiku).
  • Comportamento meno razionale, più simile agli umani ma distinto sia dagli umani che dall'economicus.
  • Sensibili all'ordine, al framing e al tipo di prompt.
  • Mostrano un DH Gap elevato: le loro scelte cambiano drasticamente quando passano da descrizioni esplicite a storie di esperienza, diventando molto più simili agli umani e meno razionali.

B. Il Gap Descrizione-Storia (DH Gap)

• Per i CMs, passare da prospettive esplicite a implicite (storie) causa un crollo della razionalità (correlazione con l'economicus diminuisce) e un aumento della somiglianza con il comportamento umano.
• Per i RMs, questo passaggio ha un impatto limitato; mantengono un comportamento vicino alla massimizzazione del payoff atteso indipendentemente dalla rappresentazione.
• Sorprendentemente, gli umani diventano più razionali (più simili all'economicus) quando le prospettive sono presentate come storie implicite, un fenomeno che spiega perché la correlazione tra RMs e umani aumenta in condizioni implicite.

C. Impatto delle Spiegazioni

• Richiedere una breve spiegazione tende ad aumentare la razionalità (correlazione con l'economicus) della maggior parte dei modelli.
• Richiedere una spiegazione matematica ha effetti variabili: per i CMs spesso riduce la razionalità (inducendo solo verbosità senza migliorare il ragionamento), mentre per alcuni RMs mantiene la stabilità o porta a cambiamenti significativi.

D. Analisi dei Modelli Open e Training

L'analisi dei modelli open (Qwen, Olmo) rivela che:

• Le varianti addestrate specificamente per il ragionamento matematico (es. Qwen-Math, Olmo-Think) si posizionano chiaramente nel cluster RM.
• Le varianti standard o "Instruction-tuned" si posizionano nel cluster CM.
• La dimensione del modello ha un effetto: i modelli più grandi tendono a essere più razionali e più simili agli umani rispetto alle controparti più piccole, ma la distinzione RM/CM è guidata principalmente dal training per il ragionamento.

5. Significato e Implicazioni

Questo studio ha profonde implicazioni per l'uso degli LLM in contesti economici e decisionali:

1. Non tutti gli LLM sono uguali: Non è possibile generalizzare il comportamento decisionale di un LLM. La scelta tra un modello "conversazionale" e uno "di ragionamento" è critica per l'affidabilità in scenari di incertezza.
2. Interfaccia e Rappresentazione: Il modo in cui le informazioni vengono presentate (descrizione vs. dati grezzi/storia) altera significativamente le decisioni dei modelli conversazionali, suggerendo che l'interfaccia utente nei sistemi di supporto decisionale deve essere progettata con cura.
3. Limiti della Simulazione Umana: Gli LLM non sono sostituti perfetti per i soggetti umani negli esperimenti economici. Mentre i CMs mostrano alcuni bias umani, la loro struttura decisionale è fondamentalmente diversa e dipende fortemente dal training.
4. Direzione Futura: Il training per il ragionamento matematico emerge come il "leva" principale per allineare gli LLM a comportamenti razionali, offrendo una via per mitigare l'instabilità decisionale in applicazioni critiche.

In sintesi, il paper dimostra che l'intelligenza artificiale economica non è monolitica, ma è strutturata in due famiglie distinte con sensibilità diverse al contesto, alla storia dei dati e alle richieste di spiegazione, guidate principalmente dalle scelte di training.