Calibrating Behavioral Parameters with Large Language Models

Il lavoro propone un framework per utilizzare i Large Language Models come strumenti di misurazione calibrati per i parametri comportamentali, dimostrando che la calibrazione basata su profili permette di replicare con successo i bias cognitivi umani e i pattern di mercato empirici all'interno di modelli di asset pricing.

L'essenziale

Il "Termometro dei Pregiudizi": Come usare l'Intelligenza Artificiale per misurare l'irrazionalità umana

Immaginate di voler studiare perché le persone prendono decisioni finanziarie sbagliate. Perché alcuni vendono subito un'azione che sta guadagnando (per paura di perdere il profitto) o perché altri continuano a comprare un titolo solo perché "tutti lo stanno facendo"?

In economia, questi errori si chiamano "bias comportamentali". Studiarli è difficilissimo: se chiedi a una persona "Sei avida?", ti risponderà sempre di no. Se fai un esperimento reale, le persone si comportano in modo diverso perché ci sono in gioco soldi veri e stress. È come cercare di misurare la temperatura di una persona mentre sta correndo una maratona: il risultato è influenzato dal sudore, dalla stanchezza e dall'emozione.

Il problema: Gli esseri umani sono "rumorosi". Sono influenzati dalla fame, dalla paura, dal desiderio di apparire intelligenti o dal fatto che hanno appena ricevuto uno stipendio.

La soluzione proposta dai ricercatori: Invece di usare persone, usiamo i Large Language Models (LLM), come ChatGPT, ma non come "persone simulate", bensì come strumenti di misura calibrati.

---

L'analogia del Termometro e del Colore

Immaginate che l'Intelligenza Artificiale sia un termometro.

Di base, l'IA è un po' "troppo razionale". Se le chiedete di investire, lei risponde come un libro di matematica perfetto: non ha paura, non è avida, non segue la massa. È come un termometro che segna sempre 36,5°C perché è programmato per essere "neutro". Ma noi non vogliamo un termometro neutro; vogliamo un termometro che possiamo "manomettere" per vedere come reagisce il mondo.

I ricercatori hanno fatto una cosa geniale: hanno creato dei "profili psicologici" (dei prompt speciali).

• Invece di dire all'IA "Sii irrazionale", le hanno detto: "Immagina di essere un investitore che odia perdere anche solo un centesimo".
• Oppure: "Immagina di essere uno che crede che se il prezzo è salito ieri, salirà sicuramente anche oggi".

È come se avessero preso il termometro e lo avessero immerso in acqua ghiacciata o in acqua bollente per vedere se la scala graduata funziona correttamente. Se, immergendo il termometro nell'acqua bollente, questo segna esattamente 100°C, allora sappiamo che lo strumento è calibrato e affidabile.

---

Cosa hanno scoperto? (I risultati)

I ricercatori hanno testato otto diversi "errori di pensiero" e hanno scoperto che l'IA è un ottimo strumento per alcuni, ma meno per altri:

1. I "Campioni" (Dove l'IA funziona benissimo):

   • L'avversione alle perdite: Se dici all'IA di essere una persona che teme le perdite, lei inizia a comportarsi esattamente come un umano che scappa dai rischi.
   • L'effetto gregge: Se le dici che la folla sta andando in una direzione, l'IA "si lascia trascinare" con una precisione sorprendente.
   • L'estrapolazione: Se le mostri un grafico che sale, l'IA "crede" che continuerà a salire, proprio come fanno molti investitori in borsa.

2. I "Fallimenti" (Dove l'IA non basta):

   • L'emozione pura: L'IA non prova "paura" o "euforia". Non ha il cuore che batte forte quando il mercato crolla. Quindi, i comportamenti legati alle emozioni viscerali (come il panico puro) l'IA non riesce a simularli bene. È come un termometro che misura la temperatura, ma non sa cosa sia il "brivido del freddo".

---

Perché è importante? (La prova del nove)

Per dimostrare che non stavano solo giocando con i computer, hanno fatto una prova finale: hanno preso questi "pregiudizi artificiali" e li hanno inseriti in un modello di mercato simulato.

Il risultato? Il mercato creato con l'IA "irrazionale" si comportava esattamente come il mercato reale di Wall Street: con momenti di euforia (quando i prezzi salgono troppo) e momenti di correzione (quando i prezzi crollano).

In parole povere: Hanno dimostrato che possiamo usare l'IA come un "laboratorio virtuale" per testare scenari economici complessi senza dover spendere milioni di dollari in esperimenti con persone reali, ottenendo risultati che sono scientificamente coerenti con ciò che accade nel mondo vero.

In sintesi

Il paper dice: "Non usate l'IA per sostituire gli umani, usatela come un microscopio per studiare come funzionano gli errori umani."

Sommario tecnico

Riassunto Tecnico: Calibrazione dei Parametri Comportamentali tramite Large Language Models (LLM)

1. Il Problema: La Difficoltà di Misurare i Bias Comportamentali

Nella finanza comportamentale, parametri come l'avversione alle perdite ($\lambda$), l'estrapolazione ($\theta$) e l'effetto gregge (herding) sono fondamentali per spiegare anomalie di mercato (momentum, volatilità eccessiva, ecc.). Tuttavia, la loro misurazione empirica è estremamente complessa per quattro ragioni principali:

• Errore di misurazione: I dati basati su sondaggi sono rumorosi e poco correlati alle scelte incentivate.
• Problemi di identificazione congiunta: È difficile distinguere se un comportamento derivi da un singolo parametro o da una combinazione di preferenze, credenze e vincoli.
• Causalità: È quasi impossibile manipolare sperimentalmente i parametri psicologici negli esseri umani per isolarne l'effetto causale.
• Scalabilità: Gli esperimenti di laboratorio rigorosi sono costosi e limitati in termini di campionamento.

2. Metodologia: Gli LLM come Strumenti di Misura Calibrati

Gli autori propongono un cambio di paradigma: invece di chiedere se gli LLM replicano il comportamento umano, propongono di usarli come strumenti di misura calibrabili.

Il Framework di Calibrazione:
Il cuore della metodologia consiste nel trattare i "profili comportamentali" inseriti nei prompt come trattamenti sperimentali. Se l'inserimento di un profilo (es. "investitore avverso alle perdite") sposta i parametri latenti dell'LLM in modo prevedibile e costante, l'LLM può essere considerato uno strumento di misura.

Il framework si basa su quattro condizioni di validità (Definizione 3.1):

1. Monotonicità: L'intensità del profilo deve indurre cambiamenti monotoni nel parametro recuperato.
2. Copertura del Range: Il range di parametri raggiungibili deve includere i benchmark umani.
3. Stabilità: I parametri devono rimanere costanti in elicitazioni ripetute.
4. Coerenza: I parametri misurati in contesti diversi devono mantenere relazioni teoriche coerenti.

Design Sperimentale:

• Modelli: GPT-4o, GPT-4o-mini, Claude-3.5-Haiku e Gemini-2.5-Pro.
• Campione: 24.000 coppie agente-scenario.
• Scenari: Ambienti finanziari completamente sintetici (asset, prezzi, narrazioni) per evitare contaminazioni dai dati di addestramento.
• Bias testati: 8 bias canonici (Avversione alle perdite, Effetto disposizione, Overconfidence, Herding, Rappresentatività, Ponderazione delle probabilità, Ancoraggio ed Estrapolazione).

3. Contributi Chiave

• Sviluppo di un framework metodologico: Fornisce criteri di validazione, funzioni di calibrazione e confini espliciti per l'uso degli LLM nella ricerca economica.
• Identificazione del "Rationality Bias": Dimostrano che, in assenza di prompt specifici, gli LLM mostrano un bias sistematico verso la razionalità (comportandosi in modo più "corretto" rispetto agli umani).
• Validazione tramite Modelli Agent-Based (ABM): Dimostrano che i parametri calibrati non sono semplici artefatti psicometrici, ma hanno contenuto economico, poiché possono generare pattern di mercato reali (momentum e reversal) all'interno di simulazioni.

4. Risultati Principali

I risultati mostrano una distinzione netta tra i tipi di bias:

• Calibrazione di Successo (Validazione Forte): Per Avversione alle perdite, Herding, Estrapolazione e Ancoraggio, la calibrazione raggiunge o supera i benchmark umani. Ad esempio, l'estrapolazione indotta ($\theta = 0.88$) genera pattern di momentum che corrispondono ai fatti stilizzati della letteratura empirica (Jegadeesh & Titman).
• Calibrazione Parziale/Debole: L'overconfidence e la ponderazione delle probabilità mostrano la direzione corretta ma non raggiungono l'entità dei benchmark umani.
• Fallimento della Calibrazione: L'effetto disposizione e la rappresentatività non raggiungono livelli rilevanti per gli esseri umani. Gli autori ipotizzano che ciò sia dovuto al fatto che questi bias dipendono da componenti emotive (rimpianto, orgoglio) o narrazioni viscerali che gli LLM non possiedono.

5. Significato e Implicazioni

La ricerca stabilisce che gli LLM non sono sostituti degli esseri umani, ma infrastrutture sperimentali complementari.

Conclusione fondamentale:
La calibrazione funziona per gli aspetti cognitivi e computazionali dei bias (formazione delle credenze, elaborazione numerica, euristiche esplicite), ma fallisce per gli aspetti affettivi e sociali (emozioni viscerali, pressione sociale, rischio monetario reale).

In sintesi, il lavoro apre la strada all'uso degli LLM per lo stress-testing di modelli di asset pricing e per la ricerca causale in economia comportamentale, definendo però con precisione i confini entro i quali tale tecnologia è affidabile.