Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Sintesi Tecnica: Sensibilità alla Massimizzazione dell'Utilità Attesa Soggettiva

Definizione del Problema
Valutare la qualità delle decisioni prese in condizioni di incertezza è notoriamente difficile quando i risultati etichettati sono scarsi, costosi o confusi dalla fortuna. La valutazione tradizionale basata sulle "etichette" si affida a una chiave esterna di scelte corrette o risultati realizzati. Tuttavia, tali chiavi sono spesso impraticabili da costruire (ad esempio, nel triage assicurativo o in domini nuovi) e fondamentalmente fallaci come misure della qualità decisionale (poiché gli esiti dipendono dal caso, non solo dal processo decisionale).

Questo articolo propone un framework di valutazione basato sulla "coerenza". Invece di chiedere se un agente abbia scelto l'opzione "giusta", chiede se le scelte dell'agente siano coerenti con uno standard di razionalità dichiarato: la massimizzazione dell'Utilità Attesa Soggettiva (SEU). L'obiettivo è misurare il grado in cui le scelte di un agente seguono il ranking SEU, separando questa "sensibilità" dal contenuto specifico delle sue credenze e utilità, e dai risultati che accade loro realizzare.

Metodologia
L'articolo sviluppa una pipeline metodologica centrata su un modello di scelta softmax applicato ad alternative con valore SEU.

1. Il Modello: Il veicolo centrale è una regola softmax di Luce–McFadden dove la probabilità di scegliere l'alternativa $r$ è proporzionale a $\exp(\alpha V(r))$. Qui, $V(r)$ è l'utilità attesa dell'alternativa, e $\alpha \ge 0$ è uno scalare parametro di sensibilità.

   • $\alpha = 0$: Scelta casuale uniforme (insensibile all'utilità).
   • $\alpha \to \infty$: Massimizzazione deterministica della SEU (perfettamente sensibile).
   • $\alpha$ intermedio: Una misura graduata di quanto le scelte seguano l'utilità attesa.

2. Parametrizzazione:

   • Credenze ($\beta$): Le probabilità soggettive sono generate tramite una mappa lineare-softmax da vettori di caratteristiche.
   • Utilità ($\delta$): Le utilità sono costruite da incrementi ordinati con endpoint fissi ($0$e$1$) per risolvere l'indeterminazione affine.
   • Sensibilità ($\alpha$): La quantità di interesse principale, che rappresenta la disposizione dell'agente ad agire in base ai propri impegni.

3. Due Modelli:

   • Modello $m_0$ (Solo Scelte Incerte): Gli agenti scelgono tra alternative con probabilità soggettive.
   • Modello $m_1$ (Esteso con Scelte Rischiose): Gli agenti scelgono anche tra alternative con probabilità oggettive (lotterie). Ciò consente un'identificazione "senza rischi" delle utilità ($\delta$) poiché le lotterie oggettive non dipendono dal parametro di credenza $\beta$.

4. Validazione Computazionale: Gli autori implementano questi modelli in Stan e li validano utilizzando un rigoroso workflow bayesiano:

   • Controlli Predittivi Prior: Assicurare che i prior permettano un intervallo sensato di comportamenti.
   • Recupero dei Parametri: Simulare dati da parametri noti per testare se il modello può recuperarli.
   • Calibrazione Basata su Simulazione (SBC): Verificare che le distribuzioni a posteriori siano calibrate (i ranghi dei veri parametri sono uniformi).

Contributi Chiave e Risultati

1. Gap tra Identificabilità ed Estimabilità
L'articolo fornisce un'analisi formale dell'identificabilità che rivela una distinzione critica tra identificabilità teorica ed estimabilità pratica a dimensioni campionarie realistiche.

• Per $\alpha$ (Sensibilità): $\alpha$ è identificabile dal vettore di utilità attesa $\eta$ (date valori non costanti). In pratica, $\alpha$ viene recuperato con alta precisione e basso bias, anche quando altri parametri sono scarsamente identificati.
• Per $\delta$ (Utilità): Nel modello con sole incertezze ($m_0$), le credenze ($\beta$) e le utilità ($\delta$) sono solo debolmente informate dai dati; esse si scambiano tra loro, risultando in posteriori ampi e correlati.
• Limitazione del Modello Esteso ($m_1$): Sebbene l'aggiunta di scelte rischiose identifichi teoricamente $\delta$ (rompendo l'accoppiamento $\beta$-$\delta$), l'articolo trova che, a dimensioni campionarie realistiche, questa identificabilità teorica produce un guadagno pratico trascurabile. La riduzione della larghezza dell'intervallo di confidenza per $\delta$ è inferiore all'1%, e l'RMSE rimane invariato.
• Per la Precisione di $\alpha$: Contrariamente all'intuizione che tipi di dati "migliori" (rischiose vs incerte) migliorino la precisione, lo studio trova che la precisione a campioni finiti per $\alpha$ è guidata dalla quantità di dati, non dal tipo di scelta. Raddoppiare il numero di scelte incerte aumenta significativamente la nitidezza delle stime di $\alpha$, mentre sostituire con un numero uguale di scelte rischiose non fornisce alcun guadagno di precisione rilevabile.

2. La Demarcazione Marginale-SBC
Gli autori introducono un fondamentale insight diagnostico: i passaggi SBC marginali non implicano la calibrazione congiunta della distribuzione a posteriori.

• I controlli SBC standard (uniformità del rango) sono passati per tutti i parametri ($\alpha, \beta, \delta$) in entrambi i modelli.
• Tuttavia, la distribuzione congiunta a posteriori per $(\beta, \delta)$ rimaneva debolmente contratta e altamente correlata (debolmente informata).
• Conclusione: Un modello può essere perfettamente calibrato marginalmente (ogni parametro appare corretto isolatamente) mentre la distribuzione congiunta rimane irrisolta. L'SBC marginale è cieco rispetto alla debole informatività congiunta.

3. Applicazione Illustrativa agli LLM
Il framework è stato applicato end-to-end ai dati di decision-making di GPT-4o e Claude 3.5 Sonnet attraverso due compiti: triage di reclami assicurativi e giochi d'azzardo con urne in stile Ellsberg.

• Workflow: La pipeline ha recuperato con successo $\alpha$ per le scelte reali degli LLM, con diagnostica che conferma l'adeguatezza del modello (eccetto per la debole inferenza attesa sui parametri di disturbo $\beta, \delta$).
• Risultati:
  • GPT-4o: Ha mostrato un declino strutturato e monotono della sensibilità ($\alpha$) all'aumentare della temperatura di campionamento in entrambi i compiti. L'effetto è statisticamente robusto ($P(\text{pendenza} < 0) \approx 0.99$).
  • Claude 3.5: Non ha mostrato un pattern monotono in nessuno dei due compiti.
  • Avvertenza Cruciale: L'articolo dichiara esplicitamente che la mancanza di un pattern per Claude è un null inconclusivo, non una prova dell'assenza di effetto. La risoluzione dello studio (effetto minimo rilevabile) non era sufficiente per escludere un effetto di dimensioni paragonabili a quello di GPT-4o. Lo strumento "declina di supportare" un effetto piuttosto che certificarne l'assenza.
• Interpretazione: I risultati supportano una rivendicazione comparativa all'interno del design (GPT-4o è più sensibile alla SEU rispetto a Claude sotto queste specifiche condizioni), ma non supportano affermazioni assolute su quale modello sia "più razionale" in senso privo di contesto.

Significato e Ambito
L'articolo si pone come un contributo metodologico piuttosto che come una scoperta sostanziale nella scienza del comportamento degli LLM o nella teoria delle decisioni.

• Concettuale: Fornisce una spiegazione principiata della "sensibilità alla massimizzazione della SEU" come una disposizione graduata e misurabile, distinta da credenze, utilità e risultati.
• Metodologica: Dimostra che l'analisi dell'identificabilità è necessaria ma insufficiente per progettare esperimenti; la precisione a campioni finiti dipende dalla quantità di dati e dalle specificità del design, non solo dall'identificabilità teorica. Chiarisce inoltre i limiti dell'SBC marginale nel diagnosticare la geometria della distribuzione a posteriori congiunta.
• Limitazioni: L'articolo evita esplicitamente di giudicare questioni normative (ad esempio, se la SEU sia lo standard corretto) o di testare l'avversione all'ambiguità (il modello assorbe l'ambiguità nelle credenze o nel rumore). Non sostiene di misurare la "razionalità" in senso assoluto, ma solo la conformità a uno standard dichiarato all'interno di un design specifico.

In sintesi, l'articolo offre un framework trasparente e riutilizzabile per valutare i decisori rispetto a uno standard di razionalità, validando rigorosamente lo strumento di misurazione e riportando esplicitamente i suoi limiti di campionamento finito e di risoluzione.