Riepilogo Tecnico: Elicitare i Prior di Affidabilità dei Large Language Models tramite Giochi Economici

Definizione del Problema

Costruire un'IA incentrata sull'uomo e affidabile richiede una "fiducia calibrata", in cui gli utenti si affidino ai sistemi di IA in modo appropriato, evitando sia l'eccessiva fiducia (bias di automazione) che la scarsa fiducia (disuso). Una sfida fondamentale nel raggiungere questo obiettivo è caratterizzare il livello di fiducia che il sistema di IA stesso esprime verso gli agenti umani. Sebbene la fiducia nell'IA venga spesso studiata tramite atteggiamenti auto-riportati, questi possono divergere dalla fiducia comportamentale. Inoltre, gli studi comportamentali esistenti spesso assumono che l'IA manchi di intenzionalità, trattando la fiducia come unidirezionale (umano verso IA). Tuttavia, i moderni Large Language Models (LLM) esibiscono sofisticate capacità sociali, rendendo necessario un quadro bilaterale per studiare come gli LLM ricambino la fiducia. Il problema centrale affrontato è come stimare in modo robusto l'implicito "prior di affidabilità" — ovvero il bias induttivo che un LLM possiede riguardo a quanta fiducia debba essere ricambiata nelle interazioni sociali.

Metodologia

Gli autori propongono un nuovo metodo di elicitazione che combina l'apprendimento in-context iterato (Zhu & Griffiths, 2024a) con il Trust Game (Gioco della Fiducia) della teoria dei giochi comportamentali (Berg et al., 1995).

1. Formalizzazione del Trust Game

Il Trust Game è modellato all'interno di un framework bayesiano:

• Configurazione: Un Fiducioso (Trustor) invia un importo $x$ a un Fiduciario (Trustee). Questo importo viene moltiplicato per un fattore $m$ (impostato a 3). Il Fiduciario decide quanto $y$ restituire.
• Metrica di Affidabilità: Definita come il rapporto di restituzione $r = y / (mx)$, dove $r \in [0, 1]$.
• Modello Generativo: L'importo restituito $y$ è modellato come una distribuzione Binomiale $y \sim \text{Binomial}(mx, r)$, dove $r$ è un parametro di affidabilità latente.
• Prior: Le credenze sull'affidabilità sono catturate da un prior Beta $p(r) = \text{Beta}(\alpha, \beta)$.

2. Procedura di In-Context Learning Iterato

Per elicitare il prior implicito $p(r)$ del modello, gli autori simulano una catena di Markov su prompt:

• Collo di Bottiglia dell'Informazione: Ad ogni iterazione $t$, l'LLM riceve un batch limitato di $B=5$ interazioni sociali precedenti ($D_{t-1}$) generate sulla base dell'affidabilità stimata dell'iterazione precedente $\hat{r}_{t-1}$.
• Inferenza: L'LLM viene istruito a prevedere la frazione di fondi che un Fiduciario restituirebbe dato un nuovo scenario (ad esempio, ricevendo 100 token), stimando efficacementamente la media a posteriori $\hat{r}_t$.
• Generazione: Questa nuova stima $\hat{r}_t$ viene utilizzata per parametrizzare la distribuzione Binomiale per generare il batch successivo di interazioni $D_t$.
• Convergenza: Attraverso iterazioni ripetute, la distribuzione dei valori di $\hat{r}$ stimati converge alla distribuzione del prior sottostante $p(r)$ del modello, indipendentemente dai valori di seed iniziali. Questo processo isola i bias induttivi del modello dai dati specifici memorizzati.

3. Design Sperimentale

• Esperimento 1: Ha valutato 20 LLM (inclusi GPT-4/5, Claude-3.5, Gemini-2.5, Llama-3/4, Qwen-2.5/3, DeepSeek, ecc.). Ogni modello ha eseguito 270 catene (30 seed $\times$ 30 restart) per garantire la convergenza (verificata tramite diagnostica di Gelman–Rubin $\hat{R} \leq 1.1$).
• Esperimento 2: Si è concentrato su GPT-4.1 (identificato come il modello più simile all'uomo) per testare la sensibilità ai Persona di Fiducia. I Persona includevano ruoli occupazionali (es. Medico, IA) e figure pubbliche (es. Elon Musk, Mahatma Gandhi).
• Modellazione della Variazione: È stato costruito un modello di regressione lineare per spiegare la variazione dell'affidabilità basandosi su Calore (intenzioni percepite) e Competenza (capacità percepita), seguendo il modello del contenuto degli stereotipi di Fiske (2018).

Risultati Chiave

1. Elicitazione dei Prior di Affidabilità

• Convergenza: Tutti i modelli hanno mostrato una rapida convergenza, stabilizzandosi tipicamente entro 20 iterazioni.
• Validità Predittiva: I prior elicitati hanno superato significativamente sia un prior uniforme che un prior meta-analitico derivato dall'uomo (Johnson & Mislin, 2011) nel predire i comportamenti di reciprocità single-shot dei modelli (minore RMSD e maggiore $r$ di Pearson).
• Allineamento Umano: GPT-4.1 ha mostrato il più forte allineamento con le distribuzioni di affidabilità umana, mostrando la minore divergenza di Kullback–Leibler ($D_{KL} = 0.130$) rispetto al baseline umano.
• Variabilità dei Modelli: Altri modelli hanno mostrato pattern distinti:
  • Alcuni (es. Qwen2.5-72B, Llama-3.1-70B) hanno esibito prior ** bimodali**, suggerendo risposte strategiche miste.
  • Altri (es. Grok-4.1-Fast, GPT-5.2) hanno mostrato uno spostamento sistematico verso il basso dell'affidabilità ($r < 0.372$), indicando una fiducia media inferiore rispetto ai baseline umani.
• Correlazioni: È stata trovata una correlazione negativa ($r = -0.58$) tra la divergenza KL (allineamento con gli umani) e l'Average Risk Score (ARS), suggerendo che i modelli con maggiore propensione al rischio si allineano più strettamente ai prior di fiducia umani. Non sono state trovate correlazioni significative con i punteggi di istruzione (IFEval) o di ragionamento generale (LMArena).

2. Sensibilità ai Persona

• Effetti Persona: L'affidabilità elicitata di GPT-4.1 è variata sistematicamente tra i persona (la media di $r$ variava da 0.298 a 0.447). Ad esempio, la fiducia era più alta per Malala Yousafzai rispetto a Mark Zuckerberg.
• Calore e Competenza: Un modello di regressione utilizzando il calore ($W$) e la competenza ($C$) come predittori ha spiegato l'81% della varianza ($R^2 = 0.81$) nell'affidabilità elicitata.
  • Dominanza del Calore: Il calore ha avuto un effetto principale sostanzialmente più forte ($\beta_1 \gg \beta_2$) rispetto alla competenza.
  • Interazione: Un termine di interazione significativo ($\beta_3$) ha indicato che la competenza aumenta significativamente l'affidabilità principalmente quando accoppiata al calore.

Contributi Chiave

1. Innovazione Metodologica: Il paper introduce un metodo per elicitare i prior impliciti di affidabilità dagli LLM adattando l'apprendimento in-context iterato al Trust Game, andando oltre l'auto-report verso un'operazionalizzazione comportamentale.
2. Caratterizzazione Empirica: Fornisce un benchmark dei prior di affidabilità attraverso 20 LLM leader, rivelando che mentre alcuni modelli (come GPT-4.1) seguono da vicino i prior umani, altri esibiscono pattern strategici o distorti distinti.
3. Utilità di Surrogato: Dimostra che GPT-4.1 può servire come surrogato per i partecipanti umani nello studio dei bias sociali, poiché i suoi giudizi di affidabilità sono sensibili alle caratteristiche del persona in modo coerente con la psicologia sociale umana.
4. Allineamento Teorico: I risultati confermano che i giudizi di affidabilità degli LLM possono essere modellati dalle stesse dimensioni basate sugli stereotipi (calore e competenza) che governano la percezione sociale umana.

Significato e Rivendicazioni

Il paper sostiene che caratterizzare l'affidabilità dei sistemi di IA è essenziale per una collaborazione uomo-IA sicura ed efficace. Trattando gli LLM come agenti capaci di ricambiare la fiducia, gli autori argomentano che il Trust Game offre un quadro bilaterale necessario per studiare l'interazione uomo-IA.

Gli autori affermano con moderazione che il loro metodo riesce a recuperare i "bias induttivi" degli LLM riguardo allo scambio sociale. Suggeriscono che modelli come GPT-4.1 possano agire come surrogati per grandi popolazioni di partecipanti umani, permettendo ai ricercatori di studiare come i giudizi generali di fiducia pubblica possano cambiare in base alle caratteristiche dell'agente senza l'onere logistico del reclutamento di soggetti umani.

Il lavoro evidenzia che l'affidabilità negli LLM non è una proprietà monolitica ma varia per architettura di modello ed è sensibile al contesto sociale (persona). Gli autori concludono che comprendere queste rappresentazioni neurali dell'affidabilità (potenzialmente accessibili tramite modelli a pesi aperti) è una via percorribile per progettare sistemi di IA più affidabili, pur riconoscendo i limiti riguardanti la stabilità di tali prior attraverso diversi livelli di investimento e contesti di interazione.