A closer look at how large language models trust humans: patterns and biases

1. Il Problema e il Contesto

Con l'integrazione crescente dei Modelli Linguistici di Grande Dimensione (LLM) e degli agenti basati su LLM nei processi decisionali umani (dalla medicina alla finanza, fino alla gestione delle emergenze), è fondamentale comprendere le dinamiche di fiducia tra umani e AI.
Mentre la fiducia umana verso l'AI è ampiamente studiata, rimane poco chiaro come gli LLM sviluppino e manifestino una "fiducia emulata" verso gli esseri umani. La domanda centrale è: quando un LLM fornisce un consiglio o una decisione che implica un rischio (es. concedere un prestito, lasciare un bambino in custodia), quali meccanismi sottostanti guidano la sua valutazione della "fiduciosità" (trustworthiness) umana? È necessario capire se questi modelli replicano i processi cognitivi umani o se adottano modelli rigidi, potenzialmente distorti, che potrebbero portare a conseguenze etiche e pratiche negative.

2. Metodologia

Gli autori hanno sviluppato un framework sperimentale robusto per quantificare e caratterizzare la fiducia emulata degli LLM, confrontandola con quella di partecipanti umani.

• Soggetti:
  • LLM: Cinque modelli diversi sono stati testati: GPT-5, GPT-4o mini, o3-mini (OpenAI) e Gemini 2.5 Pro, Gemini 2.5 Flash (Google).
  • Umani: 1.000 partecipanti reclutati su Prolific, divisi in gruppi per scenario.
• Scenari: Sono stati utilizzati 5 contesti decisionali realistici in cui la fiducia è cruciale:
  1. Valutazione di un dipendente verso un manager senior.
  2. Determinazione dell'importo di un prestito per un imprenditore.
  3. Decisione sull'importo di una donazione per un'organizzazione no-profit.
  4. Scelta della durata di un viaggio con una guida turistica.
  5. Decisione sulle ore di affidamento di un bambino a una babysitter.
• Manipolazioni Sperimentali:
  • Dimensioni di Fiduciosità: Ogni scenario ha manipolato tre dimensioni chiave della fiducia (basate sulla teoria di Mayer et al.): Competenza, Benevolenza e Integrità (livelli alto vs. basso).
  • Fattori Demografici: Sono stati variati genere, età (20, 40, 60 anni) e religione (Ebraica, Cristiana, Musulmana).
• Procedura:
  • Per gli LLM: 43.200 simulazioni totali (12 ripetizioni per ogni combinazione di 144 profili unici per scenario e modello).
  • Per gli umani: 36 combinazioni ortogonali per scenario per garantire efficienza statistica.
  • Output: Gli LLM hanno fornito una decisione quantitativa (es. importo del prestito) e compilato un questionario standardizzato sulla fiducia.
• Analisi: Sono stati utilizzati test t per verificare la manipolazione, correlazioni e regressioni OLS (Ordinary Least Squares) per determinare quanto le dimensioni di fiducia e i fattori demografici spiegassero la varianza nelle decisioni.

3. Risultati Chiave

A. Convergenza Strutturale Parziale

Sia gli LLM che gli umani distinguono affidabilmente tra livelli alti e bassi di competenza, benevolenza e integrità. In generale, una maggiore competenza e integrità portano a decisioni più favorevoli (es. prestiti più alti, più ore di babysitting). Questo suggerisce che gli LLM catturano la struttura di base della fiducia umana.

B. Divergenze Critiche: Rigidità e Coerenza

• Estremismo e Coerenza Interna: Gli LLM sono significativamente più estremi e coerenti internamente rispetto agli umani. I modelli lineari spiegano una porzione di varianza molto maggiore nelle decisioni degli LLM rispetto a quelle umane.
  • Interpretazione: Gli LLM agiscono come funzioni deterministiche basate su cue testuali, mentre le decisioni umane mostrano la variabilità e la dipendenza dal contesto tipica del giudizio sociale reale.
• Struttura delle Dimensioni:
  • Umani: Mostrano un forte effetto alone (halo effect): competenza, benevolenza e integrità sono altamente correlate; le persone tendono a formare un'impressione globale di "persona buona".
  • LLM: Trattano le tre dimensioni come molto più indipendenti (correlazioni interne basse). Gli LLM aderiscono più strettamente al "modello a tre fattori" teorico dei libri di testo, separando le dimensioni invece di fonderle in un giudizio olistico.

C. La Dimensione della Benevolenza

La benevolenza è il punto di maggiore disallineamento. Gli LLM tendono a sovrastimare l'impatto positivo della benevolenza (spesso trattandola come un segnale positivo forte), mentre gli umani, specialmente in contesti finanziari ad alto rischio, sono più cauti e talvolta penalizzano la benevolenza se non supportata da competenza e integrità. Questo potrebbe riflettere una tendenza degli LLM all'"adulazione" (sycophancy).

D. Bias Demografici Sistematici

Gli LLM mostrano bias demografici più forti e sistematici rispetto agli umani:

• Età, Genere e Religione: Hanno impatti significativi e talvolta grandi sulle decisioni degli LLM (es. preferenze per candidati maschi o più anziani nei prestiti; vantaggi significativi per la religione ebraica nelle richieste di donazione).
• Variabilità tra Modelli: Esiste un'eterogeneità sostanziale tra i diversi modelli; alcuni mostrano bias forti, altri sono neutri. Questo rende impossibile trattare "gli LLM" come un agente unico.

4. Contributi Principali

1. Quantificazione della Fiducia Emulata: È uno dei primi studi a dimostrare che gli LLM attuali possono quantificare e caratterizzare la fiducia emulata verso gli umani, allineandosi parzialmente alle dimensioni psicologiche fondamentali (competenza, benevolenza, integrità).
2. Mappatura delle Differenze Cognitive: Lo studio evidenzia che, sebbene l'output sia simile, il processo sottostante è diverso. Gli LLM implementano un modello di fiducia più modulare, rigido e basato su regole testuali, privo della complessità contestuale e dell'effetto alone tipico della cognizione umana.
3. Identificazione dei Rischi di Bias: Dimostra che l'uso degli LLM come strumenti di supporto decisionale può amplificare le disuguaglianze sociali attraverso bias demografici sistematici che spesso superano quelli osservati negli umani.

5. Significato e Implicazioni

• Per l'Implementazione Aziendale: L'uso di LLM per decisioni critiche (finanza, risorse umane, legale) richiede una cautela estrema. La loro "fiducia" non è un riflesso fedele del giudizio umano, ma una simulazione coerente ma rigida che può fallire in contesti sfumati.
• Etica e Fairness: La presenza di bias demografici sistematici negli LLM pone rischi reali di perpetuare o aggravare le disuguaglianze sociali. È necessaria una valutazione specifica per modello prima del deployment.
• Modelli di Cognizione Sociale: Gli LLM non sono ancora modelli accurati della cognizione sociale umana; simulano il linguaggio della fiducia senza necessariamente comprenderne la complessità psicologica sottostante.
• Futuro della Ricerca: È necessario sviluppare metodi per monitorare e mitigare questi bias e comprendere meglio come le diverse architetture di modelli influenzino la formazione della fiducia emulata.

In sintesi, mentre gli LLM sono strumenti potenti per generare giudizi simili a quelli umani, la loro natura "deterministica" e la sensibilità ai bias demografici li rendono strumenti rischiosi se utilizzati senza supervisione critica in scenari che richiedono un giudizio sociale complesso e sfumato.