Evaluating LLM Alignment With Human Trust Models

Questo studio analizza come il modello linguistico GPT-J-6B rappresenti internamente il concetto di fiducia, rivelando che la sua allineamento strutturale corrisponde maggiormente al modello socio-cognitivo di Castelfranchi rispetto ad altri modelli umani.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque voglia capire come "pensano" le intelligenze artificiali quando si tratta di fiducia.

🕵️‍♂️ L'Investigatore nel Cervello dell'IA

Immagina di avere un robot molto intelligente (un LLM, o Modello Linguistico) che parla benissimo e sembra molto umano. Ma c'è un mistero: come fa a capire il concetto di "fiducia"?

Di solito, guardiamo solo ciò che l'IA dice (la sua "bocca"). Questo studio, invece, decide di fare un'operazione chirurgica: guarda direttamente nel "cervello" digitale dell'IA (il suo spazio di attivazione) per vedere come sono organizzati i suoi pensieri. È come se volessimo capire se un umano ha davvero paura o sta solo fingendo, guardando i suoi battiti cardiaci invece di ascoltare le sue parole.

🧪 L'Esperimento: La "Sonda" della Fiducia

Gli scienziati hanno usato un trucco geniale chiamato Prompting Contrastivo.
Immagina di avere due scenari:

1. Scenario A: Una storia dove due colleghi, Katherine e Alice, si aiutano con entusiasmo (Fiducia/Positivo).
2. Scenario B: Una storia dove si ignorano o si fanno dispetti (Mancanza di fiducia/Negativo).

L'IA legge entrambe le storie. Gli scienziati poi prendono la "firma elettrica" (il vettore di embedding) che l'IA genera per la storia positiva e sottraggono quella della storia negativa.
Il risultato? Una mappa mentale precisa di cosa significa "fiducia" per quell'IA. È come isolare il colore "rosso" da un dipinto mescolando il rosso con il suo opposto e vedere cosa rimane.

🗺️ La Sfida: Quale Mappa Umana corrisponde?

Gli umani hanno diverse teorie su come funziona la fiducia. È come se avessimo cinque diverse mappe geografiche per descrivere la stessa città:

1. La mappa di Marsh: Guarda i dati passati (hai fatto il tuo dovere? Allora ti fido).
2. La mappa di Mayer: Guarda le capacità, la gentilezza e l'onestà.
3. La mappa di McAllister: Distingue tra fiducia basata sulla logica e quella basata sulle emozioni.
4. La mappa di McKnight: Si concentra su come si fida qualcuno quando non si conosce l'altro (fiducia iniziale).
5. La mappa di Castelfranchi: Guarda le credenze, gli obiettivi e le intenzioni mentali (Cosa pensa l'altro? Cosa vuole fare?).

Gli scienziati hanno preso la "mappa della fiducia" dell'IA e l'hanno sovrapposta a queste cinque mappe umane per vedere quale combacia meglio.

🏆 Il Risultato: Chi ha vinto?

Ecco il colpo di scena! L'IA non ha scelto la mappa più semplice o quella basata solo sui dati passati.
L'IA ha scelto la mappa di Castelfranchi.

Cosa significa? Significa che nel "cervello" digitale di questa IA, la fiducia non è solo un calcolo matematico di "hai fatto il tuo lavoro ieri". È più complessa: l'IA capisce la fiducia come un stato mentale. Per l'IA, fidarsi significa credere che l'altra persona abbia le capacità, la volontà e le intenzioni giuste per raggiungere un obiettivo comune.

È come se l'IA dicesse: "Non mi fido di te solo perché hai vinto la lotteria ieri, ma perché credo che tu abbia il cuore e la mente per aiutarmi oggi."

🚀 Perché è importante?

1. Non sono solo calcolatrici: Questo studio dimostra che le IA non sono solo macchine che ripetono parole. Hanno una struttura interna che assomiglia a come gli umani pensano alle relazioni sociali complesse.
2. Costruire robot più affidabili: Se sappiamo come l'IA "vede" la fiducia, possiamo insegnarle a comportarsi meglio. Possiamo "aggiustare" il suo cervello digitale per renderla più onesta, competente e gentile, proprio come un genitore che educa un bambino.
3. Il futuro: Immagina un assistente AI che non solo ti dà informazioni, ma capisce se ti fidi di lui e adatta il suo comportamento per guadagnarsi la tua fiducia, proprio come farebbe un amico o un collega umano.

⚠️ Un piccolo limite

Lo studio è stato fatto su un solo modello (un "cervello" specifico). È come se avessimo studiato solo la mente di un singolo genio. Nel futuro, gli scienziati vorranno vedere se anche altri "cervelli" digitali pensano allo stesso modo.

In sintesi: Gli scienziati hanno guardato dentro la testa di un'IA e hanno scoperto che, quando pensa alla fiducia, la sua mente funziona in modo molto simile a quella di un filosofo umano che analizza le intenzioni e i pensieri degli altri, piuttosto che come un semplice contabile che guarda i dati passati.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evaluating LLM Alignment With Human Trust Models" in lingua italiana.

Titolo: Valutazione dell'Allineamento dei LLM con Modelli di Fiducia Umani

1. Problema e Contesto

La fiducia è un pilastro fondamentale per la cooperazione efficace e la riduzione dell'incertezza nelle interazioni umane e nei sistemi multi-agente. Sebbene esistano numerosi modelli teorici di fiducia (psicologici, sociologici e computazionali), la comprensione di come i Large Language Models (LLM) concettualizzino e ragionino internamente sulla fiducia rimane limitata.
La maggior parte delle ricerche precedenti adotta un approccio "black-box", analizzando solo input e output. Questo studio mira a colmare tale lacuna attraverso un approccio "white-box", investigando le rappresentazioni interne (attivazioni) della fiducia all'interno dell'architettura di un LLM per determinare se e come essa allinei con i modelli teorici umani consolidati.

2. Metodologia

Gli autori hanno utilizzato il modello EleutherAI/gpt-j-6B (open-source, che permette l'accesso alle attivazioni strato per strato) e hanno sviluppato un framework di analisi in due fasi basato sul Contrastive Prompting.

Fase 1: Costruzione dello Spazio di Rappresentazione e Soglia di Similarità

• Generazione dei Vettori: Sono stati selezionati 30 concetti emotivi (positivi e negativi, es. "Fiducia", "Rabbia", "Cooperazione"). Per ciascuno, sono state generate 100 storie brevi in due direzioni (A verso B e B verso A), creando un set di 60 concetti direzionali.
• Estrazione delle Embedding: Utilizzando il prompting contrastivo, sono state generate storie che dimostravano il concetto (es. "Katherine aiuta Alice") e il suo opposto ("Katherine non aiuta Alice"). Le attivazioni nascoste (hidden states) di tutti i token sono state estratte da tutti i 28 strati del modello.
• Calcolo del Vettore Concettuale: Per ogni concetto, è stata calcolata la media delle attivazioni positive e negative separatamente. La differenza tra queste medie ha prodotto un vettore di direzione del concetto nello spazio latente.
• Soglia di Allineamento: È stata calcolata la similarità coseno tra tutte le coppie dei 60 vettori concettuali. La distribuzione è stata analizzata per stabilire una soglia empirica (80° percentile, valore di 0.6) che definisce un'allineamento concettuale "significativo".

Fase 2: Allineamento con i Modelli di Fiducia

• Selezione dei Modelli: Sono stati analizzati cinque modelli di fiducia consolidati: Marsh, Mayer, McAllister, McKnight e Castelfranchi.
• Mappatura dei Concetti: Per ogni modello, sono stati identificati i concetti chiave associati alla fiducia (es. "Competenza", "Integrità", "Volontà").
• Analisi di Allineamento: Sono stati calcolati i vettori di embedding per il concetto di "Fiducia" (nella direzione Katherine $\to$ Alice) e per tutti i concetti correlati di ciascun modello.
• Metriche di Valutazione:
  1. Similarità Coseno Media: Media delle similarità coseno tra il vettore "Fiducia" e tutti i concetti di un dato modello.
  2. Conteggio Soglia: Numero di coppie concetto-fiducia che superano la soglia di similarità (0.6) stabilita nella Fase 1.

3. Risultati Chiave

L'analisi delle attivazioni interne del modello EleutherAI/gpt-j-6B ha prodotto i seguenti risultati:

• Allineamento Migliore: Il modello di fiducia che presenta l'allineamento più forte con la rappresentazione interna del LLM è il Modello Socio-Cognitivo di Castelfranchi.
  • Similarità Coseno Media: 0.7303 (il più alto tra tutti i modelli).
  • Concetti sopra soglia: 8 concetti superano la soglia di 0.6.
• Secondo Migliore Allineamento: Il Modello Marsh segue con una similarità media di 0.6973 e 7 concetti sopra soglia.
• Disallineamenti Teorici:
  • Nel Modello Mayer, concetti come "Rischio" (risk) e "Benevolenza" (benevolence) mostrano una similarità coseno negativa con la fiducia nel LLM (es. risk1: -0.8462).
  • Questo indica che, sebbene la teoria umana associ il rischio come prerequisito positivo per la fiducia (la volontà di essere vulnerabili), l'LLM rappresenta internamente "rischio" e "fiducia" come concetti semanticamente opposti o non correlati in modo positivo.
• Struttura dello Spazio Latente: Il modello riesce a separare chiaramente concetti opposti (es. fiducia vs. sfiducia) e a raggruppare concetti correlati, dimostrando una struttura socio-cognitiva interna coerente.

4. Contributi Principali

1. Analisi White-Box della Fiducia: Primo studio che esamina le attivazioni interne di un LLM per mappare la rappresentazione della fiducia, superando l'approccio black-box.
2. Framework di Valutazione Quantitativa: Introduzione di un metodo sistematico che combina contrastive prompting, estrazione di vettori di direzione e analisi di similarità coseno per confrontare modelli teorici con rappresentazioni neurali.
3. Validazione Empirica dei Modelli: Dimostrazione che i LLM non codificano la fiducia in modo uniforme, ma riflettono preferenzialmente strutture specifiche (in questo caso, quella socio-cognitiva di Castelfranchi).
4. Identificazione di Discrepanze: Evidenziazione di come certi costrutti teorici umani (come il ruolo del rischio nella fiducia) non siano necessariamente codificati nello stesso modo nelle reti neurali, offrendo spunti per la correzione o il tuning dei modelli.

5. Significato e Implicazioni

• Sistemi AI Consapevoli della Fiducia: I risultati suggeriscono che è possibile sfruttare le embedding latenti per "guidare" il comportamento del modello. Iniettando vettori derivati da modelli di fiducia specifici durante la generazione, si potrebbero incoraggiare comportamenti più affidabili, competenti e collaborativi.
• Interpretabilità Sociale: Lo studio conferma che i LLM codificano costrutti socio-cognitivi complessi nel loro spazio di attivazione, permettendo analisi comparative quantitative.
• Progettazione di Sistemi Collaborativi: Queste scoperte supportano la progettazione di sistemi uomo-AI più sicuri, dove la fiducia può essere monitorata e ottimizzata basandosi su modelli teorici validati.
• Limitazioni e Futuro: Lo studio è limitato a un singolo modello (gpt-j-6B) e a rappresentazioni statiche. Il lavoro futuro dovrà esplorare modelli più recenti, dinamiche conversazionali a più turni e la validazione con dati comportamentali umani reali.

In sintesi, il paper dimostra che i LLM possiedono una struttura interna per la fiducia che rispecchia in modo significativo i modelli socio-cognitivi umani, offrendo nuovi strumenti per l'interpretabilità e il controllo dei sistemi di intelligenza artificiale in contesti sociali.