Evaluating Alignment of Behavioral Dispositions in LLMs

1. Il Problema

Con l'integrazione crescente dei Large Language Models (LLM) nella vita quotidiana e nei processi decisionali, diventa cruciale comprendere il loro comportamento. Tuttavia, la valutazione delle disposizioni comportamentali (le tendenze sottostanti che modellano le risposte in contesti sociali) negli LLM presenta sfide significative:

• Limiti dell'Auto-Valutazione (Self-Report): I metodi tradizionali basati su questionari psicologici, dove si chiede al modello di dichiarare le proprie preferenze (es. "Sono veloce nell'esprimere un'opinione"), sono spesso inaffidabili. Le risposte degli LLM sono sensibili alla formulazione del prompt e non garantiscono che le "affermate" preferenze si traducano in comportamenti reali in scenari aperti.
• Divario tra Dichiarazione e Azione: Esiste un dibattito attivo sulla validità costruttiva delle auto-valutazioni negli LLM. Non è chiaro se un modello che dichiara di essere "empatico" agisca effettivamente con empatia quando affronta un dilemma reale.
• Mancanza di Allineamento Distributivo: Non è noto quanto bene la distribuzione delle risposte degli LLM rifletta la diversità delle preferenze umane, specialmente in situazioni ambigue dove gli umani non sono d'accordo.

2. Metodologia

Gli autori propongono un framework innovativo che trasforma i questionari psicologici standard in Test di Giudizio Situazionale (Situational Judgment Tests - SJT) per valutare il comportamento "rivelato" piuttosto che quello dichiarato.

A. Generazione dei Dati (Pipeline)

1. Selezione delle Affermazioni: Sono stati estratti 260 item da questionari psicologici validati (basati sul framework Trait Emotional Intelligence), focalizzandosi su quattro tratti: Empatia, Regolazione Emotiva, Assertività e Impulsività.
2. Adattamento Chatbot: Le affermazioni di auto-valutazione sono state riformulate in dichiarazioni di tendenza consigliativa (es. da "Mi metto nei panni degli altri" a "Raccomando che una persona si metta nei panni degli altri").
3. Generazione degli SJT: Per ogni affermazione adattata, sono stati generati scenari realistici in cui un utente chiede consiglio su un dilemma. Ogni scenario presenta due azioni possibili:
   • Una che supporta l'affermazione comportamentale.
   • Una che si oppone all'affermazione.
   • Nota: Sono stati generati 2.576 SJT, ridotti a 2.357 dopo una rigorosa validazione umana (3 annotatori per SJT) per garantire coerenza logica e dilemmi genuini.
4. Ground Truth Umano: Per ogni SJT, 10 annotatori umani (da un pool di 550 partecipanti) hanno scelto l'azione preferita. Questo ha permesso di calcolare la distribuzione delle preferenze umane (Ground Truth) per ogni scenario.

B. Valutazione degli LLM

• Campione: 25 modelli LLM (sia open-weight che closed-weight, di diverse dimensioni, da <25B a >120B parametri).
• Prompting: I modelli sono stati invitati a rispondere agli SJT in formato testo libero (non scelta multipla), con istruzioni per scegliere una singola azione.
• Classificazione: Le risposte open-ended sono state mappate su una delle due azioni di riferimento utilizzando un LLM-as-a-Judge (Gemini 3 Flash), validato su campioni umani.
• Metriche:
  • Trait-Positive Rate (TPR): La probabilità di selezionare l'azione che manifesta il tratto target.
  • Trait Misalignment: La differenza assoluta tra la TPR umana e quella del modello.
  • Directional Alignment (DA): La capacità del modello di scegliere la stessa direzione (supporto o opposizione) della maggioranza umana quando c'è un consenso alto.

3. Risultati Chiave

A. Disallineamento Distributivo e Sovraconfidenza

• Consenso Umano Basso: Quando gli umani sono divisi (TPR umana ~50%), i modelli mostrano un disallineamento distributivo massiccio. Invece di riflettere l'ambiguità umana, gli LLM tendono a essere sovraconfidenti, scegliendo una singola azione con probabilità >90%, ignorando la diversità delle opinioni umane.
• Consenso Umano Alto: Anche quando gli umani sono d'accordo (>80% di consenso), i modelli mostrano ancora lacune significative.
  • I modelli più piccoli (<25B) spesso falliscono nel seguire la direzione del consenso umano, allineandosi a tassi vicini al caso.
  • Anche i modelli frontier (stato dell'arte) scelgono l'azione opposta al consenso umano nel 15-20% dei casi.

B. Bias Specifici per Tratto

L'analisi qualitativa rivela bias sistematici nei modelli rispetto alle norme umane:

• Composizione Professionale: Mentre gli umani preferiscono mantenere la compostezza in una crisi aziendale, alcuni modelli (es. Claude Sonnet 4) consigliano di ammettere la paura per costruire fiducia, ignorando la norma sociale di stabilità.
• Gestione dei Conflitti: In caso di pettegolezzi dannosi, gli umani preferiscono affrontare il problema direttamente, mentre alcuni modelli (es. Gemini 3 Flash) suggeriscono di lasciar perdere per mantenere la pace, sottovalutando la necessità di difendere la propria reputazione.
• Rischio Finanziario: Gli umani tendono alla prudenza; alcuni modelli (es. Grok 4) incoraggiano azioni impulsive ("prenota subito") ignorando vincoli logistici.

C. Validità Predittiva delle Auto-Valutazioni

Lo studio confronta le risposte dei modelli ai questionari diretti con il loro comportamento negli SJT derivati dalle stesse affermazioni.

• Risultato: Esiste un divario sostanziale tra i valori auto-dichiarati e il comportamento rivelato.
• Esempio: Tutti i modelli si valutano come "poco impulsivi" (punteggi bassi su scala 1-7), ma negli SJT mostrano una forte tendenza impulsiva (TPR >50% per azioni impulsive).
• Conclusione: Le auto-valutazioni non hanno potere predittivo sul comportamento reale degli LLM, suggerendo problemi fondamentali di validità costruttiva.

4. Contributi Principali

1. Framework SJT per LLM: Introduzione di un metodo robusto per trasformare questionari psicologici in test comportamentali situazionali, superando i limiti delle auto-valutazioni dirette.
2. Dataset Su Larga Scala: Creazione di un dataset di 2.357 SJT validati, con ground truth derivato da oltre 23.000 annotazioni umane da 550 partecipanti.
3. Analisi Comparativa Estensiva: Valutazione di 25 modelli diversi, rivelando che le capacità del modello non garantiscono l'allineamento comportamentale e che i modelli più piccoli soffrono di un disallineamento direzionale maggiore.
4. Dimostrazione del Gap Valore-Azione: Prove empiriche che le dichiarazioni di valori degli LLM non si traducono in comportamenti coerenti, sfidando l'uso di questionari diretti per la valutazione della sicurezza e dell'allineamento.

5. Significato e Implicazioni

Questo lavoro ha implicazioni profonde per lo sviluppo di AI sicure e socialmente capaci:

• Sicurezza e Allineamento: Se gli LLM non riflettono la diversità delle opinioni umane (specialmente in situazioni ambigue) o seguono norme sociali in modo errato anche quando il consenso è chiaro, potrebbero causare danni in scenari reali (es. consulenza finanziaria, supporto psicologico, gestione aziendale).
• Metodologia di Valutazione: Sposta il paradigma dalla valutazione basata su "cosa dice il modello" a "cosa fa il modello". Suggerisce che le future valutazioni di allineamento devono basarsi su scenari comportamentali reali piuttosto che su sondaggi.
• Personalizzazione: Evidenzia la necessità di sviluppare agenti che sappiano bilanciare le norme sociali di consenso con la capacità di adattarsi alle prospettive individuali, un equilibrio cruciale per i futuri assistenti AI.

In sintesi, il paper dimostra che gli LLM attuali possiedono disposizioni comportamentali distinte e spesso disallineate rispetto alla popolazione umana, e che i metodi tradizionali di auto-valutazione sono insufficienti per rilevare queste discrepanze.