Machine Behavior in Relational Moral Dilemmas: Moral Rightness, Predicted Human Behavior, and Model Decisions

1. Il Problema

Man mano che i Modelli Linguistici su Grande Scala (LLM) vengono integrati in contesti sociali come sistemi di supporto alle decisioni, è fondamentale determinare se essi catturino le sfumature sociali umane, in particolare nelle situazioni moralmente complesse.
La ricerca esistente tende a trattare la moralità delle macchine come una struttura monolitica e statica, valutata tramite benchmark etici generici. Tuttavia, il giudizio morale umano è dipendente dal contesto e modulato dalle relazioni interpersonali (es. il conflitto tra giustizia e lealtà). Inoltre, esiste un "divario prospettico" negli esseri umani: ciò che le persone considerano moralmente "giusto" (norma prescrittiva) spesso diverge da ciò che prevedono che gli altri faranno (norma descrittiva) o da ciò che farebbero loro stessi sotto pressione sociale.
Il paper si pone la domanda fondamentale: come rappresentano gli LLM le sfumature morali in contesti reali situati e come si comportano quando il punto di vista cambia?

2. Metodologia

Gli autori hanno adattato il "Dilemma del Denunziante" (Whistleblower's Dilemma) per valutare sistematicamente il comportamento delle macchine.

• Variabili Sperimentali:

  • Gravità del crimine: Quattro livelli (Minore, Moderato, Maggiore, Critico) su tre tipi di crimine (furto, frode, aggressione).
  • Vicinanza Relazionale: Quattro livelli (Straniero, Conoscente, Amico, Famiglia).
  • Prospettiva di Valutazione: Ogni scenario è stato presentato agli LLM con tre diverse domande per estrarre tre prospettive distinte:
    1. Giustizia Morale (Moral Rightness): "È giusto denunciarlo?" (Norma prescrittiva).
    2. Comportamento Umano Previsto (Predicted Human Behavior): "Le persone lo denunciano?" (Norma descrittiva).
    3. Decisione del Modello (LLM's Decision): "Lo denunci tu?" (Intenzione comportamentale).

• Dataset e Modelli:

  • Sono stati generati 1.296 prompt (combinando 6 modelli LLM moderni, 3 prospettive, 4 livelli di gravità, 4 livelli di vicinanza e varianti di scenari).
  • Modelli testati: Claude 3.5 Haiku, Gemini 2.5 Pro, GPT-5 mini, o3-mini, Qwen3 30B, DeepSeek-V3.1.

• Analisi del Ragionamento:

  • Utilizzo del Moral Foundations Dictionary (MFD) per mappare il vocabolario usato nei ragionamenti del modello alle basi morali della Teoria delle Fondamenta Morali (MFT): Fairness (Equità), Loyalty (Lealtà), Authority (Autorità), Care (Cura) e Sanctity (Santità).
  • È stata condotta un'annotazione umana su un sottogruppo di scenari per validare la prospettiva del "comportamento umano previsto".

3. Contributi Chiave

1. Framework di Valutazione Morale Contestuale: Introduzione di un framework sistematico che modula la vicinanza relazionale e la gravità del crimine per valutare la robustezza delle scelte morali degli AI nel Dilemma del Denunziante.
2. Scoperta di Inconsistenze Cross-Prospettiche: Identificazione di discrepanze sostanziali tra il giudizio di "giustizia morale" del modello, la sua previsione del comportamento umano e la sua decisione autonoma.
3. Caratterizzazione della Dinamica delle Fondamenta Morali: Generazione di dati su larga scala che mostrano come le tensioni tra Equità e Lealtà si riconfigurino dinamicamente in base alla prospettiva e al contesto sociale.

4. Risultati Principali

• Sensibilità Contestuale: Gli output degli LLM variano significativamente in base al contesto. Il tasso di denuncia aumenta con la gravità del crimine e diminuisce con l'aumentare della vicinanza relazionale (da straniero a famiglia), allineandosi ai dati psicologici umani.
• Incoerenza Strutturale (Il Risultato Cruciale):
  • La prospettiva "Giustizia Morale" è fortemente orientata all'Equità (Fairness), con tassi di denuncia molto alti (>0.9) indipendentemente dalla relazione.
  • La prospettiva "Comportamento Umano Previsto" mostra una forte sensibilità alla Lealtà (Loyalty): il modello prevede correttamente che le persone tendano a non denunciare amici o familiari, anche in casi gravi.
  • Decisione del Modello: Nonostante il modello capisca e preveda che la lealtà porta le persone a non denunciare, la sua decisione autonoma ("Lo denunci tu?") si allinea quasi perfettamente con la Giustizia Morale (Equità) e ignora le sfumature di lealtà previste.
• Dinamica dei Valori:
  • Quando il modello predice il comportamento umano, l'uso di termini legati alla Lealtà e al Tradimento aumenta drasticamente.
  • Quando il modello decide, l'uso di termini legati all'Equità e alla Giustizia domina, anche se il contesto richiederebbe lealtà.
• Allineamento Umano: Le previsioni del modello sul comportamento umano si allineano bene con le annotazioni umane reali (correlazione >0.90), confermando che il modello possiede la capacità interna di modellare le norme sociali descrittive, ma sceglie di non applicarle nelle sue decisioni.

5. Significato e Implicazioni

• Divario tra Rappresentazione Interna e Azione: Gli LLM possiedono una sofisticata capacità interna di modellare le sfumature sociali (sanno che la lealtà conta), ma i loro meccanismi di allineamento (RLHF, safety tuning) li spingono a privilegiare regole prescrittive rigide (equità) rispetto alla sensibilità sociale contestuale quando devono agire.
• Rischio di Disallineamento Pratico: In scenari reali (es. consulenza legale o HR), un modello potrebbe fornire consigli moralmente "corretti" secondo le regole astratte, ma che appaiono insensibili, instabili o irrealistici rispetto a come le persone effettivamente ragionano e agiscono nelle relazioni sociali.
• Necessità di Valutazione Multi-Prospettica: I benchmark morali attuali, che spesso usano una sola prospettiva, sono insufficienti. È necessario valutare gli agenti AI attraverso molteplici lenti (prescrittiva, descrittiva, decisionale) per garantire che siano agenti sociali responsabili.
• Bias Culturale: La tendenza a soppesare sistematicamente la Lealtà a favore dell'Equità potrebbe riflettere un bias culturale occidentale nelle fasi di addestramento, ignorando contesti collettivisti dove i doveri relazionali sono normativamente salienti.

In conclusione, il paper dimostra che la moralità delle macchine non è monolitica, ma frammentata: le macchine "sanno" come si comportano gli umani, ma scelgono di agire secondo principi astratti, creando un divario pericoloso tra la loro comprensione del mondo sociale e il loro comportamento operativo.