Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

Sintesi Tecnica: Le persone si aspettano comportamenti diversi dai modelli linguistici di grandi dimensioni che agiscono per loro conto? Evidenze da elicitazioni di norme in due giochi economici canonici

Problema
Poiché i modelli linguistici di grandi dimensioni (LLM) stanno sempre più sostituendo gli esseri umani in compiti che coinvolgono l'interazione sociale e l'allocazione delle risorse, è emerso un "gap di cooperazione uomo-macchina" in cui le persone si comportano diversamente quando interagiscono con l'IA rispetto agli esseri umani. Sebbene la letteratura esistente documenti queste differenze comportamentali, i meccanismi sottostanti rimangono poco chiari. Questo articolo postula che il gap derivi da uno spostamento nelle norme sociali: le persone potrebbero applicare standard diversi di "appropriatezza sociale" alle decisioni prese dagli LLM che agiscono per conto degli esseri umani rispetto alle decisioni prese direttamente dagli esseri umani. Lo studio indaga se la delega delle decisioni di allocazione delle risorse agli LLM alteri la percezione delle norme sociali che governano tali decisioni, esaminando specificamente se gli LLM siano giudicati diversamente quando agiscono come iniziatori (primi-moventi) rispetto che come esecutori (secondi-moventi) di equità.

Metodologia
Gli autori hanno condotto due studi sperimentali incentivati e pre-registrati utilizzando campioni rappresentativi del Regno Unito (Esperimento 1, N=1.153) e degli Stati Uniti (Esperimento 2, N=1.505). Gli studi hanno utilizzato la procedura di elicitazione delle norme di Krupka-Weber, in cui i partecipanti valutano l'appropriatezza sociale di specifici comportamenti su una scala a quattro punti (da "Molto socialmente inappropriato" a "Molto socialmente appropriato"). I partecipanti sono stati incentivati a identificare la risposta modale del gruppo per garantire l'elicitazione di credenze normative condivise.

• Esperimento 1 (Gioco del Dittatore): I partecipanti hanno valutato l'appropriatezza sociale di 11 possibili ripartizioni di risorse (£0 a £10) in un Gioco del Dittatore. Il fattore tra i soggetti era l'identità del "Dittatore": o un essere umano o un LLM che agisce per conto di un essere umano. Questo design isola l'appropriatezza di fare un'offerta senza la possibilità di ritorsioni.
• Esperimento 2 (Gioco dell'Ultimatum): I partecipanti hanno valutato l'appropriatezza sociale di rifiutare offerte in un Gioco dell'Ultimatum. Questo esperimento ha impiegato tre condizioni tra i soggetti:
  1. Proponente Umano – Rispondente Umano (Controllo).
  2. Proponente Umano – Rispondente LLM (LLM come esecutore).
  3. Proponente LLM – Rispondente Umano (LLM come iniziatore).
     Questo design ha permesso agli autori di testare le norme riguardanti sia l'applicazione dell'equità (rifiuto delle offerte) sia l'iniziazione delle offerte da parte delle macchine.

Le analisi statistiche hanno incluso test Wilcoxon rank-sum raggruppati, test bootstrap raggruppati per partecipante e modelli lineari a effetti misti per tenere conto delle misurazioni ripetute all'interno dei partecipanti.

Contributi Chiave e Risultati

1. Spostamento nell'Appropriatezza, non nelle Norme (Esperimento 1):

   • Risposta Modale: Lo studio ha rilevato che non vi è alcuno spostamento nella norma sociale modale. In entrambe le condizioni (Umano e LLM), la ripartizione 50-50 è stata identificata come l'azione socialmente più appropriata.
   • Spostamento verso il basso dell'Appropriatezza: Nonostante la norma modale rimanga costante, si è riscontrato uno spostamento significativo verso il basso nelle valutazioni complessive di appropriatezza sociale per gli LLM. Le offerte effettuate dagli LLM sono state giudicate meno socialmente appropriate rispetto a offerte identiche effettuate da esseri umani.
   • Asimmetria: Questo effetto è stato più pronunciato per le ripartizioni "basse" (che favoriscono il Dittatore/LLM). Per le ripartizioni in cui l'LLM tratteneva più della metà delle risorse, la valutazione di appropriatezza è scesa significativamente rispetto alla condizione umana. Al contrario, per le ripartizioni "alte" (che favoriscono il Destinatario), la differenza è stata trascurabile o inesistente.

2. Norme di Esecuzione vs. Iniziazione (Esperimento 2):

   • LLM come Esecutori (Proponente Umano/Rispondente LLM): Quando un LLM agiva come Rispondente (rifiutando un'offerta fatta da un essere umano), non è stata rilevata alcuna differenza significativa nella appropriatezza sociale del rifiuto rispetto a un Rispondente umano. Le persone non ritengono meno appropriato che un LLM applichi le norme di equità per conto di un essere umano.
   • LLM come Iniziatori (Proponente LLM/Rispondente Umano): Quando un LLM agiva come Proponente, il pattern di appropriatezza del rifiuto è cambiato.
     • Offerte Basse: Rifiutare un'offerta bassa (ingiusta) da parte di un LLM è stato giudicato ugualmente appropriato quanto rifiutare una da un essere umano. Gli autori notano che questo contrasta con alcuni studi comportamentali precedenti che suggeriscono tassi di rifiuto più elevati per l'IA; qui, la norma del rifiuto non è cambiata.
     • Offerte Alte: Inaspettatamente, rifiutare un'offerta generosa (ad esempio, dare al Rispondente £8 e tenersi £2) è stato giudicato più socialmente appropriato quando l'offerta proveniva da un LLM rispetto a un essere umano. Ciò suggerisce una norma secondo cui gli LLM non dovrebbero essere "troppo generosi" a discapito dell'essere umano che rappresentano.

Significato e Rivendicazioni
L'articolo sostiene di aver identificato un meccanismo specifico per l'attrito nell'interazione uomo-IA: una divergenza nelle norme di appropriatezza sociale piuttosto che un cambiamento nella definizione dell'azione "più appropriata". I risultati suggeriscono che:

• Le persone applicano norme diverse alle macchine che agiscono come primi-moventi (iniziatori) rispetto ai secondi-moventi (esecutori).
• Quando le macchine iniziano transazioni economiche, sono soggette a uno standard più rigoroso di "non essere poco generose", ma anche a uno standard di "non essere eccessivamente generose" (il che sarebbe ingiusto per l'essere umano rappresentato).
• Tuttavia, le persone non si oppongono al fatto che le macchine agiscano come esecutori di equità; delegare il ruolo di rifiutare offerte inique a un LLM è socialmente accettabile.

Gli autori concludono che questi risultati implicano che le offerte delle macchine sono ora viste come dotate sia di una componente cognitiva che di una emotiva. Sebbene le persone possano accettare che le macchine applichino le norme, esse sono sensibili alle implicazioni emotive e morali del fatto che le macchine prendano decisioni unilaterali sulla distribuzione delle risorse. Lo studio avverte che le strategie di politica e delega devono tenere conto di queste sfumature di aspettativa, poiché la delega di massa dei ruoli decisionali agli LLM potrebbe portare a equilibri sociali diversi da quelli attualmente anticipati. Gli autori limitano esplicitamente le loro rivendicazioni al contesto dei giochi economici e delle nazioni occidentali sviluppate, sottolineando che la validità esterna e la replicazione transculturale sono passi futuri necessari.