Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

Technische Samenvatting: Verwachten mensen ander gedrag van grote taalmodellen die namens hen handelen? Bewijs uit norm-elicitaties in twee canonieke economische spellen

Probleemstelling
Nu grote taalmodellen (LLM's) steeds vaker menselijke taken vervangen die betrokken zijn bij sociale interactie en de allocatie van middelen, is er een "mens-machine-coöperatiekloof" ontstaan waarbij mensen anders handelen wanneer ze met AI interageren vergeleken met wanneer ze met mensen interageren. Hoewel de bestaande literatuur deze gedragsverschillen documenteert, blijven de onderliggende mechanismen onduidelijk. Dit artikel stelt dat de kloof voortkomt uit een verschuiving in sociale normen: mensen passen mogelijk verschillende standaarden van "sociale gepastheid" toe op beslissingen genomen door LLM's die namens mensen handelen, versus beslissingen genomen door mensen direct. De studie onderzoekt of het delegeren van beslissingen over de allocatie van middelen aan LLM's de waargenomen sociale normen die die beslissingen beheersen verandert, waarbij specifiek wordt gekeken of LLM's anders worden beoordeeld wanneer ze optreden als initiatoren (eerste bewegers) versus handhavers (tweede bewegers) van eerlijkheid.

Methodologie
De auteurs voerden twee vooraf geregistreerde, geïncentiveerde experimentele studies uit met representatieve steekproeven uit het Verenigd Koninkrijk (Experiment 1, N=1.153) en de Verenigde Staten (Experiment 2, N=1.505). De studies maakten gebruik van de Krupka-Weber norm-elicitatieprocedure, waarbij deelnemers de sociale gepastheid van specifiek gedrag beoordelen op een vierpuntsschaal (van "Zeer Sociaal Ongepast" tot "Zeer Sociaal Gepast"). Deelnemers werden geprikkeld om de modale respons van de groep te identificeren om de elicitatie van gedeelde normatieve overtuigingen te waarborgen.

• Experiment 1 (Dictator Game): Deelnemers beoordeelden de sociale gepastheid van 11 mogelijke verdelingen (£0 tot £10) in een Dictator Game. De tussen-onderwerpen factor was de identiteit van de "Dictator": ofwel een mens, ofwel een LLM die handelt namens een mens. Dit ontwerp isoleert de gepastheid van het doen van een aanbod zonder de mogelijkheid van vergelding.
• Experiment 2 (Ultimatum Game): Deelnemers beoordeelden de sociale gepastheid van het afwijzen van aanbiedingen in een Ultimatum Game. Dit experiment maakte gebruik van drie tussen-onderwerpen condities:
  1. Menselijke Proposer – Menselijke Responder (Controle).
  2. Menselijke Proposer – LLM Responder (LLM als handhaver).
  3. LLM Proposer – Menselijke Responder (LLM als initiator).
     Dit ontwerp stelde de auteurs in staat om normen te testen met betrekking tot zowel de handhaving van eerlijkheid (het afwijzen van aanbiedingen) als de initiatie van aanbiedingen door machines.

Statistische analyses omvatten geclusterde Wilcoxon rank-sum tests, participant-geclusterde bootstrap tests en lineaire mixed-effects modellen om rekening te houden met de herhaalde metingen binnen deelnemers.

Belangrijkste Bijdragen en Resultaten

1. Verschuiving in Gepastheid, Niet in Normen (Experiment 1):

   • Modale Respons: De studie vond geen verschuiving in de modale sociale norm. In zowel de Menselijke als de LLM-conditie werd de 50-50 verdeling geïdentificeerd als de meest sociaal passende actie.
   • Neerwaartse Verschuiving in Gepatsheid: Ondanks dat de modale norm constant bleef, was er een significante neerwaartse verschuiving in de algemene beoordelingen van sociale gepastheid voor LLM's. Aanbiedingen gedaan door LLM's werden beoordeeld als minder sociaal gepast dan identieke aanbiedingen gedaan door mensen.
   • Asymmetrie: Dit effect was het meest uitgesproken voor "lage" splits (voordelig voor de Dictator/LLM). Voor splits waarbij de LLM meer dan de helft van de middelen hield, daalde de beoordeling van gepastheid aanzienlijk vergeleken met de menselijke conditie. Daarentegen, voor "hoge" splits (voordelig voor de Ontvanger), was het verschil verwaarloosbaar of niet aanwezig.

2. Normen van Handhaving versus Initiatie (Experiment 2):

   • LLM's als Handhavers (Menselijke Proposer/LLM Responder): Wanneer een LLM als de Responder optrad (het afwijzen van een aanbod gemaakt door een mens), was er geen significant verschil in de sociale gepastheid van afwijzing vergeleken met een menselijke Responder. Mensen vinden het niet minder gepast voor een LLM om eerlijkheidsnormen namens een mens te handhaven.
   • LLM's als Initiatoren (LLM Proposer/Menselijke Responder): Wanneer een LLM als de Proposer optrad, verschoof het patroon van de gepastheid van afwijzing.
     • Lage Aanbiedingen: Het afwijzen van een lage (oneerlijke) aanbieding van een LLM werd beoordeeld als even gepast als het afwijzen van een aanbieding van een mens. De auteurs merken op dat dit contrasteert met sommige eerdere gedragsstudies die hogere afwijzingspercentages voor AI suggereren; hier veranderde de norm van afwijzing niet.
     • Hoge Aanbiedingen: Onverwacht werd het afwijzen van een vrijgevige aanbieding (bijv. de Responder £8 geven en £2 zelf houden) beoordeeld als meer sociaal gepast wanneer de aanbieding van een LLM kwam dan van een mens. Dit suggereert een norm dat LLM's niet "te genereus" mogen zijn ten koste van de mens die zij vertegenwoordigen.

Significantie en Claims
Het artikel claimt een specifiek mechanisme voor mens-AI interactiefrictie te hebben geïdentificeerd: een divergentie in sociale gepastheidsnormen in plaats van een verandering in de definitie van de "meest passende" actie. De bevindingen suggereren dat:

• Mensen passen verschillende normen toe op machines die optreden als eerste bewegers (initiatoren) versus tweede bewegers (handhavers).
• Wanneer machines economische transacties initiëren, worden ze gehanteerd door een striktere standaard van "niet onvrijgevig zijn", maar ook door een standaard van "niet overdreven genereus zijn" (wat onrechtvaardig zou zijn voor de menselijke opdrachtgever).
• Echter, mensen objecteren niet tegen machines die eerlijkheidsnormen handhaven; het delegeren van de rol van het afwijzen van oneerlijke aanbiedingen aan een LLM is sociaal acceptabel.

De auteurs concluderen dat deze resultaten impliceren dat aanbiedingen van machines nu worden gezien als het hebben van zowel een cognitieve als een emotionele component. Hoewel mensen kunnen accepteren dat machines normen handhaven, zijn ze wel gevoelig voor de emotionele en morele implicaties van machines die eenzijdige beslissingen nemen over de verdeling van middelen. De studie waarschuwt dat beleid en delegatiestrategieën rekening moeten houden met deze genuanceerde verwachtingen, aangezien massale delegatie van besluitvormingsrollen aan LLM's zou kunnen leiden tot andere sociale evenwichten dan momenteel wordt verwacht. De auteurs beperken hun claims expliciet tot de context van economische spellen en westerse, ontwikkelde landen, waarbij zij opmerken dat externe validiteit en cross-culturele replicatie noodzakelijke toekomstige stappen zijn.