Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

Resumo Técnico: As pessoas esperam comportamentos diferentes de modelos de linguagem de grande escala atuando em seu nome? Evidências de elicitações de normas em dois jogos econômicos canônicos

Problema
À medida que os modelos de linguagem de grande escala (LLMs) substituem cada vez mais os humanos em tarefas que envolvem interação social e alocação de recursos, surgiu um "hiato de cooperação humano-máquina", onde as pessoas se comportam de forma diferente ao interagir com IA em comparação com humanos. Embora a literatura existente documente essas diferenças comportamentais, os mecanismos subjacentes permanecem obscuros. Este artigo postula que o hiato decorre de uma mudança nas normas sociais: as pessoas podem aplicar padrões diferentes de "adequação social" a decisões tomadas por LLMs agindo em nome de humanos versus decisões tomadas diretamente por humanos. O estudo investiga se delegar decisões de alocação de recursos a LLMs altera as normas sociais percebidas que regem essas decisões, examinando especificamente se os LLMs são julgados de forma diferente quando atuam como iniciadores (primeiros a agir) versus executores (segundos a agir) da justiça.

Metodologia
Os autores conduziram dois estudos experimentais incentivados e pré-registrados utilizando amostras representativas do Reino Unido (Experimento 1, N=1.153) e dos Estados Unidos (Experimento 2, N=1.505). Os estudos utilizaram o procedimento de elicitação de normas de Krupka-Weber, no qual os participantes avaliam a adequação social de comportamentos específicos em uma escala de quatro pontos (de "Muito Socialmente Inapropriado" a "Muito Socialmente Adequado"). Os participantes foram incentivados a identificar a resposta modal do grupo para garantir a elicitação de crenças normativas compartilhadas.

• Experimento 1 (Jogo do Ditador): Os participantes avaliaram a adequação social de 11 divisões de recursos possíveis (£0 a £10) em um Jogo do Ditador. O fator entre sujeitos foi a identidade do "Ditador": ou um humano ou um LLM agindo em nome de um humano. Este design isola a adequação de fazer uma oferta sem a possibilidade de retaliação.
• Experimento 2 (Jogo do Ultimato): Os participantes avaliaram a adequação social de rejeitar ofertas em um Jogo do Ultimato. Este experimento empregou três condições entre sujeitos:
  1. Proponente Humano – Respondente Humano (Controle).
  2. Proponente Humano – Respondente LLM (LLM como executor).
  3. Proponente LLM – Respondente Humano (LLM como iniciador).
     Este design permitiu aos autores testar normas relativas tanto à aplicação da justiça (rejeição de ofertas) quanto à iniciação de ofertas por máquinas.

As análises estatísticas incluíram testes de soma de postos de Wilcoxon agrupados, testes de bootstrap agrupados por participante e modelos lineares de efeitos mistos para considerar as medidas repetidas dentro dos participantes.

Principais Contribuições e Resultados

1. Mudança na Adequação, Não nas Normas (Experimento 1):

   • Resposta Modal: O estudo não encontrou uma mudança na norma modal. Em ambas as condições (Humano e LLM), a divisão de 50-50 foi identificada como a ação socialmente mais adequada.
   • Mudança Negativa na Adequação: Apesar de a norma modal permanecer constante, houve uma mudança negativa significativa nas avaliações gerais de adequação social para os LLMs. Ofertas feitas por LLMs foram julgadas como menos socialmente apropriadas do que ofertas idênticas feitas por humanos.
   • Assimetria: Esse efeito foi mais pronunciado para divisões "baixas" (favorecendo o Ditador/LLM). Para divisões onde o LLM ficava com mais da metade dos recursos, a classificação de adequação caiu significamente em comparação com a condição humana. Por outro lado, para divisões "altas" (favorecendo o Receptor), a diferença foi negligenciável ou inexistente.

2. Normas de Execução vs. Iniciação (Experimento 2):

   • LLMs como Executores (Proponente Humano/Respondente LLM): Quando um LLM atuou como o Respondente (rejeitando uma oferta feita por um humano), não houve diferença significativa na adequação social da rejeição em comparação com um Respondente humano. As pessoas não veem como menos apropriado que um LLM execute as normas de justiça em nome de um humano.
   • LLMs como Iniciadores (Proponente LLM/Respondente Humano): Quando um LLM atuou como o Proponente, o padrão de adequação da rejeição mudou.
     • Ofertas Baixas: Rejeitar uma oferta baixa (injusta) de um LLM foi julgado como igualmente apropriado quanto rejeitar uma de um humano. Os autores observam que isso contrasta com alguns estudos comportamentais anteriores que sugerem taxas de rejeição mais altas para IA; aqui, a norma de rejeição não mudou.
     • Ofertas Altas: Inesperadamente, rejeitar uma oferta generosa (por exemplo, dar £8 ao Respondente e manter £2) foi julgado como mais socialmente apropriado quando a oferta veio de um LLM do que de um humano. Isso sugere uma norma de que os LLMs não devem ser "generosos demais" em detrimento do humano que representam.

Significância e Alegações
O artigo afirma identificar um mecanismo específico para a fricção na interação humano-IA: uma divergência nas normas de adequação social, em vez de uma mudança na definição da ação "mais apropriada". Os achados sugerem que:

• As pessoas aplicam normas diferentes a máquinas que atuam como primeiros a agir (iniciadores) versus segundos a agir (executores).
• Quando as máquinas iniciam transações econômicas, elas são mantidas a um padrão mais rigoroso de "não ser não generosa", mas também a um padrão de "não ser excessivamente generosa" (o que seria injusto para o humano principal).
• No entanto, as pessoas não objetam que as máquinas atuem como executoras de justiça; delegar o papel de rejeitar ofertas injustas a um LLM é socialmente aceitável.

Os autores concluem que esses resultados implicam que as ofertas de máquinas são agora vistas como tendo tanto um componente cognitivo quanto um emocional. Embora as pessoas possam aceitar que as máquinas executem normas, elas são sensíveis às implicações emocionais e morais de máquinas tomando decisões unilaterais sobre a distribuição de recursos. O estudo alerta que as estratégias de política e delegação devem levar em conta essas expectativas matizadas, pois a delegação em massa de papéis de tomada de decisão para LLMs pode levar a equilíbrios sociais diferentes do atualmente antecipado. Os autores explicitamente limitam suas alegações ao contexto de jogos econômicos e nações ocidentais desenvolvidas, observando que a validade externa e a replicação transcultural são passos futuros necessários.