Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

Resumen Técnico: ¿Espera la gente un comportamiento diferente de los modelos de lenguaje de gran tamaño que actúan en su nombre? Evidencia de elicitaciones de normas en dos juegos económicos canónicos

Planteamiento del problema
A medida que los modelos de lenguaje de gran tamaño (LLM) reemplazan cada vez más a los humanos en tareas que implican interacción social y asignación de recursos, ha surgido una "brecha de cooperación humano-máquina" en la que las personas se comportan de manera diferente cuando interactúan con una IA en comparación con los humanos. Si bien la literatura existente documenta estas diferencias de comportamiento, los mecanismos subyacentes siguen sin estar claros. Este artículo postula que la brecha surge de un cambio en las normas sociales: las personas pueden aplicar estándares diferentes de "apropiación social" a las decisiones tomadas por los LLM que actúan en nombre de humanos frente a las decisiones tomadas directamente por humanos. El estudio investiga si la delegación de decisiones de asignación de recursos a los LLM altera las normas sociales percibidas que rigen dichas decisiones, examinando específicamente si los LLM son juzgados de manera diferente cuando actúan como iniciadores (primeros actores) versus ejecutores (segundos actores) de la equidad.

Metodología
Los autores llevaron a cabo dos estudios experimentales incentivados y pre-registrados con muestras representativas del Reino Unido (Experimento 1, N=1.153) y los Estados Unidos (Experimento 2, N=1.505). Los estudios utilizaron el procedimiento de elicitación de normas de Krupka-Weber, donde los participantes califican la apropiación social de comportamientos específicos en una escala de cuatro puntos (desde "Muy socialmente inapropiado" hasta "Muy socialmente apropiado"). Los participantes fueron incentivados para identificar la respuesta modal del grupo para asegurar la elicitación de creencias normativas compartidas.

• Experimento 1 (Juego del Dictador): Los participantes calificaron la apropiación social de 11 posibles repartos (£0 a £10) en un Juego del Dictador. El factor entre sujetos fue la identidad del "Dictador": ya fuera un humano o un LLM actuando en nombre de un humano. Este diseño aisla la apropiación de realizar una oferta sin la posibilidad de represalias.
• Experimento 2 (Juego del Ultimátum): Los participantes calificaron la apropiación social de rechazar ofertas en un Juego del Ultimátum. Este experimento empleó tres condiciones entre sujetos:
  1. Proponente Humano – Receptor Humano (Control).
  2. Proponente Humano – Receptor LLM (LLM como ejecutor).
  3. Proponente LLM – Receptor Humano (LLM como iniciador).
     Este diseño permitió a los autores probar las normas relativas tanto a la ejecución de la equidad (rechazar ofertas) como a la iniciación de ofertas por parte de máquinas.

Los análisis estadísticos incluyeron pruebas de suma de rangos de Wilcoxon agrupadas, pruebas de bootstrap agrupadas por participante y modelos lineales de efectos mixtos para dar cuenta de las medidas repetidas dentro de los participantes.

Contribuciones clave y resultados

1. Cambio en la apropiación, no en las normas (Experimento 1):

   • Respuesta modal: El estudio no encontró un cambio en la norma modal social. Tanto en la condición Humana como en la de LLM, el reparto 50-50 fue identificado como la acción más socialmente apropiada.
   • Desplazamiento descendente en la apropiación: A pesar de que la norma modal se mantuvo constante, hubo un desplazamiento descendente significativo en las calificaciones generales de apropiación social para los LLM. Las ofertas realizadas por los LLM fueron juzgadas como menos socialmente apropiadas que las ofertas idénticas realizadas por humanos.
   • Asimetría: Este efecto fue más pronunciado para los repartos "bajos" (que favorecen al Dictador/LLM). Para los repartos donde el LLM se quedaba con más de la mitad de los recursos, la calificación de apropiación cayó significamente en comparación con la condición humana. Por el contrario, para los repartos "altos" (que favorecen al Receptor), la diferencia fue insignificante o inexistente.

2. Normas de ejecución vs. iniciación (Experimento 2):

   • LLMs como ejecutores (Proponente Humano/Receptor LLM): Cuando un LLM actuó como el Receptor (rechazando una oferta hecha por un humano), no hubo una diferencia significativa en la apropiación social del rechazo en comparación con un Receptor humano. Las personas no consideran que sea menos apropiado que un LLM ejecute las normas de equidad en nombre de un humano.
   • LLMs como iniciadores (Proponente LLM/Receptor Humano): Cuando un LLM actuó como el Proponente, el patrón de apropiación del rechazo cambió.
     • Ofertas bajas: Rechazar una oferta baja (injusta) de un LLM fue juzgado como igualmente apropiado que rechazar una de un humano. Los autores señalan que esto contrasta con algunos estudios de comportamiento previos que sugieren tasas de rechazo más altas para la IA; aquí, la norma de rechazo no cambió.
     • Ofertas altas: Inesperadamente, rechazar una oferta generosa (por ejemplo, dar £8 al Receptor y quedarse con £2) fue juzgado como más socialmente apropiado cuando la oferta provenía de un LLM que cuando provenía de un humano. Esto sugiere una norma de que los LLM no deben ser "demasiado generosos" en detrimento del humano que representan.

Significado y afirmaciones
El artículo afirma identificar un mecanismo específico para la fricción en la interacción humano-IA: una divergencia en las normas de apropiación social en lugar de un cambio en la definición de la acción "más apropiada". Los hallazgos sugieren que:

• Las personas aplican diferentes normas a las máquinas que actúan como primeros actores (iniciadores) frente a segundos actores (ejecutores).
• Cuando las máquinas inician transacciones económicas, se les exige un estándar más estricto de "no ser poco generoso", pero también un estándar de "no ser excesivamente generoso" (lo cual sería injusto para el humano principal).
• Sin embargo, las personas no objetan que las máquinas actúen como ejecutores de la equidad; delegar el rol de rechazar ofertas injustas a un LLM es socialmente aceptable.

Los autores concluyen que estos resultados implican que las ofertas de las máquinas ahora se perciben como teniendo tanto un componente cognitivo como uno emocional. Si bien las personas pueden aceptar que las máquinas ejecuten las normas, son sensibles a las implicaciones emocionales y morales de que las máquinas tomen decisiones unilaterales sobre la distribución de recursos. El estudio advierte que la política y las estrategias de delegación deben tener en cuenta estas expectativas matizadas, ya que la delegación masiva de roles de toma de decisiones a los LLM podría conducir a equilibrios sociales diferentes a los anticipados actualmente. Los autores limitan explícitamente sus afirmaciones al contexto de los juegos económicos y las naciones occidentales desarrolladas, señalando que la validez externa y la replicación transcultural son pasos futuros necesarios.