Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

Résumé technique : Les gens attendent-ils des comportements différents de la part des grands modèles de langage agissant en leur nom ? Évidences issues d'éllicitations de normes dans deux jeux économiques canoniques

Énoncé du problème
Alors que les grands modèles de langage (LLM) remplacent de plus en plus les humains dans des tâches impliquant l'interaction sociale et l'allocation de ressources, un « écart de coopération humain-machine » est apparu, où les gens se comportent différemment lorsqu'ils interagissent avec une IA par rapport à des humains. Bien que la littérature existante documente ces différences de comportement, les mécanismes sous-jacents restent obscurs. Cet article postule que cet écart provient d'un changement de normes sociales : les gens pourraient appliquer des standards différents de « l'appropriation sociale » aux décisions prises par des LLM agissant au nom d'humains par rapport aux décisions prises directement par des humains. L'étude examine si la délégation de décisions d'allocation de ressources à des LLM modifie la perception des normes sociales régissant ces décisions, en examinant spécifiquement si les LLM sont jugés différemment lorsqu'ils agissent comme initiateurs (premiers acteurs) ou comme exécuteurs (seconds acteurs) de l'équité.

Méthodologie
Les auteurs ont mené deux études expérimentales rémunérées et pré-enregistrées utilisant des échantillons représentatifs du Royaume-Uni (Expérience 1, N=1 153) et des États-Unis (Expérience 2, N=1 505). Les études utilisaient la procédure d'élicitation de normes de Krupka-Weber, où les participants évaluent le caractère socialement approprié de comportements spécifiques sur une échelle de quatre points (allant de « Très socialement inapproprié » à « Très socialement approprié »). Les participants étaient rémunérés pour identifier la réponse modale du groupe afin de garantir l'élicitation de croyances normatives partagées.

• Expérience 1 (Jeu du dictateur) : Les participants ont évalué le caractère socialement approprié de 11 répartitions de ressources possibles (£0 à £10) dans un jeu du dictateur. Le facteur inter-sujets était l'identité du « Dictateur » : soit un humain, soit un LLM agissant au nom d'un humain. Ce design isole l'appropriation de la formulation d'une offre sans la possibilité de représailles.
• Expérience 2 (Jeu de l'ultimatum) : Les participants ont évalué le caractère socialement approprié de l'échange d'offres dans un jeu de l'ultimatum. Cette expérience employait trois conditions inter-sujets :
  1. Proposeur Humain – Répondeur Humain (Contrôle).
  2. Proposeur Humain – Répondeur LLM (LLM en tant qu'exécuteur).
  3. Proposeur LLM – Répondeur Humain (LLM en tant qu'initiateur).
     Ce design a permis aux auteurs de tester les normes concernant à la fois l'application de l'équité (le rejet d'offres) et l'initiation d'offres par des machines.

Les analyses statistiques comprenaient des tests de Wilcoxon à rangs cumulés groupés, des tests de bootstrap groupés par participant et des modèles linéaires à effets mixtes pour tenir compte des mesures répétées au sein des participants.

Contributions clés et résultats

1. Changement d'appropriation, non de normes (Expérience 1) :

   • Réponse modale : L'étude n'a trouvé aucun changement dans la norme sociale modale. Dans les conditions Humain et LLM, la répartition 50-50 a été identifiée comme l'action la plus socialement appropriée.
   • Décalage vers le bas de l'appropriation : Malgré la constance de la norme modale, il y a eu un décalage significatif vers le bas des évaluations globales de l'appropriation sociale pour les LLM. Les offres faites par des LLM ont été jugées moins socialement appropriées que des offres identiques faites par des humains.
   • Asymétrie : Cet effet était plus prononcé pour les répartitions « basses » (favorisant le Dictateur/LLM). Pour les répartitions où le LLM conservait plus de la moitié des ressources, l'évaluation de l'appropriation chutait significativement par rapport à la condition humaine. À l'inverse, pour les répartitions « hautes » (favorisant le Bénéficiaire), la différence était négligeable ou inexistante.

2. Normes d'exécution vs Initiation (Expérience 2) :

   • LLM en tant qu'exécuteurs (Proposeur Humain / Répondeur LLM) : Lorsqu'un LLM agissait comme le Répondeur (rejetant une offre faite par un humain), il n'y avait pas de différence significative dans l'appropriation sociale du rejet par rapport à un Répondeur humain. Les gens ne considèrent pas qu'il est moins approprié pour un LLM d'appliquer les normes d'équité au nom d'un humain.
   • LLM en tant qu'initiateurs (Proposeur LLM / Répondeur Humain) : Lorsque le LLM agissait comme le Proposeur, le schéma d'appropriation du rejet changeait.
     • Offres basses : Rejeter une offre faible (injuste) provenant d'un LLM était jugé aussi approprié que de rejeter une offre provenant d'un humain. Les auteurs notent que cela contraste avec certaines études comportementales antérieures suggérant des taux de rejet plus élevés pour l'IA ; ici, la norme de rejet n'a pas changé.
     • Offres hautes : De manière inattendue, rejeter une offre généreuse (par exemple, donner £8 au Répondeur et garder £2) était jugé comme plus socialement approprié lorsqu'elle provenait d'un LLM que d'un humain. Cela suggère une norme selon laquelle les LLM ne devraient pas être « trop généreux » au détriment de l'humain qu'ils représentent.

Signification et affirmations
L'article affirme identifier un mécanisme spécifique de friction dans l'interaction humain-IA : une divergence dans les normes d'appropriation sociale plutôt qu'un changement dans la définition de l'action « la plus appropriée ». Les résultats suggèrent que :

• Les gens appliquent des normes différentes aux machines agissant comme premiers acteurs (initiateurs) par rapport aux seconds acteurs (exécuteurs).
• Lorsque les machines initient des transactions économiques, elles sont tenues à un standard plus strict de « ne pas être peu généreux », mais aussi à un standard de « ne pas être excessivement généreux » (ce qui serait injuste pour l'humain qu'elles représentent).
• Cependant, les gens ne s'opposent pas à ce que les machines agissent comme exécuteurs de l'équité ; déléguer le rôle de rejet des offres injustes à un LLM est socialement acceptable.

Les auteurs concluent que ces résultats impliquent que les offres provenant de machines sont désormais perçues comme ayant à la fois une composante cognitive et une composante émotionnelle. Bien que les gens puissent accepter que les machines appliquent les normes, ils sont sensibles aux implications émotionnelles et morales de la prise de décisions unilatérales par des machines concernant la distribution des ressources. L'étude avertit que les politiques et les stratégies de délégation doivent tenir compte de ces attentes nuancées, car une délégation massive des rôles de décision aux LLM pourrait conduire à des équilibres sociaux différents de ceux actuellement anticipés. Les auteurs limitent explicitement leurs affirmations au contexte des jeux économiques et des nations occidentales développées, notant que la validité externe et la réplication transculturelle sont des étapes futures nécessaires.