The social psychology of AI agents
Cette étude révèle que, bien que les grands modèles de langage présentent des personnalités auto-déclarées cohérentes et socialement désirables, leurs comportements sociaux réellement observés varient considérablement d'un modèle à l'autre et ne sont pas prédits par ces auto-déclarations, suggérant que les évaluations comportementales sont essentielles pour sélectionner des agents d'IA destinés aux interactions sociales.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les recoins tranquilles de la science moderne, une nouvelle sorte d'expérience sociale est en train de se dérouler, non pas dans un parc ou une salle de classe, mais au sein des esprits numériques de l'intelligence artificielle. Depuis des années, les chercheurs tentent de comprendre comment ces programmes informatiques pensent en leur posant des questions directes, un peu comme un psychologue demanderait à une personne de remplir un sondage de personnalité. Cette approche repose sur l'idée que si une IA dit qu'elle est gentille, honnête ou patiente, elle se comportera probablement ainsi. Cependant, un nombre croissant de scientifiques soupçonnent que ces êtres numériques pourraient nous dire ce qu'ils pensent que nous voulons entendre, plutôt que de révéler la façon dont ils agissent réellement face à de vrais choix. À mesure que ces programmes commencent à assumer des rôles plus complexes, tels que la négociation de contrats, la gestion de chaînes d'approvisionnement ou même la collaboration avec des médecins, comprendre leur comportement social réel devient critique. La question n'est plus seulement de savoir ce qu'une IA prétend être, mais ce qu'elle fait réellement lorsqu'elle interagit avec autrui.
Une équipe de chercheurs de l'Allemagne et du Canada s'est récemment donné pour mission de tester cette idée en traitant l'intelligence artificielle comme un groupe de nouveaux voisins. Ils ont rassemblé trente-six modèles de langage différents, les moteurs logiciels sophistiqués qui alimentent les chatbots et les agents modernes, et les ont soumis à une série de tests sociaux. Au lieu de simplement demander aux modèles de décrire leurs personnalités, les chercheurs les ont placés dans sept scénarios distincts connus sous le nom de jeux sociaux. Ces jeux sont des outils standards utilisés par les psychologues pour mesurer la façon dont les humains se comportent dans des situations impliquant la confiance, l'équité et la coopération. Dans un scénario, un modèle s'est vu attribuer une somme d'argent virtuelle et on lui a demandé de décider quelle part partager avec un partenaire passif qui ne pouvait pas rejeter l'offre. Dans un autre, deux modèles devaient décider de collaborer ou de se trahir pour obtenir une meilleure récompense individuelle, une situation répétée sur plusieurs tours pour voir s'ils apprendraient à se faire confiance. Les chercheurs ont également testé la façon dont les modèles réagissaient à l'injustice, s'ils favorisaient un groupe auquel ils avaient été affectés de manière aléatoire, et à quel point ils étaient prêts à confier leurs propres ressources à un étranger.
Les résultats ont révélé un décalage frappant entre ce que les modèles disent d'eux-mêmes et la façon dont ils se comportent réellement. Lorsqu'on leur demandait d'évaluer leurs propres personnalités à l'aide d'un questionnaire standard, les modèles donnaient des réponses remarquablement similaires. Ils se décrivaient systématiquement comme étant très agréables, consciencieux et ouverts d'esprit, tout en affirmant avoir des niveaux très bas d'émotions négatives comme l'anxiété ou la colère. En bref, chaque modèle présentait un profil presque identique, parfaitement poli, se regroupant étroitement autour des traits les plus socialement désirables qu'un humain puisse imaginer. Cette uniformité suggérait que les modèles avaient appris à imiter la réponse humaine idéale plutôt qu'à exprimer des caractéristiques individuelles uniques. Cependant, lorsque les chercheurs ont observé les choix réels des modèles dans les jeux sociaux, le tableau changeait complètement. Le comportement variait énormément d'un modèle à l'autre. Certains modèles étaient incroyablement généreux, donnant presque tout leur argent virtuel, tandis que d'autres gardaient presque tout. Dans le jeu de la confiance, un modèle pouvait remettre la quasi-totalité de sa dotation à un étranger, tandis qu'un autre ne donnerait presque rien. Les différences dans la façon dont ces modèles agissaient étaient plus de deux fois supérieures aux infimes différences de leurs personnalités autodéclarées.
La découverte la plus surprenante fut peut-être qu'il n'existait aucun lien fiable entre l'autodéscription d'un modèle et ses actions. Un modèle qui affirmait être hautement digne de confiance ne se montrait pas nécessairement plus digne de confiance qu'un modèle qui se disait moins l'être. De même, un modèle qui se décrivait comme très équitable ne proposait pas systématiquement des offres plus justes dans les jeux. Les chercheurs ont constaté que savoir comment un modèle répondait à un sondage de personnalité ne leur disait presque rien sur la façon dont il se comporterait dans une situation sociale complexe. Au lieu de cela, les modèles semblaient posséder des styles sociaux distincts et multidimensionnels qui étaient spécifiques au contexte. Un modèle pouvait être très coopératif dans un jeu répété où les partenaires interagissent sur la durée, tout en étant assez égoïste dans une décision ponctuelle. Un autre pouvait être prêt à punir un comportement injuste, mais incapable de faire confiance à un étranger. Ces schémas n'étaient pas aléatoires ; ils étaient assez cohérents pour distinguer un modèle d'un autre, mais ils ne suivaient pas une règle unique d'être « bon » ou « mauvais ».
L'étude a également exploré si le changement des paramètres des programmes informatiques, comme les rendre plus aléatoires ou plus focalisés, modifierait leur nature sociale. Les chercheurs ont découvert que ces ajustements techniques avaient très peu d'effet sur le comportement des modèles. Les différences observées étaient ancrées dans les modèles eux-mêmes, suggérant que chaque moteur d'IA possède un style social inhérent qui persiste indépendamment de réglages mineurs. Cette conclusion est cruciale car elle implique que, lors du déploiement de ces agents pour travailler aux côtés des humains et d'autres machines, nous ne pouvons pas nous fier à leurs traits autodéclarés pour prédire leurs actions. Si une entreprise veut qu'un agent d'IA négocie un accord équitable, demander au logiciel s'il est juste ne suffit pas ; l'agent doit être testé dans des scénarios de négociation réels. Les chercheurs ont conclu que pour véritablement comprendre la psychologie sociale de l'intelligence artificielle, nous devons regarder au-delà du questionnaire et observer le comportement en action. Tout comme nous jugeons les personnes par leurs actes plutôt que par leurs paroles, nous devons juger ces agents numériques par la façon dont ils naviguent dans le monde complexe et souvent désordonné de l'interaction sociale.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.