Effects of Theory of Mind and Prosocial Beliefs on Steering Human-Aligned Behaviors of LLMs in Ultimatum Games

L'interaction humaine repose souvent sur une compétence discrète et invisible : la capacité de deviner ce qu'une autre personne pense, ressent ou prévoit avant même qu'elle ne dise un mot. Les psychologues appellent cela la théorie de l'esprit. C'est le mécanisme mental qui nous permet de comprendre qu'une autre personne peut avoir une croyance différente de la nôtre, ou que ses actions sont dictées par un désir que nous ne pouvons pas voir. Pendant des décennies, cette capacité a été considérée comme un trait exclusivement humain, essentiel pour naviguer dans des mondes sociaux complexes. Aujourd'hui, alors que les systèmes d'intelligence artificielle deviennent plus sophistiqués, les chercheurs se posent une question fondamentale : les machines peuvent-elles apprendre à utiliser cette même intuition sociale ? Si un programme informatique est chargé de négocier avec un humain, ou avec un autre ordinateur, peut-il réellement comprendre la perspective de l'autre partie, ou se contente-t-il de mimer les mots d'accord sans saisir l'intention qui les sous-tend ?

Pour le découvrir, une équipe de chercheurs de l'Université de gestion de Singapour et de l'Université nationale australienne s'est tournée vers un test classique de négociation humaine connu sous le nom de jeu de l'ultimatum. Dans ce scénario, deux personnes doivent partager une somme d'argent. Une personne, le proposant, suggère la manière de diviser l'argent. L'autre personne, le répondant, doit décider si elle accepte l'offre ou la rejette. Si le répondant accepte, l'argent est partagé comme proposé. S'il rejette l'offre, personne ne reçoit rien. Alors qu'un ordinateur purement logique pourrait suggérer de garder la quasi-totalité de l'argent en s'attendant à ce que l'autre accepte n'importe quoi plutôt que rien, les vrais humains rejettent souvent les offres injustes par sens de la justice, même si cela leur coûte. Les chercheurs voulaient voir si les grands modèles de langage — les puissants systèmes d'IA qui alimentent de nombreux chatbots modernes — pouvaient être programmés pour agir comme ces véritables humains, et si le fait de leur donner un processus de raisonnement spécifique basé sur la « théorie de l'esprit » les aiderait à s'aligner sur le comportement humain.

L'équipe a mis en place une simulation massive impliquant 2 700 parties jouées entre différents agents d'IA. Ils n'ont pas simplement laissé les ordinateurs jouer de manière aléatoire ; ils ont soigneusement assigné à chaque agent une personnalité ou une « croyance prosociale » spécifique. Certains agents ont été programmés pour être égoïstes, ne se souciant que de maximiser leur propre part. D'autres ont été réglés pour être équitables, visant un partage égal. Un troisième groupe a été programmé pour être altruiste, prêt à donner la majeure partie de l'argent à l'autre joueur. Les chercheurs ont ensuite testé comment ces agents se comportaient lorsqu'ils utilisaient différentes méthodes de réflexion. Certains prenaient simplement une décision sans expliquer leur processus de pensée. D'autres utilisaient une technique de raisonnement standard étape par étape. Le groupe le plus intéressant, cependant, a été invité à utiliser le raisonnement de la théorie de l'esprit. Cela signifiait que les agents devaient explicitement réfléchir à ce que l'autre joueur croyait, désirait et intentionnait avant de faire leur mouvement. Ils ont testé cela sur six modèles de langage différents, allant de systèmes commerciaux largement connus à des modèles en open-source, pour voir si la taille ou le type de modèle importait.

Les résultats ont révélé un schéma clair : donner aux agents d'IA la capacité de raisonner sur l'esprit de l'autre joueur améliorait considérablement leur alignement avec les normes humaines. Lorsque les agents utilisaient le raisonnement de la théorie de l'esprit, leurs décisions devenaient beaucoup plus cohérentes avec la façon dont les vraies personnes se comportent dans ces jeux. Par exemple, les agents équitables étaient plus susceptibles de proposer un partage égal, et les agents égoïstes étaient plus susceptibles d'offrir une part qu'un répondant égoïste accepterait réellement. L'étude a montré que le type de raisonnement importait profondément selon le rôle joué par l'IA. Les proposants, qui font la première offre, réussissaient mieux lorsqu'ils utilisaient un type spécifique de théorie de l'esprit axé sur la prédiction de l'état d'esprit de l'autre personne. Les répondants, qui décident d'accepter ou de rejeter, bénéficiaient davantage d'une méthode de raisonnement plus complexe combinant la réflexion sur leurs propres désirs et la réflexion sur les intentions du proposant.

Cependant, les chercheurs ont également découvert une limitation surprenante. Même lorsqu'une IA se voyait explicitement dire d'être égoïste ou altruiste, elle peinait souvent à agir d'une manière qui correspondait véritablement à ces instructions. Lorsqu'un agent était chargé d'être égoïste, il proposait fréquemment un partage trop équitable, comme s'il ne pouvait pas pleinement s'engager à être égoïste. De même, les agents chargés d'être altruistes retenaient parfois l'envie de donner autant que leurs instructions l'exigeaient. Les auteurs suggèrent que cela se produit parce que ces modèles d'IA ont été entraînés sur de vastes quantités de données humaines et affinés pour être utiles et coopératifs, créant un biais interne vers l'équité qui supplante les instructions spécifiques données pour l'expérience. Ce « réglage fin coopératif » agit comme une force cachée, éloignant les agents des comportements extrêmes, qu'il s'agisse d'une égoïsme extrême ou d'une générosité extrême.

L'étude a également examiné de près si le raisonnement énoncé par l'IA correspondait à ses actions réelles. Dans de nombreux cas, la logique interne des agents était cohérente avec leurs décisions finales, mais il y avait des moments de déconnexion. Lorsque des experts humains ont examiné les traces de raisonnement de l'IA, ils ont constaté que les modèles étaient généralement capables d'expliquer leurs choix, mais qu'ils échouaient parfois à articuler correctement leur propre personnalité assignée, surtout lorsqu'ils réagissaient à une offre. Par exemple, un répondant altruiste pouvait justifier l'acceptation d'une faible offre en analysant la gentillesse du proposant plutôt qu'en admettant son propre désir de donner. Cela suggère que, bien que l'IA puisse simuler le comportement extérieur d'une interaction sociale, la cohérence interne de sa « personnalité » peut être fragile.

En fin de compte, la recherche montre que doter les agents d'IA du raisonnement de la théorie de l'esprit est un outil puissant pour les faire se comporter davantage comme des humains dans des situations sociales. Cela les aide à naviguer dans la tension entre leurs propres objectifs et les attentes des autres. Pourtant, l'étude souligne également que ces systèmes ne sont pas des pages blanches ; ils portent des biais profondément ancrés envers la coopération qui peuvent rendre difficile pour eux de jouer authentiquement des rôles exigeant l'égoïsme ou l'altruisme extrême. Les conclusions suggèrent que pour que l'IA puisse réellement coopérer avec les humains dans des décisions à enjeux élevés, nous ne devons pas seulement lui apprendre à penser aux autres, mais aussi comprendre les contraintes cachées de son propre entraînement qui façonnent la façon dont elle interprète ces pensées.