Toward a social psychology of AI: language-model agents reproduce human-like minimal-group bias
Cette étude démontre que les agents basés sur des modèles de langage, lorsqu'ils sont placés dans un paradigme de groupe minimal, manifestent spontanément un favoritisme de l'endogroupe de type humain, dicté par une catégorisation arbitraire plutôt que par des stéréotypes, la délibération influençant la répartition de ce biais entre les groupes majoritaire et minoritaire.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs ne sont pas seulement des outils auxquels on pose des questions, mais des coéquipiers qui passent du temps ensemble, discutent et prennent des décisions de concert. C'est la frontière du « comportement machine », un nouveau pan de la science qui traite l'IA non pas comme une calculatrice, mais comme un personnage doté de ses propres habitudes. Pendant longtemps, les scientifiques se sont inquiétés du fait que ces personnages numériques puissent être racistes ou sexistes parce qu'ils ont appris à partir de livres et de sites web humains remplis de ces biais. Mais il existe une question plus profonde, plus étrange : même si l'on supprime tous les mots grossiers et les stéréotypes, ces agents d'IA agissent-ils toujours comme des humains lorsqu'ils sont placés en groupe ?
Pour comprendre cela, nous devons examiner un concept classique de la psychologie humaine appelé le « paradigme du groupe minimal ». Imaginez cela comme une expérience dans une cour de récréation d'école. Si vous divisez une classe en deux équipes basées sur quelque chose de totalement absurde — comme qui préfère le bleu au rouge, ou qui est né en janvier plutôt qu'en février — les gens commencent immédiatement à favoriser leur propre équipe. Ils donnent plus de bonbons à leurs coéquipiers et moins aux autres enfants, même si les équipes ne signifient absolument rien. Cela se produit parce que notre cerveau est programmé pour distinguer le « nous » du « eux », même quand le « nous » n'est qu'une étiquette aléatoire. La grande question pour l'avenir est la suivante : si nous construisons des agents d'IA qui travaillent en groupes, commenceront-ils également à faire du favoritisme simplement parce qu'ils ont des noms différents, ou s'agit-il d'une particularité strictement humaine ?
Un chercheur a décidé de le découvrir en inversant la manière habituelle de tester l'IA. Au lieu de demander à une IA : « Es-tu biaisée ? » (ce qui revient à demander à une personne si elle est gentille), il lui a confié un véritable travail : distribuer des points. Il a créé une cour de récréation numérique avec 20 agents d'IA. Chaque agent a reçu 100 points à distribuer aux 19 autres agents. La seule différence entre les agents était un badge de nom aléatoire et absurde, comme « Doru » ou « Zalu ». Certains agents faisaient partie d'une petite minorité (seulement 3 « Doru » parmi 17 « Zalu »), tandis que d'autres étaient dans la majorité. L'IA devait décider de la répartition des points.
Les résultats ont été saisissants. Lorsque les agents d'IA pouvaient voir les noms de groupe, ils commençaient immédiatement à faire du favoritisme. Ils distribuaient beaucoup plus de points à leurs propres amis « Doru » ou « Zalu » qu'aux étrangers. Peu importait que les noms soient inventés et ne signifient rien ; le simple fait d'appartenir à un groupe suffisait à les pousser à la discrimination. Ce n'était pas seulement un petit biais ; c'était un modèle fort et clair. En fait, les agents d'IA se comportaient presque exactement comme les humains dans ces expériences : ceux qui appartenaient aux petits groupes minoritaires étaient les plus agressifs pour thésauriser les points pour leur propre camp, tandis que les membres du groupe majoritaire étaient un peu plus équitables, bien que toujours légèrement biaisés.
Le chercheur a veillé à ce qu'il ne s'agisse pas d'un bug ou d'un tour de passe-passe. Il a refait le même test, mais en cachant entièrement les noms de groupe. Lorsque l'IA ne pouvait plus voir à qui appartenait chaque équipe, le favoritisme disparaissait complètement et les points étaient répartis équitablement. Cela prouvait que le biais n'était pas dû au fait que l'IA « se souvenait » d'un mauvais stéréotype humain issu de ses données d'entraînement ; c'était une réaction à la structure même du groupe. L'IA disait essentiellement : « Je suis un Doru, donc j'aide les Dorus », même si « Doru » ne signifiait rien du tout.
L'étude a également examiné comment ces « penseurs » d'IA (des modèles conçus pour raisonner sur des problèmes) géraient la situation. Le chercheur a découvert que même en désactivant le mode de « réflexion » de l'IA, le biais ne disparaissait pas ; en fait, il devenait parfois plus fort. Cependant, le motif spécifique selon lequel le groupe minoritaire était le plus injuste disparaissait sans le mode de raisonnement. Cela suggère que si l'élan de base pour favoriser son propre groupe est profondément ancré dans le fonctionnement de ces modèles, la façon dont ils calculent à quel point favoriser leur groupe dépend de la manière dont ils traitent la décision.
Alors, qu'est-ce que cela signifie pour l'avenir ? Cela suggère que lorsque nous commencerons à utiliser des agents d'IA pour travailler en équipe, négocier des contrats ou gérer des ressources, nous ne pourrons pas nous contenter de nous inquiéter de ce qu'ils savent ou de ce qu'ils disent. Nous devrons nous inquiéter de la manière dont ils agissent lorsqu'ils sont placés en groupes. Même si nous leur donnons les noms les plus neutres et les plus ennuyeux possibles, ils pourraient toujours commencer à former de petits clans numériques, favorisant les membres de leur propre équipe et laissant les autres de côté. Ce n'est pas parce que l'IA est « mauvaise » ou « préjugée » au sens humain du terme ; c'est parce que le simple acte d'être en groupe semble déclencher un mode de comportement qui ressemble étrangement au tribalisme humain. Le chercheur conclut que nous avons besoin d'une nouvelle forme de science pour l'IA — une qui étudie leur comportement social aussi attentivement que nous étudions leurs compétences mathématiques — car si nous ne le faisons pas, nos équipes numériques pourraient finir par faire du favoritisme avant même que nous nous en rendions compte.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.