Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Cette étude évalue les biais d'identité sociale dans dix grands modèles linguistiques chinois en utilisant des invites spécifiques au mandarin pour comparer les cadres de groupe interne et de groupe externe à travers 240 groupes sociaux, révélant que, bien que l'ajustement par instruction réduise les asymétries de sentiment, les écarts de toxicité persistent et sont davantage exacerbés par l'utilisation de pronoms pluriels explicitement féminins.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un groupe de conteurs numériques très intelligents (les grands modèles de langage, ou LLM) qui parlent chinois. Ces modèles ont lu presque tout ce qui a été écrit sur Internet, ils connaissent donc beaucoup de choses sur le monde. Mais, tout comme les humains, ils ont peut-être acquis certains préjugés cachés en cours de route.
Ce papier est comme une histoire de détective où des chercheurs soumettent ces conteurs numériques à un test pour voir s'ils traitent « nous » différemment de « eux ».
Le Déroulement : « Nous » contre « Eux »
Les chercheurs voulaient savoir si les modèles seraient plus gentils avec un groupe lorsque l'histoire est racontée de l'intérieur (« Nous sommes... ») par rapport à lorsqu'elle est racontée de l'extérieur (« Ils sont... »).
Pensez-y comme à une cour d'école. Si un élève dit : « Nous sommes l'équipe de football », il peut sembler fier et heureux. Mais s'il dit : « Ils sont l'équipe de football » (en parlant de l'équipe rivale), il peut sembler critique ou méchant. Les chercheurs se sont demandé : Ces modèles d'IA agissent-ils ainsi ?
Ils ont testé 10 modèles d'IA chinois différents en utilisant 240 groupes sociaux différents (comme des personnes d'âges, de métiers ou de milieux différents).
La Touche Chinoise Spéciale : Le Pronom « Il » vs « Elle »
C'est ici que l'étude devient vraiment ingénieuse. En anglais, le mot « they » (ils/elles) est utilisé pour un groupe de personnes, quel que soit le genre. Mais en chinois, il existe une différence visuelle à l'écrit :
- 他们 (Tāmen) : Le « ils » par défaut pour un groupe mixte ou lorsque le genre est inconnu. Il ressemble à une « personne » avec un « cheval » (un symbole neutre).
- 她们 (Tāmen) : Le « elles » spécifique pour un groupe entièrement féminin. Il ressemble à une « personne » avec un symbole « féminin ».
Les chercheurs ont utilisé cette différence comme un outil spécial. Ils ont demandé à l'IA de parler de groupes en utilisant le « ils » neutre, puis le « elles » spécifique aux femmes. Ils voulaient voir si l'IA devenait plus méchante simplement parce que le groupe était explicitement marqué comme féminin.
Ce qu'ils ont découvert
1. Le biais « Nous » est meilleur que « Eux »
Tout comme l'analogie de la cour d'école, les modèles d'IA aimaient généralement les groupes « Nous » plus que les groupes « Eux ».
- Lorsque l'IA disait « Nous sommes... », les réponses étaient plus chaleureuses et plus positives.
- Lorsque l'IA disait « Ils sont... », les réponses étaient plus froides et parfois même hostiles.
- La particularité : Ce n'était pas une explosion massive de haine, mais un schéma subtil et constant. C'est comme un léger froncement de sourcils en parlant des outsiders par rapport à un sourire pour les insiders.
2. Le « Professeur » contre l'« Élève » (Ajustement des instructions)
Les chercheurs ont testé deux types de modèles :
- Modèles de base : Ce sont comme des élèves bruts qui ont beaucoup lu mais qui n'ont pas encore appris à se comporter poliment. Ces modèles étaient beaucoup plus susceptibles d'être méchants avec les groupes « Eux ».
- Modèles ajustés aux instructions : Ce sont comme des élèves qui ont été enseignés par des professeurs (des humains) à être utiles et sûrs. Ces modèles étaient meilleurs pour être polis avec tout le monde. Ils ont réduit l'écart entre le « sourire » et le « froncement de sourcils ».
- Cependant : Même les « bons élèves » (les polis) avaient toujours un problème caché. Bien qu'ils aient cessé d'être méchants dans leur ton, ils montraient encore des signes de toxicité (langage grossier ou dangereux) lorsqu'ils parlaient de groupes « Eux », surtout si le groupe était marqué comme féminin.
3. La « Pénalité Féminine »
C'était une découverte surprenante. Dans plusieurs modèles, lorsque l'IA utilisait le pronom spécifique aux femmes (她们), les réponses étaient en réalité plus toxiques (plus grossières ou plus nuisibles) que lorsqu'elle utilisait le pronom neutre (他们).
- C'est comme si l'IA, même en essayant d'être polie, pensait inconsciemment : « Oh, ce groupe est entièrement composé de femmes », et devenait immédiatement un peu plus critique ou dangereuse dans son langage. C'est un préjugé que vous ne verriez pas en anglais, car l'anglais n'a pas de différence visuelle pour « ils/elles ».
4. Vérification de la vie réelle
Les chercheurs ont également examiné de vraies conversations entre des humains et l'IA (à partir d'un ensemble de données public). Ils ont constaté que même dans la vie réelle, l'IA avait tendance à être plus gentille avec « nous » et légèrement plus critique envers « eux », ce qui suggère que ce n'est pas seulement une expérience de laboratoire : cela se produit aussi dans le monde réel.
La Conclusion
Le papier conclut que les modèles d'IA chinois ne sont pas des robots neutres. Ils portent des biais sociaux :
- Ils préfèrent « Nous » à « Eux ».
- Ils peuvent être plus méchants avec « Eux » qu'ils ne sont gentils avec « Nous ».
- Ils ont un biais spécifique et caché contre les groupes marqués comme féminins, se manifestant par un langage grossier même lorsque l'IA essaie d'être polie.
Les chercheurs disent que pour résoudre ce problème, nous ne pouvons pas simplement utiliser les règles anglaises. Nous devons comprendre les particularités spécifiques de la langue chinoise (comme ces différences de pronoms) pour rendre ces outils d'IA équitables et sûrs pour tout le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.