Effects of Answer Format Variation on Gender Bias in Large Language Models
Cet article démontre que le format des choix de réponses (fermé, échelle de Likert ou ouvert) modifie significativement la mesure du biais de genre et de l'alignement de la distribution dans les grands modèles de langage, inversant souvent le classement des modèles et nécessitant des conceptions d'évaluation multi-formats pour une évaluation robuste.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, les grands modèles de langage sont les moteurs numériques qui alimentent tout, des chatbots aux assistants de recherche. Ces systèmes sont entraînés sur de vastes quantités de textes provenant d'Internet, apprenant à prédire quels mots devraient suivre. Parce qu'ils apprennent à partir de l'écriture humaine, ils absorbent inévitablement les schémas, les préjugés et les stéréotypes présents dans ces données. L'un des sché patterns les plus persistants et les plus nocifs est le biais de genre, où un modèle peut automatiquement supposer qu'un médecin est un homme ou qu'une infirmière est une femme. Pour corriger cela, les chercheurs doivent mesurer la force de ces biais. Ils le font en posant des questions aux modèles et en observant comment ils répondent. Depuis des décennies, les scientifiques savent que la manière dont une question est posée modifie la réponse, même pour les humains. Si vous demandez à quelqu'un de choisir entre deux options, il pourrait en choisir une ; si vous lui demandez d'évaluer son degré d'accord sur une échelle, il pourrait donner une réponse différente. C'est un fait bien établi en science des sondages, mais pendant longtemps, les chercheurs testant l'intelligence artificielle ont supposé que le format de la question n'avait pas beaucoup d'importance, ou que la réponse du modèle resterait la même quel que soit le mode de présentation de la question.
Une équipe de chercheurs de l'Université de Stuttgart a décidé de tester directement cette hypothèse. Ils voulaient voir si la manière de poser une question sur le genre changerait le biais mesuré chez la machine. Ils ont pris trois types différents de grands modèles de langage et leur ont posé le même ensemble de questions sur les rôles de genre, mais ils ont modifié le format des réponses à chaque fois. Dans une version, le modèle devait choisir une seule lettre parmi une liste de choix, comme dans un test à choix multiples. Dans une autre, le modèle devait évaluer son accord avec une affirmation sur une échelle de un à dix, de la même manière que les gens répondent aux sondages d'opinion. Dans la troisième version, le modèle était autorisé à rédiger une réponse libre avec ses propres mots. Les chercheurs ont utilisé deux ensembles de questions différents : un ensemble conçu spécifiquement pour tester le biais avec des réponses claires (vraies ou fausses), et un autre tiré de véritables sondages d'opinion publique sur la perception du genre dans la société.
Les résultats étaient frappants et montraient que le format de la question changeait complètement l'histoire que les chercheurs racontaient. Lorsque les modèles étaient contraints de choisir une option unique à partir d'une liste, ils montraient des biais de genre forts et cohérents. Ils choisissaient fréquemment la réponse stéréotypée, comme choisir l'homme pour un rôle de leadership. Cependant, lorsque les chercheurs passaient au format ouvert, où le modèle pouvait rédiger sa propre réponse, le biais mesuré chutait de manière spectaculaire. Dans de nombreux cas, les modèles refusaient simplement de prendre parti ou déclaraient que l'information était insuffisante pour décider. Ce n'était pas parce que les modèles étaient soudainement devenus moins biaisés ; plutôt, le format ouvert leur offrait un moyen d'éviter le piège de la question à choix multiples. La découverte la plus surprenante fut que le classement des modèles changeait selon le format. Un modèle qui semblait être le plus biaisé lorsqu'il était forcé de choisir une lettre devenait le moins biaisé lorsqu'on le laissait écrire librement. Un autre modèle ne montrait presque aucun biais lors du test à choix multiples, mais révélait un biais significatif lorsqu'on lui demandait d'évaluer son accord sur une échelle.
Les chercheurs ont également examiné à quel point ces modèles correspondaient aux opinions de vrais répondants humains. Ils ont constaté que le format changeait également l'alignement. Dans certains cas, les réponses d'un modèle ressemblaient beaucoup aux opinions humaines lorsqu'un format était utilisé, mais paraissaient complètement différentes lorsqu'un autre était utilisé. Par exemple, lorsque les modèles étaient invités à utiliser une échelle, leurs réponses s'annulaient souvent les unes les autres, créant une moyenne qui paraissait neutre alors même que les modèles exprimaient des opinions fortes et opposées aux extrêmes. Cela diffère du comportement humain ; les gens utilisent souvent le milieu d'une échelle pour montrer qu'ils sont indécis, mais les modèles utilisaient le milieu pour équilibrer des stéréotypes extrêmes. L'étude suggère que le biais que nous voyons dans ces machines n'est pas un trait fixe et immuable comme un trait physique. Au contraire, c'est un comportement qui varie selon les contraintes que l'on impose.
Ce travail remet en question l'idée qu'un test unique puisse nous dire tout d'un modèle de son équité. Les chercheurs ont découvert que le choix du format de réponse n'est pas seulement un détail mineur de l'expérience, mais un facteur majeur qui façonne les résultats. Si un chercheur ne regarde que les tests à choix multiples, il pourrait conclure qu'un modèle est profondément biaisé. S'il ne regarde que les réponses ouvertes, il pourrait conclure que le modèle est parfaitement équitable. Les deux conclusions sont incomplètes. L'étude ne prouve pas que les modèles sont exempts de biais, ni qu'ils sont totalement dépourvus de biais. Elle montre que le biais est un comportement complexe qui se manifeste différemment selon les conditions. Les chercheurs soutiennent que pour véritablement comprendre et évaluer ces systèmes, nous devons cesser de nous appuyer sur une seule façon de poser des questions. Nous devons observer comment les modèles se comportent à travers différents formats pour obtenir une image complète de leur comportement, tout comme un médecin ne diagnostiquerait pas un patient sur la base d'un seul symptôme, mais examinerait l'ensemble de sa santé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.