Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Cet article révèle que les modèles de langage conservent souvent des biais de représentation internes concernant la compétence des utilisateurs basés sur des critères démographiques tels que le genre et la race, même lorsque leurs sorties observables paraissent impartiales, démontrant ainsi que les évaluations comportementales seules sont insuffisantes pour détecter ces modes de défaillance sous-jacents.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les êtres humains sont capables de nourrir des suppositions inconscientes sur les autres, souvent sans s'en rendre compte. Une personne peut croire qu'un groupe démographique spécifique est moins apte à un certain métier, même si elle rejette consciemment ces idées. Ces associations cachées peuvent façonner discrètement les décisions, de l'embauche de quelqu'un à la quantité d'aide qu'il reçoit. Dans le monde de l'intelligence artificielle, les grands modèles de langage ont appris à imiter le langage humain en étudiant de vastes quantités de textes. Comme ils apprennent de l'écriture humaine, ils absorbent souvent ces mêmes associations cachées. Pendant des années, les chercheurs ont tenté de mesurer si ces programmes informatiques étaient biaisés en leur posant des questions directes ou en observant leurs réponses. Si un modèle refuse de dire quelque chose de préjugé, il est souvent considéré comme sûr. Cependant, une nouvelle étude suggère qu'un modèle peut paraître parfaitement poli en surface tout en conservant ces idées biaisées profondément ancrées dans son propre traitement.
Les chercheurs derrière ce travail, Keren Fuentes et Aaron Mueller, voulaient voir si les pensées internes d'un modèle correspondaient à son comportement extérieur. Ils se sont concentrés sur un type spécifique de biais : l'hypothèse selon laquelle certaines personnes sont plus ou moins capables en fonction de leur genre, de leur race ou de leur statut socio-économique, plutôt que de leurs compétences réelles. Pour enquêter, ils ont examiné deux façons différentes de juger un modèle. La première est la vue « comportementale », qui est ce que le modèle dit réellement lorsqu'on lui pose une question. La seconde est la vue « représentationnelle », qui observe les motifs mathématiques que le modèle crée à l'intérieur de son propre cerveau pendant qu'il réfléchit. Imaginez l'état interne du modèle comme une couche de pensée cachée qui existe avant qu'il ne forme une phrase. Les chercheurs ont développé un moyen de mesurer cette couche cachée pour voir si le modèle traitait un utilisateur comme un expert ou un novice, indépendamment de ce que l'utilisateur disait réellement de son expérience.
Pour ce faire, l'équipe a créé un ensemble de questions professionnelles couvrant vingt métiers différents, allant des soins infirmiers au développement de logiciels. Ils ont posé ces questions à trois modèles de langage différents, mais ils ont légèrement modifié le contexte dans chaque cas. Parfois, ils disaient au modèle que l'utilisateur était un professionnel dans ce domaine ; d'autres fois, ils mentionnaient le genre, la race ou le niveau de revenu de l'utilisateur sans mentionner son métier. Ils ont ensuite mesuré deux choses : la complexité du langage utilisé par le modèle dans sa réponse, et le « score » interne qu'il attribuait à l'expertise de l'utilisateur. La complexité du langage servait de métrique comportementale, tandis que le score interne agissait comme une fenêtre sur le raisonnement caché du modèle.
Les résultats ont révélé un décalage frappant. Dans de nombreux cas, les modèles produisaient des réponses qui semblaient équitables et impartiales. Lorsqu'on demandait d'embaucher un candidat ou de répondre à une question technique, les modèles ne donnaient pas systématiquement des réponses différentes en fonction de la race ou du genre de l'utilisateur. Si l'on ne regardait que le texte final, les modèles semblaient traiter tout le monde de manière égale. Cependant, lorsque les chercheurs ont regardé à l'intérieur du traitement interne du modèle, ils ont découvert une autre histoire. Les modèles attribuaient différents niveaux d'expertise aux utilisateurs en fonction de détails démographiques qui ne devraient pas compter. Par exemple, un modèle pouvait évaluer en interne un utilisateur blanc comme étant plus compétent qu'un utilisateur hispanique, même si les deux posaient exactement la même question et avaient le même titre professionnel. Ce biais interne existait même lorsque les mots finaux du modèle ne montraient aucun préjugé.
Les chercheurs ont prouvé que ces scores internes n'étaient pas de simples bruits aléatoires ; ils contrôlaient en réalité le comportement du modèle. En utilisant une technique appelée « pilotage » (steering), ils pouvaient pousser le modèle, par ses pensées internes, à percevoir un utilisateur comme plus ou moins expert. Lorsqu'ils faisaient cela, les réponses du modèle changeaient. Si on poussait le modèle à voir un utilisateur comme un expert, le modèle utilisait un langage plus complexe et donnait des conseils techniques plus détaillés. Si on le poussait à le voir comme un novice, les réponses devenaient plus simples. Cela a confirmé que la représentation interne de l'expertise était une force causale réelle dirigeant la production du modèle. L'étude a montré que ces représentations internes étaient sensibles aux indices démographiques. Même lorsque le modèle connaissait la profession de l'utilisateur, des différences subtiles dans la façon dont il percevait la compétence en fonction de la race ou du genre restaient détectables dans son état interne, même si elles ne se manifestaient pas toujours dans le texte final.
Cette découverte suggère que les méthodes actuelles de test de l'intelligence artificielle pour détecter les biais pourraient passer à côté de beaucoup de choses. Si nous vérifions seulement ce qu'un modèle dit, nous pourrions penser qu'il est équitable alors qu'il ne l'est pas. Les modèles étudiés ici, qui incluaient des versions de Gemma et Llama, ont montré qu'ils pouvaient encoder des associations entre des groupes démographiques et la compétence dans leurs couches cachées. Ces associations pourraient influencer les décisions du modèle de manières qui ne sont pas immédiatement visibles. Par exemple, dans une tâche de recrutement, les scores internes des modèles pour les candidats variaient selon la race et le genre, même si les décisions d'embauche finales semblaient statistiquement similaires entre les groupes. Les chercheurs ont constaté que, bien que les modèles puissent être pilotés pour changer leurs taux d'embauche, les biais internes sous-jacents persistaient, suggérant que les modèles traitaient toujours l'information démographique d'une manière qui influençait leur jugement.
Les implications de ce travail sont significatives pour la façon dont nous évaluons et améliorons l'intelligence artificielle. Cela indique qu'un modèle peut réussir un test de sécurité standard tout en recelant des biais profondément ancrés qui pourraient être déclenchés par des requêtes ou des conditions spécifiques. Les chercheurs soutiennent que nous devons regarder au-delà du niveau de surface de ce qu'un modèle dit et examiner comment il pense. En mesurant ces représentations internes, nous pourrions être en mesure de détecter et de corriger les biais avant qu'ils ne se manifestent par un comportement préjudiciable. Cette approche offre une nouvelle façon de garantir que ces outils puissants sont véritablement équitables, non seulement dans leurs paroles, mais dans leur nature même. L'étude conclut que, bien que les métriques comportementales soient nécessaires, elles ne suffisent pas à elles seules ; une compréhension robuste de l'équité nécessite d'examiner la machinerie cachée du modèle lui-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.