Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model
Cet article démontre que, dans les grands modèles de langage, les propriétés d'une identité démographique étant lisible, fidèlement structurée et utilisée de manière causale sont trois phénomènes dissociables, révélant que si des têtes d'attention spécifiques peuvent encoder des différences de groupes de type sondage avec une grande fidélité, cet encodage ne se traduit pas nécessairement par l'utilisation causale réelle du modèle pour générer des réponses.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les modèles de langage de grande taille sont de plus en plus sollicités pour agir comme des substituts d'êtres humains dans la recherche en sciences sociales. Au lieu de passer des mois et des millions de dollars à interroger des milliers de personnes réelles pour comprendre comment différents groupes perçoivent la politique, la religion ou l'économie, les chercheurs peuvent simplement demander à un programme informatique de simuler ces réponses. L'espoir est que ces substituts numériques puissent capturer les nuances subtiles entre un jeune démocrate et un républicain plus âgé, ou entre un hindou et un chrétien, tout comme le ferait un véritable sondage. Mais un corpus croissant de preuves suggère que ces simulations échouent. Les réponses de l'ordinateur ont tendance à être trop uniformes, trop complaisantes et trop similaires les unes des autres, quel que que soit le label démographique attaché à l'invite. Le mystère central est de savoir si cet échec est dû au fait que le modèle ne connaît tout simplement pas les différences entre ces groupes, ou parce qu'il les connaît mais choisit de ne pas les utiliser lorsqu'il s'exprime.
Pour résoudre cela, un chercheur s'est proposé d'examiner l'intérieur du « cerveau » d'un grand modèle de langage pour voir où réside réellement l'information démographique. L'enquête s'est concentrée sur un modèle spécifique, Mistral-7B, et a posé trois questions distinctes. Premièrement, l'information concernant l'identité de celui qui répond est-elle lisible à partir des signaux internes du modèle ? Deuxièmement, cette information est-elle organisée de manière à refléter le monde réel, où la distance entre deux groupes dans l'esprit de l'ordinateur correspond à la distance qui les sépare dans la réalité ? Et troisièmement, le modèle utilise-t-il réellement cette carte interne lorsqu'il génère une réponse ? L'étude a traité ces trois questions comme des propriétés distinctes, réalisant qu'un modèle pourrait posséder une carte interne fidèle sans jamais la consulter pour former une opinion.
Les chercheurs ont commencé par cartographier le paysage interne du modèle. Ils ont créé des invites pour 169 groupes intersectionnels différents, tels que de jeunes Asiatiques démocrates ou des républicains hindous d'âge moyen, et ont examiné l'état interne du modèle à la toute fin de son traitement. Ils ont comparé l'arrangement interne des groupes par le modèle par rapport aux données de sondages réels du Pew Research Center, qui fournissaient la vérité de terrain sur la façon dont ces groupes diffèrent réellement en opinion. Les résultats ont révélé que la méthode standard pour lire l'esprit du modèle — observer la couche de sortie finale — était trompeuse par sa faiblesse. Elle suggérait que le modèle avait une vision floue et indistincte des différences démographiques. Cependant, lorsque les chercheurs ont regardé plus profondément, dans les composants spécifiques qui constituent le traitement du modèle, ils ont trouvé une image bien plus claire.
L'information n'était pas perdue ; elle était simplement cachée dans des canaux spécifiques et étroits. L'étude a découvert que la géométrie interne du modèle est dominée par des têtes d'attention individuelles, qui sont des sous-processeurs spécialisés au sein du modèle. Dans cinq des six types d'attributs démographiques testés, la meilleure tête d'attention unique fournissait une carte des différences entre les groupes bien plus précise que l'ensemble de la couche de sortie finale du modèle. Une tête d'attention spécifique, située dans la 11e couche du modèle, se distinguait par sa remarquable fidélité. Elle détenait une représentation de tous les six types démographiques — âge, éducation, revenu, religion, parti politique et idéologie politique — qui correspondait étroitement à la structure réelle de la divergence entre ces groupes. Ce composant unique portait une carte où les relations entre les groupes étaient disposées avec une fidélité atteignant environ 70 % de la limite théorique de ce qui pourrait être mesuré, même en tenant compte du fait que les données de sondage contiennent elles-mêmes un certain bruit.
Pourtant, trouver une carte fidèle à l'intérieur du modèle ne signifiait pas que le modèle l'utilisait. Les chercheurs ont ensuite testé si cet arrangement interne précis influençait réellement les réponses du modèle. Ils ont réalisé une expérience causale où ils ont permuté l'identité démographique dans l'invite et ont observé comment les opinions prédites par le modèle changeaient. Le résultat fut frappant : changer l'identité entière de la personne dans l'invite déplaçait les réponses prédites du modèle de moins de 2 % de leur erreur totale. Le modèle produisait des réponses légèrement différentes, mais également erronées, pour les différents groupes. Plus surprenant encore, les chercheurs ont découvert que l'emplacement possédant la carte la plus fidèle n'était pas l'emplacement qui dictait les réponses. La voie causale la plus claire, où la modification de l'état interne déplaçait réellement la prédiction du modèle vers la vérité, a été trouvée dans un type démographique qui présentait l'une des cartes internes les plus faibles. Inversement, le type le plus fidèlement organisé ne montrait aucun effet causal détectable lorsque les chercheurs tentaient d'intervenir dessus.
Ce décalage suggère que l'échec de ces modèles à simuler des populations n'est pas simplement un manque de connaissances. Le modèle possède la carte détaillée et précise de la façon dont les différents groupes diffèrent, particulièrement en ce qui concerne les facteurs politiques et économiques, tandis que sa compréhension de la race et de la religion reste faible et instable. Cependant, le modèle ne consulte pas cette carte lorsqu'il parle. La géométrie interne est fidèlement organisée mais causalement déconnectée de la sortie finale. L'étude a également constaté que le simple fait de lire directement cette carte interne, en utilisant une sonde mathématique sur cette seule tête d'attention fidèle, produisait des résultats 21 % à 31 % plus proches de la vérité des sondages réels que les propres réponses générées par le modèle. Cependant, même cette lecture supérieure ne pouvait prédire l'ordre spécifique des opinions pour les questions individuelles mieux que les propres réponses erronées du modèle.
Les implications de ces découvertes sont significatives pour quiconque tente d'utiliser l'intelligence artificielle pour comprendre la société humaine. La recherche démontre que la capacité de simuler une population ne peut être supposée simplement parce qu'un modèle peut être invité à agir comme une personne spécifique. Le modèle possède la connaissance, mais il ne l'utilise pas de la manière dont les chercheurs l'espèrent. De plus, l'étude avertit que les attributs démographiques ne sont pas interchangeables ; si le modèle possède une compréhension forte des identités politiques et économiques, sa compréhension des identités raciales et religieuses est fragile et sujette à la rupture lors de légers changements dans la formulation d'une question. Les travaux concluent que traiter la connaissance interne du modèle et son comportement externe comme une seule et même chose est ce qui maintient non résolu le débat sur la capacité de ces modèles à simuler des populations. Le modèle possède la carte, mais il ne suit pas l'itinéraire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.