ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
L'article présente ConsistencyAI, un benchmark indépendant qui évalue 19 grands modèles de langage pour la cohérence factuelle à travers diverses personas démographiques, révélant que les scores de cohérence varient considérablement selon le fournisseur de modèle et le sujet, avec un seuil moyen du benchmark de 0,8656.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
À l'ère de l'information moderne, nous nous tournons de plus en plus vers l'intelligence artificielle pour répondre à nos questions, du prix du lait aux détails d'une histoire complexe. Ces systèmes, connus sous le nom de grands modèles de langage, sont conçus pour comprendre le langage humain et générer un texte qui ressemble à une conversation. Ils sont devenus un moyen principal pour les gens d'accéder aux faits, remplaçant souvent les moteurs de recherche traditionnels pour obtenir des réponses rapides. Cependant, une question fondamentale demeure sur le fonctionnement de ces machines : racontent-elles la même histoire à tout le monde, ou modifient-elles les faits en fonction de la personne qui pose la question ? Si un programme informatique sait que vous êtes un jeune étudiant, présente-t-il un ensemble de vérités différent de celui qu'il présenterait à un cadre plus âgé ? Cette possibilité soulève des préoccupations concernant l'équité et l'intégrité de l'information. Si les faits eux-mêmes changent en fonction du profil d'une personne, comme son âge, son genre ou son métier, cela suggère que le système ne se contente pas de répondre à une question, mais qu'il adapte la réalité pour correspondre à un public spécifique. Ce phénomène, s'il est réel, pourrait subtilement façonner la manière dont différents groupes de personnes comprennent le monde, creusant potentiellement les fossés plutôt que de les combler.
Pour mener cette investigation, des chercheurs de l'Université Duke et de l'Université de Caroline du Nord ont créé un nouveau test appelé ConsistencyAI. Leur objectif était de voir si les grands modèles de langage racontent des faits différents à différentes personnes. Ils n'ont pas demandé aux modèles de vérifier si l'information était vraie ; ils ont plutôt cherché à savoir si les modèles donnaient le même ensemble de faits à un enseignant de 25 ans qu'à un travailleur de la construction de 60 ans. L'équipe a construit un système qui simulait un groupe diversifié de personnes des États-Unis, représentant un large éventail d'âges, de métiers et de parcours. Ils ont ensuite demandé à vingt-cinq modèles d'intelligence artificielle différents de fournir cinq faits sur quinze sujets différents, tels que les coûts du logement, les déficits commerciaux et les conflits politiques. Chaque question a été posée à chaque modèle cent fois, le contexte de la personne posant la question changeant à chaque fois grâce à un ensemble de 100 personas échantillonnés à partir d'un ensemble de données représentatif. En comparant les réponses, les chercheurs pouvaient mesurer à quel point le contenu changeait lorsque le persona changeait.
Les résultats ont révélé que, bien que de nombreux modèles soient généralement cohérents, ils ne le sont pas parfaitement. Les chercheurs ont découvert que les modèles modifiaient effectivement les faits présentés en fonction de la personne à qui ils pensaient s'adresser. Dans un test à grande échelle impliquant 100 personas, les scores de cohérence des modèles variaient d'un maximum de 0,9137 à un minimum de 0,6719, avec une moyenne de 0,8555. Cette moyenne est devenue la référence de l'étude. Le modèle le plus cohérent était le Grok-4 de xAI, qui restait remarquablement constant dans ses faits, quel que soit l'utilisateur. À l'autre extrémité du spectre, plusieurs modèles plus légers et de niveau intermédiaire présentaient la plus grande variation. L'étude a montré que le sujet discuté importait autant que le modèle lui-même. Par exemple, lorsqu'on interrogeait les modèles sur le déficit commercial des États-Unis, un sujet doté de données gouvernementales claires et standardisées, les modèles étaient très cohérents. Cependant, lorsqu'on les interrogeait sur les coûts du logement, un sujet impliquant des sources de données complexes et variées, les modèles donnaient des réponses beaucoup plus divergentes selon les personnes.
Les chercheurs ont également découvert que les modèles ne se contentaient pas de changer de ton ou de style ; ils sélectionnaient réellement des faits différents. Lorsque le persona changeait, les détails spécifiques, les organisations et les chiffres mentionnés dans la réponse changeaient souvent. Par exemple, sur le sujet de la sécurité des frontières, un modèle avait tendance à donner des réponses axées sur l'application de la loi aux utilisateurs plus âgés, tandis que les utilisateurs plus jeunes recevaient des réponses axées sur la géographie. Un autre modèle donnait des réponses simplifiées, riches en analogies, aux mineurs, mais des réponses directes et factuelles aux adultes. Cela suggère que les modèles sont sensibles aux indices démographiques et ajustent leur information en conséquence. L'étude a également noté que le fait d'être un modèle plus avancé ou de « raisonnement » ne garantissait pas une meilleure cohérence. Certains modèles plus petits et plus anciens étaient plus performants que les systèmes les plus récents et les plus complexes, indiquant que la cohérence n'est pas simplement un sous-produit de la taille ou de l'intelligence du modèle.
Une partie importante de la recherche s'est concentrée sur des sujets controversés. Le conflit israélo-palestinien a présenté la plus grande variation de réponses, certains modèles donnant des faits très cohérents et d'autres des faits radicalement différents. Sur ce sujet, certains modèles ont même refusé de répondre ou ont renvoyé des erreurs, particulièrement lorsque l'utilisateur était identifié comme un enfant. Cela suggère que les modèles peuvent posséder des filtres intégrés qui les poussent à s'éloigner de sujets sensibles selon l'utilisateur perçu. L'étude a également constaté que la sensibilité politique seule ne prédisait pas l'incohérence. Bien que certains sujets politiques aient été hautement incohérents, d'autres ne l'étaient pas, et même des sujets non politiques comme les coûts du logement présentaient une faible cohérence. Cela indique que la difficulté de trouver un récit unique et stable dans les données est un facteur majeur. Si les informations disponibles sur un sujet sont confuses ou contestées, le modèle est plus susceptible de présenter des faits différents à différentes personnes.
Les auteurs soulignent que leur travail ne détermine pas si les faits sont vrais, mais plutôt s'ils sont stables. Ils soutiennent que même si l'information est correcte, présenter des ensembles de faits différents à différentes personnes peut être préjudiciable. Cela peut conduire au biais de confirmation, où les gens n'entendent que la version de la réalité qui correspond à leurs croyances existantes, ou cela peut renforcer les stéréotypes. L'étude suggère que pour que l'intelligence artificielle soit véritablement fiable, elle doit fournir un ensemble de faits stables, quel que soit l'interlocuteur. Les chercheurs ont rendu leurs outils de test et un site web interactif publics afin que les journalistes, les développeurs et le public puissent constater par eux-mêmes comment différents modèles se comportent. Ils espèrent que cette transparence encouragera les entreprises à construire des systèmes moins susceptibles de façonner la vérité pour l'utilisateur, garantissant ainsi que l'information sur laquelle nous comptons tous reste cohérente et digne de confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.