Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

Dans le domaine de l'intelligence artificielle en évolution rapide, une nouvelle génération de programmes informatiques a appris à lire et à écrire comme les humains, offrant des conseils sur tout, de la littérature à la médecine. Alors que ces outils pénètrent dans le secteur de la santé, les experts ont exhorté les développeurs à les programmer avec un type de sensibilité spécifique : une conscience de la diversité, de l'équité et de l'inclusion. L'objectif est de garantir que lorsqu'un médecin demande de l'aide à un ordinateur pour un patient, la machine prenne en compte la manière dont des facteurs tels que la race, le revenu ou le contexte culturel pourraient influencer les résultats de santé. Cette approche suppose qu'en demandant explicitement à l'ordinateur de réfléchir à ces réalités sociales, il deviendra plus juste et plus précis. Cependant, la relation entre les instructions d'un ordinateur et son résultat est complexe, et des incitations bien intentionnées peuvent parfois déclencher des comportements inattendus qui déforment l'information même qu'elles sont censées clarifier.

Des chercheurs de l'Université d'État de l'Arizona ont étudié ce qui se passe lorsqu'ils appliquent ces instructions axées sur l'équité à des questions médicales. Ils ont testé quarante-sept modèles d'intelligence artificielle différents, allant de systèmes commerciaux largement utilisés à des programmes spécialisés en code source ouvert, en utilisant une vaste collection de questions médicales à choix multiples. Dans leur expérience, ils ont pris des scénarios médicaux standards — des descriptions de patients présentant des symptômes spécifiques sans mention de leur origine — et ont demandé aux modèles de les résoudre. Ils ont comparé les réponses des modèles sous quatre conditions différentes : sans instruction supplémentaire, avec une instruction absurde, avec une instruction médicale neutre, et avec une phrase unique dirigeant le modèle à considérer la diversité et l'équité.

Les résultats ont révélé un schéma frappant et constant. Lorsque les modèles recevaient l'instruction axée sur l'équité, ils commençaient fréquemment à inventer des détails sur les patients qui ne figuraent jamais dans la description originale. Les chercheurs appellent ce phénomène « l'injection démographique ». Dans les groupes de contrôle, où aucune instruction spéciale n'était donnée, les modèles ajoutaient des détails démographiques non mentionnés, tels que la race ou le statut social d'un patient, dans moins de un pour cent des cas. Mais lorsque l'incitation à l'équité était ajoutée, ce chiffre passait à trente-trois pour cent dans chaque modèle testé. Cela signifie qu'environ une fois sur trois, lorsqu'on demandait à l'ordinateur de considérer l'équité, il décidait silencieusement d'attribuer une race, un âge ou une situation économique spécifique à un patient qui n'en avait aucun.

La plupart du temps, cette invention était inoffensive. Les modèles ajoutaient une déclaration générale sur la façon dont une certaine maladie affecte un groupe spécifique de personnes dans le monde réel, sans modifier leur recommandation médicale finale. Cependant, une partie plus petite mais significative de ces réponses allait plus loin. Dans environ deux et demi pour cent des cas, le modèle attachait l'élément démographique inventé directement au patient de l'histoire. Ce changement dans l'identité du patient a provoqué un changement de conseil médical, et le nouveau conseil était presque toujours erroné. Par exemple, face au cas d'une femme présentant un gonflement cervical indolore et des marqueurs sanguins normaux, un modèle pourrait identifier correctement la condition comme un type spécifique d'inflammation de la thyroïde. Mais lorsqu'il est incité à considérer l'équité, ce même modèle pourrait soudainement décider que la patiente était une femme noire ou hispanique, et sur la base de cette identité inventée, changer son diagnostic pour une autre maladie incorrecte.

L'étude a révélé que la formulation de l'instruction importait grandement. Des incitations plus détaillées demandant au modèle de considérer les déterminants sociaux de la santé ou des groupes démographiques spécifiques ont fait que les modèles inventaient des détails sur les patients encore plus souvent, avec un taux d'invention grimpant jusqu'à cinquante-six pour cent. Les chercheurs ont déterminé que ce comportement était dicté par le contenu même de l'instruction d'équité, et non simplement par le fait que le modèle lisait plus de texte. Ils ont écarté l'idée que les modèles étaient simplement distraits par des mots supplémentaires, car des instructions tout aussi longues mais sans rapport avec l'équité n'ont pas provoqué le même effet. Au contraire, les modèles semblaient avoir appris une association forte lors de leur entraînement : lorsqu'ils voient des mots liés à l'équité, ils s'attendent à voir des détails démographiques et se sentent obligés de les fournir, même lorsque l'utilisateur ne les a pas demandés.

Cette découverte met en lumière une faille subtile mais critique dans la manière dont ces systèmes traitent les instructions. L'ordinateur n'agit pas par malveillance ou par biais au sens humain du terme ; il suit plutôt un schéma qu'il a appris pour être utile. Lorsqu'on lui dit de considérer l'équité, il interprète cela comme une commande de compléter les informations manquantes, supposant qu'un tableau médical complet nécessite une étiquette démographique. Ce faisant, il réécrit l'identité du patient, transformant un cas générique en un cas spécifique qui n'a jamais existé. Les chercheurs soulignent que si la précision globale des modèles n'a que légèrement diminué, les erreurs étaient concentrées précisément dans les cas où les modèles essayaient d'être les plus utiles. L'étude conclut que toute instruction qui pousse un modèle dans son raisonnement peut l'amener à ajouter des détails non sollicités et que, dans le monde médical à enjeux élevés, un simple changement dans la description d'un patient peut conduire à un diagnostic erroné dangereux.