Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

Dans le monde de la médecine à enjeux élevés, les médecins sont souvent confrontés à des choix où il n'existe pas de réponse unique correcte. Lorsqu'un patient est gravement malade ou confronté à une maladie rare, l'équipe médicale doit équilibrer plusieurs devoirs moraux concurrents. Ils doivent tenter d'aider le patient, d'éviter de causer du tort, de respecter le droit du patient à choisir son propre chemin et de veiller à ce que les ressources soient partagées équitablement entre tous ceux qui en ont besoin. Ces devoirs, connus sous le nom de bienfaisance, de non-malfaisance, d'autonomie et de justice, tirent fréquemment dans des directions opposées. Par exemple, un traitement qui pourrait sauver une vie pourrait également causer une immense souffrance, ou un médicament coûteux et rare pourrait aider profondément une personne tout en laissant beaucoup d'autres sans soins. À mesure que l'intelligence artificielle devient plus courante dans le secteur de la santé, les gens commencent à se demander comment ces systèmes informatiques gèrent ces décisions difficiles et chargées de valeurs. La préoccupation n'est pas seulement de savoir si la machine connaît les faits, mais si elle comprend le poids des compromis moraux impliqués.

Une nouvelle étude examine comment les modèles de langage étendus, ces puissants systèmes d'IA capables de générer du texte semblable à celui de l'humain, prennent ces choix éthiques lorsqu'ils soignent des patients atteints de maladies rares. Les maladies rares présentent un défi unique car elles affectent un petit nombre de personnes, souvent avec des données médicales limitées disponibles. Dans ces situations, les familles et les médecins doivent fréquemment prendre des décisions dans une profonde incertitude, en pesant des options imparfaites les unes contre les autres. Les chercheurs ont créé un test pour voir si l'IA pouvait naviguer dans ces eaux troubles. Ils ont construit une collection de 208 histoires médicales réalistes, ou vignettes, basées sur des maladies rares réelles et leurs détails génétiques et cliniques spécifiques. Chaque histoire présentait un dilemme authentique où deux étapes suivantes différentes étaient toutes deux médicalement raisonnables mais éthiquement opposées. Par exemple, une option pouvait donner la priorité aux besoins immédiats d'un seul patient, tandis que l'autre se concentrait sur la distribution équitable d'une ressource limitée à un groupe. Les chercheurs ont ensuite demandé à onze modèles d'IA de pointe de choisir entre ces deux options.

Les résultats ont révélé un schéma frappant. À travers les différents modèles d'IA testés, quel que soit leur concepteur ou la manière dont ils ont été entraînés, les systèmes ont systématiquement choisi l'option qui privilégiait la justice. Dans le contexte de ces histoires médicales, cela signifiait que l'IA favorisait presque toujours la distribution égale des ressources plutôt que les besoins spécifiques et urgents d'un patient individuel. Les modèles semblaient traiter l'équité comme une question de donner à chacun la même part, plutôt que de donner davantage à ceux qui sont plus malades ou qui ont une plus grande nécessité médicale. Cette préférence pour l'égalité semblait être une réponse superficielle au concept d'équité, une réponse qui négligeait la gravité de l'état du patient. L'étude suggère que ces systèmes d'IA ne raisonnent pas profondément sur la complexité morale de la situation, mais qu'ils se rabattent plutôt sur une règle simple de distribution égale.

Les chercheurs ont également découvert que le choix de l'IA dépendait fortement de la personne décrite comme étant celle qui prend la décision finale. Lorsque l'histoire présentait la décision comme appartenant à un comité ou à un conseil d'administration d'hôpital, l'IA favorisait fortement la justice et le partage égal des ressources. Cependant, lorsque la décision était présentée comme appartenant à un médecin individuel ou au patient lui-même, l'IA changeait de préférence. Dans ces cas, les modèles s'éloignaient de l'égalité stricte et commençaient à prioriser les souhaits du patient ou son bien-être immédiat. Cela indique que l'IA est très sensible au rôle social attribué au décideur, reflétant les intuitions humaines sur le fonctionnement de l'autorité. Il semble avoir appris que les comités sont responsables de l'équité, tandis que les individus sont responsables des soins et du choix.

Ce comportement soulève des questions importantes sur la façon dont ces outils pourraient être utilisés dans les hôpitaux. L'étude suggère que les systèmes d'aide à la décision par l'IA pourraient renforcer silencieusement les structures de pouvoir existantes plutôt que d'offrir une perspective nouvelle et fondée sur des principes. Si un médecin demande conseil à une IA sur un cas difficile, la réponse que l'IA donne pourrait changer simplement sur la base de la question de savoir si le médecin demande en tant qu'individu ou en tant que membre d'une équipe. Les chercheurs ont constaté que les modèles ne semblaient pas raisonner à partir de principes fondamentaux sur ce qui est le mieux pour le patient ; au lieu de cela, ils faisaient correspondre la situation à un modèle de comportement attendu basé sur le rôle impliqué. Ce « biais d'autorité » signifie que l'IA pourrait échouer à remettre en question les pratiques institutionnelles injustes ou à reconnaître quand les besoins spécifiques d'un patient devraient l'emporter sur une règle générale d'égalité.

L'étude ne prétend pas que ces modèles d'IA sont défectueux ou qu'ils ne peuvent pas être utiles. Elle souligne plutôt un angle mort dans la façon dont nous évaluons actuellement l'IA médicale. La plupart des tests se concentrent sur la capacité de la machine à connaître les bons faits ou à répondre correctement à des questions médicales. Cette recherche montre que même lorsque les modèles sont factuellement exacts, ils peuvent encore présenter des biais cachés dans la manière dont ils pèsent les valeurs morales. Les conclusions suggèrent qu'à mesure que nous progressons vers l'utilisation de l'IA dans des contextes médicaux à enjeux élevés, nous devons regarder au-delà de la simple précision. Nous devons comprendre comment ces systèmes hiérarchisent les valeurs et si leurs choix s'alignent sur le raisonnement complexe et nuancé que les médecins et les éthiciens humains utilisent lorsque des vies sont en jeu. L'étude conclut que sans une attention particulière à ces préférences éthiques, les outils d'IA pourraient finir par simplement répéter le statu quo de la prise de décision institutionnelle, potentiellement au détriment des patients les plus vulnérables.