💻 computer science

What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models

Cet article présente un cadre pour l'audit du pluralisme des valeurs dans l'IA médicale, révélant que, si les modèles de langage de pointe exhibent une diversité de raisonnement interne, leurs décisions finales sont quasi-déterministes et sous-pondèrent systématiquement l'autonomie des patients, ce qui pose le risque de remplacer le pluralisme éthique clinique par une monoculture de déploiement nuisible.

Auteurs originaux : Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Koh

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entrez dans un hôpital. Vous savez que les médecins sont humains. Si vous demandez conseil à cinq médecins différents face à un choix médical difficile, vous pourriez obtenir cinq réponses légèrement différentes. L'un pourrait privilégier le sauvetage de votre vie à tout prix, tandis qu'un autre pourrait privilégier votre droit de dire « non » au traitement. Cette variété est en réalité une fonctionnalité, et non un défaut. On appelle cela le pluralisme. La médecine repose sur l'idée qu'il n'existe pas une seule façon « correcte » de peser ces valeurs éthiques ; au contraire, les bons médecins naviguent dans la tension entre elles en fonction de ce qui compte le plus pour vous, le patient.

Maintenant, imaginez remplacer ces cinq médecins par un seul programme informatique ultra-intelligent (une IA) qui vous donne des conseils. La grande question que pose cet article est : Quelle sorte de « personnalité » cette IA a-t-elle ? A-t-elle un ensemble unique et rigide de valeurs qu'elle impose à tous, ou comprend-elle que différentes personnes valorisent différentes choses ?

Voici ce que les chercheurs ont découvert, décomposé en concepts simples :

1. Le « Médecin Robot » est étonnamment cohérent (Trop cohérent)

Les chercheurs ont créé un test avec 50 scénarios médicaux complexes (comme « Faut-il maintenir un patient à l'hôpital contre son gré pour assurer sa sécurité ? »). Ils ont demandé à 12 modèles d'IA différents et à 20 médecins humains réels de faire un choix.

Les Humains : Les médecins ne s'accordaient pas souvent. Parfois, 55 % choisissaient l'option A, et 45 % l'option B. C'est sain ; cela montre que les humains réels ont des priorités éthiques différentes.
Les IA : Les modèles d'IA étaient presque robotiques. Si vous posiez la même question à la même IA 10 fois, elle donnait exactement la même réponse 10 fois. Peu importait que les médecins soient partagés à parts égales ; l'IA choisissait simplement un camp et s'y tenait.
La Métaphore : Imaginez un groupe d'amis décidant où manger. Certains veulent de la pizza, d'autres des sushis. Ils discutent et font des compromis. Maintenant, imaginez un robot qui, peu importe la façon dont vous posez la question ou comment les amis discutent, dit toujours « Pizza ». C'est cohérent, mais cela ne reflète pas la réalité désordonnée du désaccord humain.

2. L'IA a un « Biais Caché »

Les chercheurs ont creusé plus profondément pour comprendre pourquoi l'IA faisait les choix qu'elle faisait. Ils ont examiné les valeurs sous-jacentes :

Autonomie : Respecter le droit du patient de choisir.
Bienfaisance : Faire ce qui est le mieux pour le patient.
Non-malfaisance : Ne pas causer de tort.
Justice : Être équitable envers tous.

Ils ont découvert que, bien que la plupart des modèles d'IA aient des priorités de valeurs tombant dans la fourchette normale des médecins humains, certains modèles étaient étrangement obsédés par la « sécurité » et le « bien faire » tout en ignorant complètement l'« autonomie ».

La Métaphore : Pensez à une balance. Un médecin humain pourrait équilibrer la balance avec soin, la faisant pencher parfois vers la sécurité, parfois vers la liberté. Mais l'un des modèles d'IA était comme une balance avec un poids lourd collé définitivement du côté « Sécurité ». Il choisirait presque toujours de restreindre la liberté du patient pour le garder en sécurité, même si le patient voulait prendre un risque.

3. L'IA « Parle » comme un Diplomate mais « Agit » comme un Dictateur

Voici la partie la plus intéressante. Lorsque l'IA était invitée à expliquer son raisonnement, elle paraissait très équilibrée. Elle dirait : « Je vois qu'il est important de garder le patient en sécurité, mais je vois aussi qu'il veut rentrer à la maison. C'est un choix difficile. »

La Métaphore : L'IA est comme un politicien faisant un discours. Elle reconnaît tous les différents aspects de l'argument (ceci est appelé le Pluralisme d'Overton). Elle donne l'impression de comprendre l'ensemble du tableau.
La Réalité : Mais dès qu'elle doit prendre une décision finale, elle choisit un camp et ne flanche jamais. Elle ne change pas réellement d'avis en fonction des valeurs spécifiques du patient ; elle suit simplement son propre script interne.

4. Le Danger du Modèle « Taille Unique »

L'article met en garde contre un risque spécifique : La Monoculture de Déploiement.

Le Scénario : Actuellement, il existe de nombreux modèles d'IA différents, et ils ont en réalité des « personnalités » différentes (certains se soucient davantage de la sécurité, d'autres de la liberté). C'est une bonne chose car c'est comme avoir un groupe diversifié de médecins.
Le Risque : Si un hôpital ou une entreprise choisit un seul de ces modèles d'IA pour parler à des millions de patients, et que ce modèle spécifique s'avère être celui qui ignore le « choix du patient », alors chaque patient unique que cet hôpital sert recevra des conseils qui ignorent son droit de choisir.
La Métaphore : Imaginez une ville où tout le monde avait autrefois un boulanger différent, certains faisant du pain au levain, d'autres du pain de seigle, et d'autres du pain sucré. Les gens pouvaient choisir le pain qui correspondait à leur goût. Maintenant, la ville engage une immense usine pour cuire le pain pour tout le monde. Si cette usine décide de ne faire que du pain au levain, soudainement tout le monde est forcé de manger du pain au levain, même s'ils le détestent. La variété a disparu, et la « saveur de l'usine » devient la seule saveur.

5. Ce que l'Article Suggère

L'article ne dit pas que nous devrions arrêter d'utiliser l'IA. Au contraire, il suggère que nous devons être prudents :

Ne faites pas confiance uniquement aux paroles de l'IA : Le fait qu'une IA dise « Je respecte vos choix » ne signifie pas qu'elle les priorise réellement dans ses décisions.
Vérifiez la « Recette » : Nous devons auditer ces modèles pour voir quelles valeurs ils intègrent secrètement dans leurs décisions.
Utilisez un « Jury » d'IA : Au lieu de dépendre d'une seule IA, nous devrions peut-être utiliser un groupe d'IA différentes (comme un jury de médecins) pour obtenir une vision plus équilibrée, ou trouver des moyens de faire changer la « personnalité » de l'IA pour qu'elle corresponde aux valeurs spécifiques de chaque patient.

En résumé : L'article a découvert que les IA médicales actuelles sont très cohérentes, mais qu'elles sont souvent trop cohérentes. Elles agissent comme un seul médecin opiniâtre qui ne change jamais d'avis, plutôt que comme un outil flexible qui s'adapte aux valeurs uniques de chaque patient. Si nous ne faisons pas attention, nous risquons de remplacer par inadvertance la riche diversité de l'éthique médicale humaine par une seule « éthique robotique » rigide qui est imposée à tous.

Résumé technique : Audit du pluralisme dans l'éthique clinique des modèles de langage

Énoncé du problème

La médecine est intrinsèquement pluraliste ; la pratique clinique implique régulièrement de naviguer dans des conflits entre des principes éthiques fondamentaux — autonomie, bienfaisance, non-malfaisance et justice — sans qu'il existe un seul poids correct. Alors que les cliniciens humains naviguent dans ces tensions grâce à la prise de décision partagée et à la diversité des valeurs, les grands modèles de langage (LLM) sont de plus en plus déployés dans des contextes médicaux (par exemple, le triage, l'assistance aux patients) sans examen systématique de leurs priorités de valeurs éthiques sous-jacentes.

Les évaluations actuelles de l'IA médicale se concentrent sur la précision du raisonnement et l'évitement des préjudices, mais échouent à aborder le pluralisme des valeurs. Plus précisément, il existe un manque de compréhension concernant :

Si les LLM exhibent le « pluralisme distributionnel » observé dans les panels de médecins humains (c'est-à-dire des décisions variant en fonction du degré de désaccord éthique).
Quelles priorités de valeurs spécifiques sont « intégrées » dans les modèles de pointe lorsqu'ils prennent des décisions cliniques concrètes.
Si l'écosystème des modèles représente une gamme diversifiée de positions éthiques ou une « monoculture algorithmique » qui pourrait biaiser systématiquement les soins aux patients vers une seule position éthique inexplorée.

Méthodologie

Les auteurs proposent un cadre pour l'audit du pluralisme des valeurs, comprenant un référentiel vérifié par des cliniciens et une méthode d'attribution des valeurs.

1. Le Référentiel

L'étude introduit un ensemble de données de 50 dilemmes cliniques couvrant divers domaines (soins intensifs, psychiatrie, soins palliatifs, etc.).

Structure : Chaque cas présente une vignette clinique et deux recommandations mutuellement exclusives ( $c_1, c_2$ ).
Étiquetage des valeurs : Une matrice d'étiquettes ( $T_i$ ) encode la relation de chaque choix avec les quatre valeurs principistes (Autonomie, Bienfaisance, Non-malfaisance, Justice), catégorisées comme favorise, viole ou neutre.
Contraintes : Les cas sont conçus pour garantir de véritables compromis éthiques (aucun choix dominant, au moins deux valeurs en conflit).
Validation : Les cas ont été générés via un pipeline de LLM, affinés par des grilles d'évaluation, et validés par une revue interdisciplinaire en aveugle menée par deux médecins par cas.
Propriétés pluralistes : Le référentiel est multi-objectif, orientable vers les compromis et pluraliste par jury, exhibant un véritable désaccord normatif parmi un panel de 20 médecins ( $\kappa$ de Fleiss = 0,236).

2. Collecte des données

LLM : 12 modèles de pointe (incluant GPT-5.2, Claude Opus 4.5, Gemini 3 Pro, etc.) ont été interrogés 10 fois par cas avec une température de 1,0.
Médecins : 20 médecins ont rempli une enquête en aveugle, prenant une décision binaire par cas.
Analyse syntaxique : Un LLM secondaire a analysé les réponses en texte libre pour en extraire des décisions binaires, en filtrant les refus.

3. Cadre d'analyse

Cohérence des décisions : Mesurée via l'entropie de Shannon des décisions répétées du modèle pour évaluer si les modèles suivent le désaccord des médecins (pluralisme distributionnel).
Attribution des valeurs : Un modèle de régression logistique infère les poids de priorité des valeurs ( $w$ ) pour chaque décideur en fonction de leur fréquence de sélection à travers le référentiel. Les log-vraisemblances du choix de $c_1$ sont modélisées comme une fonction linéaire du vecteur de différence de valeurs ( $\Delta_i$ ). Les poids sont normalisés via un softmax à température ajustée pour produire un profil de valeurs ( $\pi$ ).
Calibration : Les profils de valeurs des modèles sont comparés au profil de consensus des médecins en utilisant la divergence de Jensen-Shannon (JSD). Une distribution de référence par bootstrap des JSD médecin-vers-consensus détermine si un modèle est une valeur aberrante.
Pluralisme d'Overton : Les auteurs mesurent si les modèles discutent de valeurs concurrentes dans leur raisonnement en texte libre avant de s'engager dans une décision (en utilisant des métriques de couverture et d'emphase).
Diversité de l'écosystème : La JSD par paire entre tous les décideurs est calculée pour tester l'existence d'une « monoculture algorithmique » (c'est-à-dire si les modèles sont plus homogènes que les médecins).

Résultats clés

1. Les modèles sont cohérents mais non pluralistes

Décisions quasi-déterministes : 11 modèles sur 12 ont exhibé une entropie de décision proche de zéro (médiane 0). Les modèles ont donné des recommandations identiques dans 82 à 86 % des cas lors d'interrogations répétées.
Échec du pluralisme distributionnel : L'entropie de décision des modèles n'était pas corrélée au désaccord des médecins ( $\rho \approx 0$ ). Contrairement aux panels humains, les modèles ne modulaient pas leur incertitude en fonction du degré de contestation éthique dans un cas.
Robustesse : Les décisions étaient robustes aux variations de formulation de surface (taux d'inversion < 9 %) mais sensibles aux inversions de valeurs substantielles, confirmant que la cohérence reflète un processus décisionnel cohérent plutôt que des artefacts de formulation.

2. Profils de valeurs distincts et engagés

Priorités systématiques : L'attribution des valeurs a révélé que les LLM et les médecins détiennent des priorités éthiques engagées et non uniformes. La plupart des modèles (10/12) et le consensus des médecins ont rejeté l'hypothèse nulle d'un pondération uniforme ( $p < 0,05$ ).
Calibration : La plupart des modèles de pointe (8/12) se situaient dans la plage naturelle de variation inter-médecins (JSD < 95e percentile de la distribution bootstrap des médecins).
Valeurs aberrantes : Trois modèles (OpenAI GPT 5.2, X-AI Grok 4, Perplexity Sonar Pro) s'écartaient significativement du consensus des médecins, principalement en sous-pondérant substantiellement l'autonomie du patient (allouant un poids de 6,1 % à 12,8 % contre 44,4 % pour le consensus des médecins).

3. Pluralisme d'Overton vs monoculture décisionnelle

Raisonnement : Les modèles ont exhibé un pluralisme d'Overton élevé dans leur raisonnement en texte libre (couverture moyenne = 0,86), reconnaissant les valeurs concurrentes des deux côtés d'un dilemme avant de s'engager.
Action : Malgré ce pluralisme discursif, les modèles résolvaient les dilemmes avec une seule recommandation cohérente à chaque fois.

4. Diversité de l'écosystème

Pas de monoculture algorithmique : La diversité des profils de valeurs à travers les 12 LLM (JSD par paire moyenne = 0,0916) était statistiquement indiscernable de la diversité parmi les 20 médecins (JSD par paire moyenne = 0,1089). L'écosystème des modèles de pointe couvre une gamme diversifiée de positions éthiques comparable à un panel de médecins praticiens.

Importance et revendications

L'article soutient que si l'écosystème des modèles est diversifié, le déploiement d'un modèle unique pose un risque significatif.

Risque de monoculture de déploiement : Parce que les modèles individuels sont quasi-déterministes et détiennent des priorités de valeurs engagées, déployer un seul modèle sans égard pour ses paramètres éthiques spécifiques pourrait « amplifier ces priorités à grande échelle ». Si un modèle sous-pondère systématiquement l'autonomie, il pourrait le faire pour chaque patient qu'il sert, remplaçant effectivement le pluralisme clinique par une « monoculture de déploiement ».
Limites de l'alignement actuel : L'étude met en évidence un écart entre le « pluralisme d'Overton » (discuter de toutes les valeurs) et le « pluralisme distributionnel » (varier les décisions pour correspondre au désaccord de la population). Les modèles actuels atteignent le premier mais échouent sur le second.
L'orientabilité comme voie à suivre : Les auteurs suggèrent que le pluralisme orientable — la capacité d'ajuster le profil de valeurs d'un modèle à la demande pour correspondre aux valeurs spécifiques d'un patient — pourrait être la solution nécessaire pour atténuer les risques de déploiement, bien que les preuves actuelles suggèrent que l'orientabilité est limitée.
Implications réglementaires et financières : L'article note que les valeurs des médecins déterminent les dépenses de santé régionales ; de même, les valeurs encodées dans les algorithmes détermineront les schémas de remboursement et de soins, rendant l'audit de ces priorités un impératif financier et réglementaire.

Les auteurs concluent que le déploiement responsable de l'IA médicale nécessite des efforts explicits pour équilibrer les perspectives éthiques, potentiellement par le biais de « jurys » multi-modèles ou de mécanismes d'orientabilité, plutôt que de s'appuyer sur un modèle unique et inexploré.