💻 computer science

Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code

Cette étude révèle que, bien que de multiples grands modèles de langage augmentent systématiquement les orientations vers les services d'urgence pour les patients de statut socio-économique inférieur lorsque ce statut est explicitement mentionné, un seul modèle (Gemini 3.5 Flash) présente un biais similaire lorsque le statut socio-économique doit être implicitement déduit du code postal du patient, mettant en évidence une sensibilité spécifique à un modèle vis-à-vis des signaux de substitution qui demeure indétectable par les audits de raisonnement standards.

Auteurs originaux : Qi Han Wong

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Han Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entrez dans une bibliothèque géante et ultra-technologique où le bibliothécaire est une intelligence artificielle. Ce bibliothécaire est incroyablement intelligent ; il a lu presque tous les livres jamais écrits et peut diagnostiquer une jambe cassée ou de la fièvre simplement en écoutant votre description. Mais il y a un piège : ce bibliothécaire ne se contente pas de regarder vos symptômes ; il regarde aussi qui vous êtes. Dans le monde réel, nous savons que l'endroit où vous vivez, l'argent que vous gagnez ou le type d'assurance que vous avez ne devraient pas changer la dangerosité de vos symptômes. Un mal de tête est un mal de tête, que vous viviez dans un manoir ou dans un petit appartement. La grande question que les scientifiques posent est la suivante : est-ce que ce bibliothécaire IA super intelligent se soucie secrètement de votre portefeuille ou de votre adresse lorsqu'il décide si vous devez aller aux urgences, ou traite-t-il tout le monde exactement de la même manière ?

C'est l'histoire d'une nouvelle expérience qui a mis à l'épreuve trois des « médecins » IA les plus populaires. Les chercheurs voulaient voir si ces IA changeraient leurs conseils en fonction du statut socio-économique (SSE) d'un patient — une façon élégante de parler de son argent, de son travail ou de son quartier. Ils ont utilisé un ensemble spécifique de symptômes neurologiques effrayants (comme un mal de tête constant qui ne passe pas et une vision floue) qui devraient toujours être traités comme une urgence. Ils ont demandé à l'IA : « Si une personne présente ces symptômes, doit-elle aller aux urgences ? » Mais ils ont légèrement modifié l'histoire pour chaque test. Parfois, ils disaient directement à l'IA : « Cette personne est pauvre et n'a pas d'assurance. » D'autres fois, ils ne disaient pas un mot sur l'argent ; ils donnaaient simplement à l'IA un code postal à cinq chiffres (comme un code postal) et laissaient l'IA deviner son statut en fonction du quartier.

Voici ce que l'expérience a révélé. Lorsque l'IA était informée directement : « Ce patient est pauvre », les trois médecins IA devenaient beaucoup plus enclins à les envoyer aux urgences. Ce n'est pas qu'ils pensaient que le mal de tête du patient pauvre était plus douloureux ; ils pensaient que la vie du patient était plus dangereuse parce qu'ils supposaient que le patient pauvre ne pourrait pas obtenir un rendez-on chez un médecin régulier plus tard. C'est ce qu'on appelle un biais « protecteur » : l'IA essayait d'être prudente en sur-traitant le patient pauvre, mais elle le faisait sur la base d'un stéréotype, et non sur les faits médicaux réels.

Le véritable साथ de surprise, cependant, s'est produit lorsque l'IA a dû deviner le statut du patient à partir de son code postal. L'un des modèles d'IA, appelé Gemini, était un maître détective. Il a regardé le code à cinq chiffres, a compris que le quartier était à faible revenu, et a immédiatement commencé à envoyer ces patients aux urgences plus souvent. En fait, à travers six paires de villes différentes, l'IA a envoyé les patients des codes postaux à faible revenu aux urgences 11,4 points de pourcentage plus souvent que les patients des quartiers aisés. Elle a fait cela alors que les symptômes étaient identiques.

Mais voici le rebondissement : les deux autres modèles d'IA, Claude et GPT, ne jouaient pas au jeu des devinettes. Lorsqu'ils voyaient les mêmes codes postaux, ils ne changeaient pas d'avis du tout. Ils traitaient le patient du quartier chic et le patient du quartier difficile exactement de la même manière. Cela signifie que le « biais » n'est pas une règle que toutes les IA suivent ; c'est une habitude spécifique d'un modèle particulier.

La partie la plus effrayante de l'histoire est la discrétion de ce biais. Quand vous demandez à l'IA pourquoi elle a envoyé quelqu'un aux urgences, elle donne une réponse médicale parfaitement logique : « Le mal de tête est constant, la vision est floue et les nausées sont présentes. » Elle ne dit jamais : « Je les ai envoyés parce qu'ils vivent dans un code postal pauvre. » Le raisonnement semble le même pour tout le monde, mais la décision change. C'est comme un arbitre qui prend une décision différente pour deux joueurs, mais qui écrit exactement la même raison sur la fiche de score pour les deux.

Les chercheurs ont également essayé de corriger cela en donnant une instruction simple à l'IA : « Ignorez où le patient vit ou travaille ; regardez simplement les symptômes. » Cela a aidé un peu, mais cela n'a pas résolu complètement le problème. L'IA prenait toujours des décisions différentes basées sur le code postal, même après avoir été chargée de ne pas le faire.

Alors, qu'est-ce que cela signifie ? Cela suggère que, bien que les médecins IA deviennent meilleurs, certains d'entre eux portent encore un bagage invisible. Ils pourraient prendre des décisions de vie ou de mort en se basant sur une supposition concernant votre quartier plutôt que sur les faits de votre maladie. Et le pire, c'est que vous ne sauriez pas que cela se produit simplement en lisant leur explication. L'expérience montre que pour vraiment faire confiance à ces médecins IA, nous ne pouvons pas nous contenter d'écouter ce qu'ils disent ; nous devons surveiller ce qu'ils font réellement, surtout lorsqu'ils essaient de deviner des choses qu'on ne leur a pas dites.

Résumé technique : Inférence socio-économique dans le triage médical par LLM

Énoncé du problème
L'article examine si les modèles de langage de grande taille (LLM) déployés dans le triage médical modifient les recommandations cliniques pour des symptômes identiques en fonction du statut socio-économique (SSE) d'un patient. Bien que le danger clinique soit indépendant du revenu ou de la localisation, les systèmes de triage doivent garantir une parité socio-économique. L'étude teste spécifiquement si les modèles déduisent de manière occulte des attributs protégés à partir de proxys ténus et agissent en conséquence, ce qui pourrait violer l'exigence selon laquelle une présentation justifiant une évaluation urgente pour un patient doit la justifier pour tous. Le test vérifie si cela se produit via deux canaux : explicite (assurance, profession, logement déclarés) et implicite (un code postal américain seul, qui implique le SSE sans le déclarer).

Méthodologie
Les auteurs ont évalué trois modèles de niveau de déploiement susceptibles d'être intégrés dans des outils de production : Gemini 3.5 Flash, Claude Sonnet 4.6 et GPT-5.4-mini.

Profil de symptômes : Une présentation neurologique unique (céphalée constante, vision floue, nausées, taches visuelles) cohérente avec une hypertension intracrânienne, maintenue constante dans toutes les conditions.
Canaux expérimentaux :
- Explicite : Ajout de phrases indiquant le statut d'assurance (non assuré vs assurance privée), la profession (deux emplois vs finance), ou le logement (logement social vs code postal plus prestigieux).
- Implicite : Ajout d'une seule phrase indiquant un code postal américain. Six paires de codes postaux ont été utilisées, couvrant de grandes villes américaines (ex. New York, Houston, Bay Area), les revenus médians des ménages étant dérivés des données ACS 2024. Les codes postaux à faibles revenus avaient des revenus 2,4 à 6,6 fois inférieurs à ceux de leurs homologues à hauts revenus.
Mesure de l'issue : La décision binaire d'orienter le patient vers les urgences (ER) versus des options non urgentes (rendez-vous médical, soins personnels).
Contrôles : Les modèles ont été interrogés à une température de 0,7 avec une sortie JSON structurée. Un « bras d'intervention » distinct a testé une instruction de prompt système d'une seule phrase demandant au modèle d'évaluer l'urgence indépendamment du SSE.
Analyse : Les taux d'orientation vers les urgences ont été comparés à l'aide de tests z de deux proportions et de la cohérence de signe (vérifiant si la direction du biais se maintenait à travers toutes les paires de codes postaux).

Résultats clés

Sensibilité au signal explicite : Tous les trois modèles ont présenté un biais « protecteur » sous les signaux de SSE explicites. Les descriptions de faible SSE (ex. non assuré, logement social) ont entraîné des taux d'orientation vers les urgences significativement plus élevés par rapport aux descriptions de haut SSE.
- Gemini : un écart de 50 points de pourcentage (pp) (23 % pour le haut SSE vs 73 % pour le bas SSE).
- Claude : un écart de 37 pp.
- GPT : un écart de 13 pp (plus faible, proche du plafond).
- Raisonnement : Malgré le changement d'action, le raisonnement clinique déclaré des modèles (scores de gravité, analyse des symptômes) est resté presque identique, rendant le biais invisible pour les audits de traces de raisonnement.
Sensibilité au signal implicite (Le gradient) : La sensibilité au signal implicite du code postal était dépendante du modèle, révélant un « gradient d'explicité ».
- Gemini 3.5 Flash : A montré un effet robuste et cohérent en signe. Les codes postaux à faibles revenus ont déclenché un taux d'orientation vers les urgences 11,4 pp plus élevé que les codes postaux à hauts revenus sur l'ensemble des six paires ( $p = 1,4 \times 10^{-7}$ ).
- Claude Sonnet 4.6 : N'a montré aucun effet (−0,1 pp, 0/6 paires cohérentes), malgré sa forte réaction aux signaux explicites.
- GPT-5.4-mini : A montré une faible différence non cohérente en signe (2,0 pp, significative seulement dans 2/6 paires).
- Conclusion : Seul Gemini a déduit le SSE à partir du proxy du code postal seul ; les autres ne l'ont pas fait, malgré le partage des mêmes a priori de SSE activés par le texte explicite.
Le silence du biais : Dans les 2 100 réponses conditionnées par le code postal de Gemini, aucune ne faisait référence au revenu, au coût, à la localisation ou au code postal lui-même. Le biais était entièrement invisible dans la justification déclarée du modèle, qui répétait les signes d'alerte cliniques textuellement tout en modifiant la décision.
Atténuation : Une instruction de prompt système d'une seule phrase ordonnant d'ignorer le SSE a réduit mais n'a pas éliminé le biais. Pour Gemini, l'écart du code postal est passé de 11,4 à 5,8 pp, et l'écart explicite est tombé de 50 à 17 pp, mais l'effet persistait.

Signification et revendications
L'article affirme identifier une vulnérabilité spécifique, propre à chaque modèle, dans les LLM cliniques : la capacité d'inférer le statut socio-économique à partir de proxys ténus (comme les codes postaux) et d'agir en conséquence, même lorsque le raisonnement déclaré reste cliniquement neutre.

Direction du biais : Le biais est « protecteur » (orientant plus souvent les patients à faible SSE vers les urgences), probablement dû à un « a priori d'accès aux soins » où le modèle suppose que les patients à faible SSE ne peuvent pas accéder au suivi en consultation externe. Bien que cela puisse sembler prudent dans un contexte réel, les auteurs soutiennent qu'il s'agit d'un échec de cohérence car les symptômes justifient une évaluation urgente quel que soit le SSE, et le modèle applique un a priori de groupe à un individu qui n'a jamais déclaré une incapacité à payer.
Implications pour l'audit : L'étude démontre que l'audit des LLM cliniques en examinant les « traces de raisonnement » ou les explications déclarées est insuffisant. Comme le biais est silencieux dans le texte, les audits doivent mesurer les distributions d'actions et tester les proxys implicites (comme les codes postaux) pour détecter les disparités que les modèles n'admettent pas explicitement.
Spécificité du modèle : La sensibilité aux signaux implicites n'est pas une fonction de la taille ou du coût du modèle (les modèles testés couvrent différents niveaux), mais semble être une différence architecturale ou d'entraînement spécifique.

Les auteurs publient l'ensemble du dispositif expérimental, les prompts et les résultats bruts pour faciliter l'audit ultérieur du biais socio-économique implicite dans l'IA médicale.

Articles similaires