💬 NLP

Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs

Cet article propose un cadre de vérification sémantique et de nouvelles métriques pour évaluer la stabilité de 16 LLM cliniques et à usage général face à des variations de prompts préservant le sens, révélant que la spécialisation de domaine ne garantit pas systématiquement une plus grande robustesse dans les contextes de santé.

Auteurs originaux : Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : Même patient, mots différents, diagnostic différent ?

Imaginez que vous êtes médecin. Vous avez un patient présentant un ensemble de symptômes spécifiques. Vous rédigez une note décrivant le cas. Ensuite, vous demandez à un programme informatique (une IA) de deviner le diagnostic.

Maintenant, imaginez que vous réécrivez cette note. Vous utilisez des mots différents, vous changez la structure des phrases ou vous remplacez un terme médical par un terme courant (comme dire « crise cardiaque » au lieu de « infarctus du myocarde »). La signification est exactement la même. Le patient n'a pas changé.

Le Problème : L'article pose la question suivante : Si vous posez exactement la même question à l'IA mais en la formulant différemment, vous donnera-t-elle la même réponse ?

Malheureusement, les chercheurs ont découvert que ces modèles d'IA sont souvent comme des prévisionnistes météo capricieux. Si vous demandez : « Est-ce qu'il va pleuvoir ? », vous pourriez obtenir un « Oui ». Mais si vous demandez : « Y a-t-il une probabilité de précipitations ? », la même IA pourrait soudainement répondre « Non », alors que la météo n'a pas changé. Dans un hôpital, ce genre d'incohérence est dangereux.

La Solution : Un « Filtre de Vérité »

Pour tester cela correctement, les chercheurs ont dû être très prudents. Ils ne pouvaient pas simplement demander à l'IA de reformuler, car l'IA peut accidentellement changer le sens (par exemple, transformer « pas de douleur » en « douleur »).

Ils ont construit un filtre de vérité à plusieurs couches pour s'assurer que les questions étaient réellement identiques en termes de sens :

Le contrôle de la logique (NLI) : Ils ont utilisé un « robot logique » spécial qui vérifie si deux phrases s'impliquent logiquement l'une l'autre. Si la Phrase A signifie la Phrase B, et que la Phrase B signifie la Phrase A, elles sont jumelles.
Le juge IA : Ils ont utilisé une seconde IA, très intelligente, pour double-vérifier le travail du robot logique.
Le médecin humain : Enfin, un vrai médecin diplômé a examiné les questions pour s'assurer que les faits médicaux (dosages, symptômes, chronologie) n'avaient pas été accidentellement altérés.

Seules les questions ayant passé ces trois tests ont été utilisées pour l'expérience.

L'Expérience : Médecins généralistes vs Spécialisés

Les chercheurs ont testé 16 modèles d'IA différents. Ils les ont divisés en deux groupes :

Usage Général (GP) : Ce sont comme des généralistes intelligents. Ils lisent tout sur Internet et sont bons dans beaucoup de domaines, mais ne sont pas des experts médicaux de formation.
Domaine Spécifique (DS) : Ce sont comme des internes spécialisés. Ils ont été formés spécifiquement sur des livres de médecine et des dossiers de patients.

L'Hypothèse : Tout le monde supposait que les « Modèles Spécialisés » (DS) seraient plus stables et fiables que les « Modèles Généralistes » (GP) lorsque la formulation changeait.

La Surprise : Les modèles spécialisés n'ont pas systématiquement gagné.

Parfois, les modèles spécialisés étaient plus stables.
Parfois, les modèles généraux étaient plus stables.
Souvent, ils étaient tout aussi instables l'un que l'autre.

L'Analogie : C'est comme tester deux chefs. L'un est un grand chef qui ne cuisine que de la cuisine italienne (Spécialisé), et l'autre est un excellent cuisinier qui connaît toutes les cuisines (Généraliste). Vous lui demandez de préparer un plat de pâtes. Si vous décrivez le plat légèrement différemment (« faire bouillir les nouilles » vs « cuire les pâtes »), vous pourriez vous attendre à ce que le chef italien soit plus constant. Mais l'étude a montré que parfois, le chef italien est dérouté par les nouveaux mots, tandis que le cuisinier généraliste reste calme. La spécialisation seule ne garantit pas la stabilité.

Le Piège de la Confiance : « Je suis sûr, mais j'ai tort »

Les chercheurs ont également examiné à quel point l'IA était confiante dans ses réponses.

Le constat : L'IA agit souvent comme un étudiant arrogant qui se trompe mais pense avoir raison.
Même lorsque l'IA changeait de réponse à cause du changement de formulation (montrant ainsi son instabilité), elle conservait souvent le même niveau de confiance élevé.
L'analogie : Imaginez un étudiant passant un examen. Si vous reformulez une question, il peut changer sa réponse de « A » à « B ». Mais si vous demandez : « À quel point êtes-vous sûr de vous ? », il répondra toujours : « 100 % sûr ! ». L'article a trouvé qu'un niveau de confiance élevé n'est pas un bon signe de la justesse ou de la stabilité de l'IA.

Les Points Clés à Retenir

Les petits changements comptent : Changer quelques mots dans une instruction médicale peut amener l'IA à donner un diagnostic complètement différent, même si le sens est identique.
L'entraînement n'est pas un bouclier magique : Ce n'est pas parce qu'une IA est entraînée sur des données médicales qu'elle sera plus fiable face à la variation du langage.
La confiance est trompeuse : Une IA qui dit être « sûre à 99 % » ne signifie pas qu'elle ne changera pas d'avis si vous posez la question légèrement différemment.
Nous avons besoin de meilleurs tests : Avant de faire confiance à ces IA dans les hôpitaux, nous devons les tester non seulement sur leur capacité à donner la bonne réponse une fois, mais aussi sur leur capacité à rester cohérentes lorsque les mots changent.

En bref : L'article nous avertit que les IA médicales actuelles sont comme des traducteurs peu fiables. Si vous leur parlez en « Anglais Médical », elles peuvent donner une réponse. Si vous leur parlez en « Anglais Courant » (même si cela signifie la même chose), elles peuvent donner une réponse différente. Nous devons corriger cette incohérence avant de les laisser aider les médecins à traiter les patients.

Résumé technique : Évaluation de la stabilité sémantique des LLM cliniques

Problématique

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des contextes cliniques pour des tâches telles que l'aide au diagnostic et la génération de résumés. Cependant, ces modèles présentent une sensibilité significative aux variations linguistiques mineures des invites (prompts) d'entrée (par exemple, le reformulage, la substitution de synonymes ou le réordonnancement syntaxique). Dans les environnements de santé critiques où la sécurité est primordiale, des entrées sémantiquement équivalentes devraient produire des prédictions cohérentes ; pourtant, des preuves empiriques suggèrent que les performances peuvent varier de 8 à 50 % sous de telles variations.

Un défi méthodologique majeur dans l'évaluation de cette instabilité est l'absence de vérification sémantique fiable. Les approches existantes reposant sur des mesures de similarité basées sur les plongements (embeddings) (par exemple, la similarité cosinus) échouent souvent à capturer les distinctions cliniques critiques impliquant la négation, la temporalité ou la sévérité. Par exemple, « le patient présente une douleur thoracique » et « le patient nie toute douleur thoracique » peuvent recevoir des scores de similarité élevés malgré des sens cliniques opposés. Sans une vérification rigoureuse que les variations de l'invite préservent réellement le sens clinique, il est impossible de distinguer une véritable instabilité du modèle d'une réponse légitime à un contenu altéré.

Méthodologie

Les auteurs proposent un cadre systématique pour évaluer la stabilité sémantique en utilisant un benchmark rigoureusement vérifié et trois nouvelles métriques.

1. Cadre de vérification sémantique

Pour garantir que les variations de l'invite préservent le sens clinique, les auteurs ont développé un pipeline de vérification à plusieurs étapes :

Génération de variations : À partir de 200 invites de base (100 issues de MedQA-USMLE et 100 de DiagnosisQA), 10 variations préservant le sens ont été générées par invite en utilisant GPT-4o-mini. Les variations comprenaient l'expansion/compression d'abréviations, la conversion du langage clinique vers le langage profane, le réordonnancement syntaxique et la transformation de la voix. Des contraintes strictes interdisaient d'altérer les faits cliniques, la négation, la temporalité ou la sévérité.
Filtrage par NLI : Les variations générées ont été filtrées à l'aide de trois modèles d'inférence de langage naturel (NLI) pré-entraînés (PubMedBERT-MNL-MedNLI, roberta-large-mnli, et deberta-large-mnli). Une variation n'était conservée que si elle satisfaisait une implication bidirectionnelle (implication mutuelle) avec l'invite originale à travers au moins deux des trois modèles.
Audit hybride Humain-LLM : Un processus de vérification en deux étapes a été appliqué :
- Étape 1 : Les échantillons vérifiés par NLI ont été examinés par un LLM-as-a-Judge (utilisant GPT-5.2 et MedLLaMA3) et un expert clinique agréé.
- Étape 2 : Les échantillons rejetés par les juges LLM ont été réévalués par l'expert clinique afin de récupérer les reformulations valides trop conservativement filtrées par l'automatisation.
- Le benchmark final se compose de 1 761 variations vérifiées préservant le sens.

2. Métriques d'évaluation

L'étude introduit trois métriques pour quantifier la sensibilité du modèle :

Sensibilité à la variation préservant le sens (MVS - Meaning-Preserving Variation Sensitivity) : La proportion de variations vérifiées qui entraînent un changement dans la sortie prédite du modèle par rapport à l'invite de base.
Variation de confiance ( $\Delta$ C) : Le changement absolu moyen de la probabilité maximale prédite (confiance) du modèle à travers les variations, même lorsque la sortie prédite reste inchangée.
Instabilité du pire cas (WCI - Worst-Case Instability) : Une métrique par échantillon indiquant si n'importe quelle variation vérifiée provoque le basculement du modèle d'une prédiction correcte à une prédiction incorrecte (ou vice versa).

3. Configuration expérimentale

Le cadre a évalué 16 LLM open-source (8 à usage général [GP] et 8 spécifiques au domaine [DS]) à travers des familles et des échelles de paramètres correspondantes (de 1,5B à 8B). Les modèles ont été testés avec une quantification NF4 à 4 bits avec une inférence en demi-précision. Les prédictions ont été dérivées de manière déterministe à partir des probabilités de jetons (tokens) pour isoler la sensibilité sémantique du bruit d'échantillonnage.

Résultats clés

1. La spécialisation de domaine ne garantit pas la robustesse

Contrairement à l'hypothèse selon laquelle le réglage fin (fine-tuning) médical assure la stabilité, les résultats montrent que la robustesse dépend fortement du modèle plutôt que strictement du domaine.

Performance mixte : Plusieurs modèles DS se sont classés parmi les plus robustes, mais de solides bases GP (par exemple, LLaMA3.1-8B, Qwen2.5-7B) étaient également ou plus compétitives.
Aucun avantage universel : L'analyse statistique (tests de permutation appariés) n'a révélé aucune preuve cohérente que la spécialisation de domaine améliore la robustesse. Dans certains cas (par exemple, MedQwen2.5-7B sur MedQA), les modèles DS étaient significativement moins robustes que leurs homologues GP.
Oubli catastrophique : Certains modèles DS (par exemple, MediChat-LLaMA3-8B) ont sous-performé par rapport à leurs homologues GP, suggérant que les stratégies d'adaptation peuvent dégrader les capacités de raisonnement général.

2. La difficulté de la tâche amplifie l'instabilité

Les modèles ont montré une sensibilité plus élevée (MVS et WCI plus élevés) sur le jeu de données plus complexe MedQA par rapport à DiagnosisQA. Cela indique que la stabilité sémantique se dégrade à mesure que les exigences de raisonnement augmentent. Des transformations linguistiques spécifiques, telles que le reformatage de la question et la conversion du langage clinique vers le langage profane, se sont révélées les plus perturbatrices, tandis que les modifications superficielles (ex. : expansion d'abréviations) ont eu un impact minimal.

3. Faible alignement entre confiance et stabilité

Confiance vs Prédiction : Il existe une faible association entre l'instabilité de la prédiction (MVS) et la variation de confiance ( $\Delta$ C). Les modèles maintiennent souvent une confiance élevée même lorsque leurs prédictions basculent sous l'effet de reformulations sémantiquement équivalentes.
Surconfiance : De nombreux modèles sont restés surestimés malgré une robustesse ou une précision réduite. Par exemple, Qwen2.5-3B n'a obtenu que 40 % de précision sur MedQA tout en affichant une confiance de 0,90.
Problèmes de calibration : La corrélation entre la confiance et la précision était modeste sur DiagnosisQA ( $r=0,41$ ) et faible sur MedQA ( $r=0,18$ ), indiquant que les scores de confiance ne sont pas des indicateurs fiables de la justesse ou de la robustesse dans le cadre de questions-réponses médicales.

4. Impact de la quantification

L'étude a constaté que la quantification NF4 à 4 bits avait un impact négligeable sur les métriques de stabilité pour la plupart des modèles, avec seulement de légères variations dépendantes du jeu de données observées dans le WCI.

Signification et affirmations

L'article soutient que le réglage fin médical seul ne garantit pas de manière fiable un comportement stable sous les variations naturelles des invites. Les auteurs affirment que :

La robustesse n'est pas inhérente à la spécialisation de domaine : Déployer un modèle médicalement spécialisé n'assure pas automatiquement l'invariance sémantique ; la robustesse dépend davantage de l'architecture, de l'échelle et de la qualité de l'entraînement que de la présence de données médicales.
L'évaluation actuelle est insuffisante : La précision standard des benchmarks est une mesure inadéquate de la préparation clinique. Les modèles peuvent paraître compétents sur des invites statiques tout en échouant de manière catastrophique sous l'effet de reformulations mineures préservant le sens.
La confiance est trompeuse : Une confiance élevée du modèle ne doit pas être interprétée comme un signal de stabilité ou de justesse, car les modèles expriment souvent une certitude forte même lorsque leurs sorties sont fragiles.
Besoin d'une évaluation explicite de la robustesse : Avant le déploiement clinique, les LLM doivent subir une évaluation explicite de la robustesse utilisant des variations préservant le sens, vérifiées par des méthodes sémantiques fondées (comme la NLI) plutôt que par de simples mesures de similarité.

L'étude conclut que la stabilité sémantique doit être traitée comme une exigence fondamentale pour l'IA de santé, nécessitant un passage des évaluations de précision sur une invite unique vers une analyse de sensibilité systématique.