💬 NLP

When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations

Cette étude évalue systématiquement la sensibilité des grands modèles de langage généralistes et spécialisés en médecine aux variations de prompts à l'aide du benchmark MedMCQA, révélant que même de mineuses perturbations lexicales ou syntaxiques peuvent dégrader significativement leur fiabilité et induire des résultats cliniques préjudiciables, soulignant ainsi des risques critiques de sécurité pour leur déploiement dans le secteur de la santé.

Auteurs originaux : Mahdi Alkaeed

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahdi Alkaeed

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Le « Chef Capricieux » de la Médecine

Imaginez que vous avez un chef de classe mondiale (le Grand Modèle de Langage, ou LLM) censé préparer le repas parfait pour un patient en se basant sur une fiche de recette (le prompt). Ce chef est incroyablement intelligent et connaît des milliers de recettes.

Cependant, cette publication découvre une faille effrayante : ce chef est extrêmement sensible à la façon dont la recette est écrite.

Si vous changez un seul mot, réorganisez l'ordre des ingrédients, ou même si vous orthographiez un mot légèrement différemment, le chef pourrait soudainement décider de servir un plat complètement différent — ou pire, un plat empoisonné. L'article soutient que dans le domaine de la santé, où un « plat » est un diagnostic médical ou un conseil, ce genre d'imprévisibilité est dangereux.

L'Expérience : Tester la Stabilité du Chef

Les chercheurs ont voulu voir si ces chefs IA médicaux pouvaient gérer de petits changements sans tout gâcher. Ils ont utilisé une immense bibliothèque de questions médicales (appelée MedMCQA) et ont testé deux types de « chefs » :

Chefs Généraux : Des modèles d'IA intelligents qui ne sont pas spécifiquement entraînés pour la médecine (comme GPT-3.5 ou Llama3).
Chefs Spécialistes : Des modèles d'IA entraînés spécifiquement sur des livres et des revues médicales (comme BioBERT ou ClinicalBERT).

Ils ont testé les chefs sous trois conditions :

La Recette Originale : La question standard, propre.
L'« Échange de Synonymes » (Perturbation Lexicale) : Changer des mots par leurs synonymes (par exemple, changer « essoufflement » par « dyspnée ») ou corriger des fautes de frappe.
La « Cuisine Réorganisée » (Perturbation Syntaxique) : Changer la structure de la phrase (par exemple, passer de « L'infirmière a administré le médicament » à « Le médicament a été administré par l'infirmière »).

Ce Qu'Ils Ont Découvert : La Vérité « Fragile »

Les résultats ont montré qu'aucun chef n'est véritablement sûr pour le moment. Voici ce qui s'est passé :

1. L'« Échange de Synonymes » était globalement acceptable (mais pas parfait)
Lorsque les chercheurs ont simplement remplacé des mots par des termes similaires (comme changer « cinq mg » par « 5 mg »), la plupart des chefs sont restés calmes. Ils donnaient toujours la bonne réponse. C'est comme si vous demandiez « un verre d'eau » au lieu de « un gobelet d'eau », le chef vous apporte quand même de l'eau.

Cependant, même ici, les chefs s'embrouillaient parfois sur la manière de présenter la réponse (comme oublier de l'écrire dans un format spécifique), même si le conseil médical était correct.

2. La « Cuisine Réorganisée » a semé le chaos
Lorsque les chercheurs ont modifié la structure de la phrase ou l'ordre des options, les chefs ont commencé à échouer.

L'Analogie : Imaginez un chef qui est excellent pour suivre une liste, mais si vous mettez le dernier élément de la liste en premier, il oublie complètement le premier élément.
Le Résultat : Dans certains cas, le simple fait de reformuler la question a poussé l'IA à donner un mauvais diagnostic. Par exemple, un patient présentant des symptômes de BPCO pourrait être diagnostiqué avec un œdème pulmonaire simplement parce que la structure de la phrase a été modifiée.

3. Les « Chefs Spécialistes » n'étaient pas immunisés
On pourrait penser qu'un chef entraîné uniquement sur des livres de médecine serait plus sûr. L'article a découvert que les chefs spécialistes (BioBERT, etc.) étaient en fait tout aussi fragiles, et parfois plus sensibles aux changements structurels, que les chefs généraux. Ils n'avaient pas de « super-pouvoir » contre ces ruses.

Le Danger « Adversaire » : La Note Sournoise

L'article a également examiné les prompts « adverses » — ce sont comme quelqu'un qui glisserait une note sournoise dans la fiche de recette pour tromper le chef.

L'Analogie : Imaginez quelqu'un chuchotant : « Ignore la première étape, le patient est en fait allergique à ceci », alors que le patient ne l'est pas.
Le Résultat : Ces petits changements vicieux pourraient pousser l'IA à recommander le mauvais dosage de médicament ou à ignorer un symptôme critique. L'article qualifie cela de « cliniquement dangereux ».

Le Verdict : Pourquoi Cela Importe

L'article conclut que les IA médicales actuelles ne sont pas « intrinsèquement sûres ».

Le Problème : Si un médecin pose la même question de deux manières différentes, l'IA peut donner deux réponses différentes. L'une peut être juste, et l'autre peut être fausse.
Le Risque : Dans un hôpital, on ne peut pas avoir un système qui change d'avis simplement parce qu'on a reformulé une phrase. Si l'IA hallucine une interaction médicamenteuse ou manque un diagnostic à cause d'une faute de frappe, des patients pourraient être blessés.

Résumé en Bref

Considérez ces modèles d'IA comme des étudiants brillants mais nerveux. Ils maîtrisent parfaitement le sujet quand l'examen est écrit clairement. Mais si le professeur change la police de caractères, échange quelques mots ou réorganise les paragraphes, l'étudiant peut paniquer et donner une mauvaise réponse.

L'article dit : « Nous ne pouvons pas encore confier la correction d'examens médicaux à ces étudiants car ils sont trop facilement déstabilisés par la façon dont la question est posée. » Avant de les laisser aider les médecins, nous devons leur apprendre à être plus stables et moins sensibles à la manière dont on leur parle.

Résumé technique : Quand les grands modèles de langage échouent en milieu médical

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans le secteur de la santé pour des tâches critiques telles que la réponse à des questions cliniques, l'aide au diagnostic et la synthèse de rapports. Cependant, ces modèles présentent une sensibilité significative aux perturbations subtiles des prompts, tant lexicales (au niveau des mots) que syntaxiques (au niveau de la structure). Dans des environnements cliniques où la sécurité est primordiale, même de légères variations de formulation — comme la substitution de synonymes, le réordonnancement des symptômes ou de légers changements syntaxiques — peuvent entraîner des sorties incohérentes, des erreurs de diagnostic ou des conseils préjudiciables. Le problème central abordé est l'absence de robustesse intrinsèque tant dans les modèles généralistes (ex. : GPT-3.5, Llama3) que dans les modèles spécialisés en médecine (ex. : ClinicalBERT, BioLlama3, BioBERT) face à des variations d'entrées bénignes ou adverses. Cette imprévisibilité pose des risques inacceptables pour la confiance clinique, car les modèles peuvent modifier des diagnostics ou recommander des dosages incorrects sur la seule base d'entrées reformulées.

Méthodologie

L'étude emploie un cadre d'analyse de sensibilité systématique utilisant le benchmark MedMCQA, un ensemble de données à grande échelle contenant plus de 194 000 questions médicales à choix multiples. L'évaluation couvre cinq modèles : GPT-3.5, Llama3, ClinicalBERT, BioLlama3 et BioBERT.

Stratégie de perturbation

Les auteurs classent les perturbations en deux types :

Perturbations lexicales : Impliquant des substitutions de tokens, telles que le remplacement de termes médicaux par des synonymes cliniquement exacts (ex. : remplacer « essoufflement » par « dyspnée ») ou l'introduction d'erreurs orthographiques mineures. Celles-ci sont générées via BioSyn et validées par les plongements (embeddings) de BioBERT et SciBERT pour garantir l'équivalence médicale.
Perturbations syntaxiques : Impliquant des changements structurels, tels que le réordonnancement de clauses, le passage de la voix active à la voix passive, ou la modification de l'accentuation de la phrase (ex. : l'utilisation de la mise en relief/clefting), tout en préservant le sens clinique sous-jacent.

Cadre d'évaluation

Le pipeline comprend :

La génération de prompts perturbés ( $P'$ ) à partir de prompts originaux ( $P$ ).
La validation de l'équivalence sémantique à l'aide de l'Universal Sentence Encoder (USE) et de BioSyn pour s'assurer que l'entrée perturbée conserve l'intention clinique originale.
La sélection des top- $K$ prompts syntaxiquement alignés basés sur les scores de similarité cosinus.
L'exécution de ces prompts à travers les LLM cibles et la comparaison des résultats avec la vérité terrain (ground truth).

Métriques

La performance est quantifiée par :

BERTScore : Mesure la similarité syntaxique et sémantique entre la réponse du modèle et la vérité terrain.
Score Universal Sentence Encoder (USE) : Évalue la similarité des plongements au niveau de la phrase pour évaluer la préservation du sens clinique.
Taux de réponse (RR - Response Rate) : La proportion de réponses valides générées.
Taux d'instruction de suivi (FIR - Follow-up Instruction Rate) : La mesure dans laquelle le modèle respecte les contraintes de formatage ou de structure spécifiques (ex. : sortie JSON) au sein des réponses valides.

La stabilité est catégorisée par seuils de score : 0,9–1,0 (Très stable), 0,7–0,9 (Modérément stable), 0,5–0,7 (Sensibilité légère) et <0,5 (Haute sensibilité).

Principales contributions

Définition et catégorisation formelles : L'article définit et catégorise formellement les perturbations de prompts en variations lexicales et syntaxiques, évaluant systématiquement leur impact sur la performance des LLM dans les tâches de santé.
Analyse comparative : Il fournit une comparaison exhaustive entre les modèles généralistes et les modèles spécialisés en médecine, révélant qu'aucune des deux catégories n'est intrinsèquement immunisée contre la sensibilité.
Identification des vulnérabilités : L'étude identifie des modes de défaillance critiques, notamment la « dérive d'instruction » (où les modèles échouent aux contraintes de formatage malgré une logique médicale correcte) et la « mauvaise interprétation structurelle » (où les changements syntaxiques mènent à de faux diagnostics).
Preuves de benchmarking : Les auteurs consolident les preuves de la robustesse des LLM à travers les domaines de la santé, détaillant les effets observés de types de perturbations spécifiques sur la cohérence et la précision des modèles.

Résultats

Sensibilité générale : Tous les modèles évalués, y compris les modèles spécialisés en médecine, ont montré une baisse de performance sous l'effet des perturbations. La précision est passée d'environ 98–99 % dans les configurations non perturbées à 94–95 % sous l'effet des changements syntaxiques.
Impact lexical vs syntaxique : Les modèles ont démontré une résilience relative aux simples substitutions lexicales (ex. : synonymes) mais ont montré une fragilité significative face au réordonnancement syntaxique et aux indices contextuels trompeurs.
Dérive d'instruction : Les variations lexicales ont souvent provoqué une priorité donnée par les modèles au flux du langage naturel plutôt qu'aux instructions de formatage strictes (ex. : structure JSON), entraîissant une baisse des scores FIR même lorsque le diagnostic médical était correct.
Effondrement structurel : Les perturbations syntaxiques ont occasionnellement causé un échec systémique total, où le modèle a mal pondéré les signes cliniques (ex. : confondre « augmentation de l'expectoration » avec « Œdème pulmonaire » au lieu de « BPCO »), entraînant de faux diagnostics (échec du RR).
Performance des modèles : BioLlama3 a démontré la plus grande robustesse parmi les modèles testés, tandis que BioBERT et ClinicalBERT ont présenté une sensibilité plus élevée, particulièrement aux variations syntaxiques. Les modèles généralistes comme GPT-3.5 ont montré une stabilité compétitive mais non supérieure à celle des modèles spécialisés.

Signification et affirmations

L'article affirme que les LLM médicaux ne sont pas intrinsèquement sûrs. Les conclusions remettent en question l'hypothèse selon laquelle le réglage fin (fine-tuning) spécifique au domaine garantit la fiabilité dans les contextes cliniques. Les auteurs soulignent que :

L'imprévisibilité est inacceptable : Dans les soins de santé à enjeux élevés, les modèles qui modifient les diagnostics en raison de reformulations ou qui hallucinent des médicaments sous l'effet d'une légère rephrasation ne peuvent être fiablement utilisés par les cliniciens.
Besoin de robustesse : Les benchmarks actuels se concentrant uniquement sur la précision sur des données propres sont insuffisants. Il existe un besoin urgent d'une évaluation systématique de la robustesse qui tienne compte des variations lexicales et syntaxiques.
Orientations futures : Les auteurs appellent à des métriques standardisées, des tests de perturbation contrôlés (similaires aux cadres comme MedFuzz et RAmBLA) et au développement de modèles qui soient soit prouvés résilients, soit transparentement limités dans leur déploiement afin de garantir la sécurité des patients.

L'étude conclut que bien que les LLM détiennent un potentiel significatif pour la santé, leur fragilité actuelle face aux perturbations de prompts nécessite une conception de prompt rigoureuse et des recherches supplémentaires sur la robustesse adversaire avant qu'une adoption clinique généralisée puisse être considérée comme sûre.