💬 NLP

Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models

Cet article présente une évaluation à grande échelle de plus de 6 000 grands modèles de langage médicaux déployés sur le web, révélant des risques importants d'hallucinations, de violations des politiques et de failles de confidentialité, tout en introduisant de nouveaux cadres d'évaluation et un jeu de données pour orienter les futures améliorations de sécurité.

Auteurs originaux : Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sunday Oyinlola Ogundoyin, Muhammad Ikram, Rahat Masood

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le « App Store » d'internet pour l'IA, mais au lieu de jeux ou d'outils de productivité, il est rempli de milliers de médecins numériques. Ce sont des chatbots IA personnalisés (appelés MedGPT) que n'importe qui peut créer et publier pour donner des conseils médicaux, diagnostiquer des symptômes ou expliquer des traitements.

Le document que vous avez fourni est comme une vaste inspection sanitaire clandestine de ce marché numérique. Les chercheurs n'ont pas seulement examiné les médecins les mieux notés et les plus populaires ; ils ont audité plus de 6 000 d'entre eux pour vérifier s'ils sont sûrs, honnêtes, ou s'ils sont en réalité dangereux.

Voici ce qu'ils ont découvert, décomposé en concepts simples :

1. Le problème du « menteur confiant » (hallucinations)

Imaginez un guide touristique qui parle avec une confiance absolue mais invente des faits sur l'histoire. Dans le monde médical, cela s'appelle une hallucination.

La découverte : Environ 25 % à 30 % de ces médecins IA « mentent » ou inventent des faits médicaux. Ils pourraient vous dire avec assurance de prendre un médicament dangereux ou d'ignorer un symptôme grave.
La surprise : Vous pourriez penser que les médecins les plus populaires sont les plus sûrs. Mais l'étude a révélé que la popularité est un mauvais détecteur de mensonges. Les médecins IA « célèbres » étaient tout aussi susceptibles d'inventer des choses que les moins connus. En fait, les moins populaires étaient souvent encore pires.
Le point aveugle de l'utilisateur : Les chercheurs ont constaté que les utilisateurs ne semblent pas remarquer ces mensonges. Si une IA donne une réponse fluide et confiante, les gens lui attribuent 5 étoiles, même si le conseil est médicalement erroné. C'est comme donner une note de 5 étoiles à un chef qui vous sert un repas apparemment délicieux mais empoisonné.

2. Le problème du « mauvais acteur » (abus de conception)

Certains de ces médecins IA ne sont pas juste accidentellement erronés ; ils sont conçus pour être risqués.

La découverte : Près de 50 % des médecins IA présentaient des « signaux d'alerte » dans leur conception.
La métaphore : Imaginez un propriétaire de restaurant qui affiche une pancarte disant « Nous sommes un hôpital » (même s'ils ne le sont pas), cache le menu et refuse de vous montrer d'où vient la nourriture.
Les détails :
- Certains créateurs ont nommé leurs bots des choses comme « Diagnostic instantané du cancer » pour tromper les gens et les faire croire qu'ils sont de vrais médecins.
- Beaucoup de ces bots possèdent une fonctionnalité appelée « Actions » (qui leur permet de se connecter à des sites web externes), mais 57 % d'entre eux n'avaient pas de politique de confidentialité. C'est comme entrer dans une clinique où le médecin prélève votre échantillon de sang mais refuse de vous dire ce qu'il va en faire.
- Même lorsqu'ils avaient une politique de confidentialité, près de 70 % d'entre eux étaient défectueuses, vagues ou ne protégeaient pas réellement vos données.

3. Le duel « Open Source » contre « Vendu en magasin »

Les chercheurs ont également comparé ces médecins IA vendus en magasin à des versions « open source » (modèles que les développeurs partagent librement, comme un livre de recettes communautaire).

Les médecins IA vendus en magasin (MedGPT) : Ils étaient généralement meilleurs pour sembler intelligents et précis (ils avaient plus souvent les faits exacts). Cependant, ils étaient moins stables — parfois ils donnaient une excellente réponse, et la prochaine fois que vous posiez la même question, ils donnaient une réponse totalement différente et confuse.
Les versions Open Source : Elles étaient plus cohérentes (elles donnaient la même réponse à chaque fois), mais elles étaient moins précises sur les faits.
La leçon : Aucun des deux types n'est parfait. Les versions « sophistiquées » sonnent mieux mais vacillent ; les versions « communautaires » sont stables mais peuvent se tromper sur les détails.

4. Les « signaux de confiance » sont brisés

Dans un magasin d'applications normal, si une application a de mauvaises critiques ou de faibles notes, vous l'évitez.

La découverte : Dans ce magasin d'IA médicale, les notes et les critiques ne vous disent rien sur la sécurité.
La métaphore : C'est comme un concessionnaire automobile où les voitures ayant fait le plus d'essais routiers et ayant les meilleures notes « 5 étoiles » sont en réalité celles dont les freins sont défectueux. Les chercheurs ont constaté que la fréquence à laquelle les gens parlaient à l'IA n'avait presque aucun lien avec le fait que l'IA disait ou non la vérité.

Le fond du problème

Le document conclut que nous ne pouvons pas faire confiance à ces médecins IA simplement parce qu'ils sont populaires ou parce qu'ils semblent confiants.

Le système est brisé : La méthode actuelle de vérification de ces bots (en s'appuyant sur les avis des utilisateurs et les notes en étoiles) échoue.
Le danger : Parce que les patients n'ont souvent pas de formation médicale, ils ne peuvent pas repérer quand l'IA ment ou quand le médecin « simule » une autorité.
La solution : Nous avons besoin d'un nouveau type d'« inspecteur de santé » qui vérifie les faits de l'IA, sa conception et ses règles de confidentialité avant qu'elle ne soit autorisée à parler aux patients. Les chercheurs ont publié un nouvel ensemble de données et un ensemble d'outils pour aider à construire ces inspecteurs.

En bref : Le marché médical numérique est rempli de menteurs confiants et de conceptions risquées, et les « avis clients » ne nous aident pas à les repérer. Nous avons besoin de meilleurs contrôles de sécurité avant de laisser ces médecins IA pénétrer dans nos vies.

Résumé technique : Ne pas nuire ? Hallucinations et abus au niveau de l'acteur dans les grands modèles de langage médicaux déployés sur le Web

1. Énoncé du problème

Le déploiement rapide de grands modèles de langage médicaux personnalisés (MedGPT) sur des plateformes commerciales comme la boutique OpenAI présente des risques majeurs pour la sécurité, souvent négligés. Bien que ces modèles proposent des suggestions diagnostiques et des conseils de santé, ils font face à deux menaces principales et interconnectées :

Hallucination clinique : La génération d'informations médicales fluides mais factuellement incorrectes, incomplètes ou fabriquées (par exemple, des traitements dangereux, des conseils médicamenteux erronés). Contrairement aux erreurs des LLM généraux, ces hallucinations utilisent un langage spécifique au domaine, ce qui les rend difficiles à détecter pour les patients non experts.
Abus au niveau de l'acteur : Des choix de conception intentionnels de la part des développeurs qui prédisposent les modèles à une utilisation dangereuse ou non éthique. Cela inclut des métadonnées trompeuses (noms, descriptions), le contournement des mesures de sécurité via des outils (par exemple, la navigation web) et l'absence de divulgations fonctionnelles sur la vie privée, en particulier dans les modèles activés avec des « Actions » (appels d'API externes).

La littérature actuelle se concentre largement sur les hallucinations dans les modèles de base ou sur les mauvais usages génériques dans les applications à usage général, laissant un vide dans l'évaluation systématique des GPT de santé déployés et destinés aux utilisateurs concernant à la fois l'exactitude du contenu et les risques structurels liés aux développeurs.

2. Méthodologie

Les auteurs ont mené un audit à grande échelle de la boutique GPT d'OpenAI, introduisant un cadre d'évaluation à double couche.

Collecte de données

Portée : Un robot d'indexation a extrait les métadonnées de 9 245 GPT uniques en utilisant l'API de recherche publique d'OpenAI et une taxonomie spécifique au domaine comprenant 171 mots-clés médicaux.
Filtrage : Après une curation manuelle pour garantir la pertinence dans le domaine de la santé, un jeu de données final de 6 233 MedGPT a été établi.
Échantillonnage : En raison des limites de débit de la plateforme, un échantillon stratifié de 1 500 MedGPT a été sélectionné pour une évaluation approfondie : les 1 000 premiers (par nombre de conversations), un échantillon aléatoire du milieu (250) et les 250 derniers.
Groupe de comparaison : 10 grands modèles de langage médicaux open-source notables (par exemple, Galactica, PMC-LLaMA, MedAlpaca) ont été évalués en utilisant les mêmes métriques pour comparaison.

Cadres d'évaluation

MedGPT-HEval (Détection d'hallucinations) :
- Entrée : Chaque modèle a été interrogé cinq fois avec des scénarios cliniques standardisés issus de la référence MedQA.
- Métriques : Les réponses ont été notées à l'aide de quatre métriques complémentaires :
  - G-Eval : Un cadre de chaîne de pensée utilisant Gemini 3.1 Pro pour évaluer l'exactitude factuelle, la cohérence et la fiabilité des citations.
  - BARTScore : Mesure la probabilité du texte généré étant donné l'invite d'entrée pour évaluer la fidélité.
  - Entropie sémantique : Quantifie l'incertitude du modèle ; des valeurs plus élevées indiquent une plus grande instabilité et un risque d'hallucination accru.
  - Similarité cosinus : Mesure l'alignement sémantique entre la réponse et l'entrée clinique à l'aide d'embeddings BioBERT.
- Validation : Les scores automatisés ont été validés par rapport à une annotation humaine sur un sous-ensemble stratifié (300 modèles), atteignant un accord de 90,5 à 94,0 % (kappa de Cohen = 0,8163).
Évaluation des abus au niveau de l'acteur :
- Méthode : Un pipeline de type « LLM en tant que juge » (utilisant Gemini 3.1 Pro) a analysé les métadonnées (noms, descriptions, amorces de conversation) par rapport aux politiques d'utilisation d'OpenAI.
- Catégories : Les risques ont été classés en consultations de santé, arnaques, violations de la vie privée et activités illicites.
- Seuillage : Un clustering K-means ( $k=2$ ) a été appliqué aux scores de risque de mauvais usage pour déterminer un seuil de conformité de 0,45. Cela a été validé par un examen d'experts (kappa de Cohen = 0,8188).
- Audit de la vie privée : Spécifiquement pour les 170 modèles avec des « Actions » activées, les auteurs ont évalué l'accessibilité et la conformité des politiques de confidentialité liées.

3. Résultats clés

Hallucination clinique

Prévalence : 25 à 30 % des MedGPT de tous les niveaux de popularité ont obtenu un score inférieur à 0,8 en G-Eval.
Disparités entre niveaux : Les modèles des niveaux inférieur et intermédiaire ont présenté les risques d'hallucination les plus élevés et le plus faible alignement contextuel. Les modèles de premier niveau ont mieux performé mais ont tout de même montré une variance significative.
Spécificités des métriques :
- Seuls 37,27 % des MedGPT ont obtenu un BARTScore $\ge -3,5$ .
- Seuls 41,07 % ont atteint une similarité cosinus $\ge 0,4$ .
- 59,87 % avaient une entropie sémantique $< 2$ , indiquant une stabilité modérée, bien que les modèles de niveau inférieur aient montré une forte variabilité.
Perception des utilisateurs : Il existait une corrélation quasi nulle entre l'engagement des utilisateurs (nombres de conversations, notes étoiles) et les métriques d'hallucination (par exemple, $r \approx -0,03$ pour G-Eval). Les utilisateurs récompensent l'activité, pas l'exactitude ; les modèles moins fiables ont souvent reçu plus de retours positifs.

Abus au niveau de l'acteur et vie privée

Taux de mauvais usage : 49,8 % de tous les MedGPT évalués ont violé les politiques opérationnelles.
- Top 1 000 : 54,3 % non conformes.
- Milieu 250 : 48,0 % non conformes.
- Bas 250 : 33,6 % non conformes.
Lacunes en matière de vie privée : Parmi les 170 modèles activés avec des Actions :
- 57,06 % ne disposaient pas de politiques de confidentialité accessibles.
- Parmi les 42,94 % ayant des politiques accessibles, près de 70 % ont obtenu un score inférieur au seuil de conformité (manque de divulgations sur le partage de données, les cookies, les droits des utilisateurs).
- De nombreuses politiques étaient des liens brisés, des modèles génériques ou redirigeaient vers des domaines sans rapport.

Modèles open-source vs modèles déployés sur le Web

Exactitude vs Stabilité : Les MedGPT ont démontré une exactitude factuelle plus élevée (G-Eval moyen : 0,9238) et un alignement sémantique supérieur (Cosinus moyen : 0,4054) par rapport aux modèles open-source (G-Eval moyen : 0,4558 ; Cosinus moyen : 0,3731).
Cohérence : Les modèles open-source étaient plus stables et prévisibles (entropie sémantique plus faible : 1,6129 contre 1,9272 pour les MedGPT), suggérant un compromis où les modèles déployés sur le Web privilégient la cohérence par rapport à la stabilité trouvée dans les alternatives communautaires.

4. Contributions clés

Jeu de données HAA-MedGPT : La publication du premier jeu de données structuré à grande échelle contenant des métadonnées, des journaux d'interaction et des scores d'évaluation pour 6 233 MedGPT personnalisés déployés sur le Web.
Analyse de sécurité à double couche : L'introduction de MedGPT-HEval pour la détection d'hallucinations, combinée à un évaluateur de mauvais usage au niveau de l'acteur, traitant à la fois des erreurs au niveau de la sortie et des risques au niveau de la conception.
Constats de gouvernance systémique : Des preuves empiriques indiquant que les indicateurs de confiance de la plateforme (notes, avis) ne sont pas corrélés à la sécurité ou à l'exactitude, et que près de la moitié des modèles déployés violent les politiques opérationnelles.
Quantification des risques de confidentialité : La première évaluation empirique montrant que la majorité des GPT médicaux activés avec des Actions manquent de divulgations fonctionnelles sur la vie privée.

5. Importance et affirmations

L'article soutient que le déploiement actuel des grands modèles de langage médicaux sur des marchés ouverts souffre de défaillances systémiques de gouvernance. Les auteurs affirment que :

La popularité n'est pas un proxy de la sécurité : Les nombres élevés de conversations et les avis positifs n'indiquent pas une fiabilité factuelle ou le respect des politiques de sécurité.
Le risque est structurel : Les comportements dangereux sont souvent intégrés au niveau de la conception par les développeurs (par exemple, noms trompeurs, absence de politiques de confidentialité) plutôt que d'être des erreurs de génération accidentelles.
L'évaluation multi-métrique est essentielle : Se fier à une seule métrique (comme l'exactitude) est insuffisant ; une combinaison d'alignement factuel, de stabilité sémantique et de conformité aux politiques est nécessaire pour évaluer la sécurité des grands modèles de langage médicaux.
Besoin urgent de mesures de protection : Les résultats soulignent la nécessité d'évaluations de sécurité proactives, de normes de politiques applicables et de cadres d'évaluation multi-métriques avant le déploiement public des modèles.

Les auteurs concluent que sans ces interventions, le « fossé de confiance » entre la fiabilité perçue et la sécurité réelle continuera d'exposer les patients à des risques cliniques et de confidentialité.