🤖 machine learning

Safety and accuracy follow different scaling laws in clinical large language models

L'article présente le cadre SaFE-Scale et le benchmark RadSaFE-200 pour démontrer que la sécurité des LLM cliniques n'est pas un sous-produit passif de la mise à l'échelle, mais une propriété dépendante du déploiement, où des preuves de haute qualité réduisent considérablement les erreurs dangereuses, tandis que la récupération standard et l'augmentation de la puissance de calcul ne parviennent pas à reproduire ces gains de sécurité.

Auteurs originaux : Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Plus Grand N'est Pas Toujours Plus Sûr

Imaginez que vous embauchiez une équipe d'étudiants en médecine pour aider à diagnostiquer des patients. Vous pourriez supposer que si vous engagez l'étudiant le plus « intelligent » (le plus grand modèle d'IA) ou si vous lui donnez une bibliothèque massive à lire (plus de données), ils feront automatiquement moins d'erreurs dangereuses.

Ce document soutient que cette hypothèse est fausse. Dans le monde à haut risque de la médecine, rendre un modèle simplement « plus intelligent » ou « plus grand » ne garantit pas qu'il sera sûr. Un modèle peut être très précis en moyenne, mais commettre tout de même quelques erreurs terrifiantes et dangereuses avec une grande confiance.

Les chercheurs ont créé un nouveau terrain d'essai appelé RadSaFE-200 (pensez-y comme un « examen de conduite de sécurité » pour l'IA médicale) pour voir ce qui rend réellement ces systèmes d'IA sûrs. Ils ont testé 34 modèles d'IA différents dans six scénarios distincts.

Les Six Scénarios : Comment Nous Avons Testé l'IA

Les chercheurs n'ont pas simplement posé des questions à l'IA ; ils ont changé la manière dont l'IA avait le droit de répondre. Imaginez cela comme six façons différentes pour un étudiant de passer un examen :

Sans Livre : L'étudiant doit répondre uniquement de mémoire. Aucune note n'est autorisée.
Preuves Propres : L'étudiant reçoit un résumé parfait, clair et rédigé par un médecin des faits juste avant l'examen.
Preuves en Conflit : L'étudiant reçoit le résumé parfait, mais quelqu'un glisse une phrase confuse ou contradictoire.
Recherche Standard (RAG) : L'étudiant a le droit de chercher des réponses dans une encyclopédie désordonnée et non curée (Radiopaedia) mais ne sait pas filtrer le bruit.
Recherche par Agent (RAG Agentique) : L'étudiant a un assistant intelligent qui cherche dans l'encyclopédie, lit les résultats et les résume pour l'étudiant.
Contexte Maximal : L'étudiant reçoit toute l'encyclopédie déversée sur ses genoux, espérant trouver la bonne page au milieu du chaos.

Les Résultats Surprenants

1. Le Superpouvoir des « Preuves Propres »

La plus grande découverte a été que fournir à l'IA des faits de haute qualité, rédigés par des médecins, était la seule chose qui réglait vraiment les problèmes de sécurité.

L'Analogie : Imaginez un étudiant passant un examen. Si vous lui donnez une feuille de triche rédigée par un médecin lauréat du prix Nobel, il a presque tout juste et fait rarement des erreurs dangereuses.
Les Données : Lorsque l'IA a reçu ces « Preuves Propres », la précision a bondi de 73,5 % à 94,1 %. Plus important encore, les erreurs dangereuses sont passées de 12 % à seulement 2,6 %.

2. Le Piège de la « Recherche »

Les chercheurs pensaient que donner à l'IA accès à Internet (Recherche/RAG) ou à un assistant intelligent (Agent) la rendrait plus sûre.

L'Analogie : C'est comme donner à un étudiant une bibliothèque désordonnée. Il pourrait trouver le bon livre, mais il pourrait aussi lire un article de blog confus et devenir confiant à propos de la mauvaise réponse.
Le Résultat : Les méthodes de « Recherche » ont légèrement amélioré la précision, mais elles n'ont pas résolu les problèmes de sécurité. L'IA a toujours fait des erreurs dangereuses, et parfois elle est devenue plus confiante à propos de ces mauvaises réponses.

3. Le Mythe du « Grand Cerveau »

Ils ont testé des modèles allant du tout petit au gigantesque (certains avec des centaines de milliards de paramètres).

L'Analogie : Vous pourriez penser qu'un étudiant doctorant génial est plus sûr qu'un lycéen. Mais dans cet examen, l'étudiant doctorant a toujours fait les mêmes erreurs spécifiques et dangereuses que le lycéen s'il n'avait pas les bonnes notes.
Le Résultat : Rendre le modèle plus grand ne l'a pas automatiquement rendu plus sûr. La qualité de l'information donnée au modèle importait beaucoup plus que la taille du cerveau du modèle.

4. Le Piège de la Confiance

L'une des découvertes les plus effrayantes concernait la confiance.

L'Analogie : Imaginez un étudiant qui se trompe sur une question mais dit, avec un visage impassible : « Je suis sûr à 100 % d'avoir raison ! ».
Le Résultat : L'IA était souvent dangereusement trop confiante lorsqu'elle avait tort. Peu importe que le modèle soit petit ou grand ; lorsqu'elle commettait une erreur médicale à haut risque, elle était généralement très confiante à ce sujet. Vous ne pouvez pas faire confiance au « compteur de confiance » de l'IA pour vous dire si elle est sûre.

5. Le Problème de la « Pensée de Groupe »

Ils ont essayé de mettre trois IA différentes ensemble pour voter sur une réponse (un « Ensemble »), espérant qu'elles se corrigeraient mutuellement.

L'Analogie : C'est comme un comité de trois médecins. Vous penseriez que si l'un se trompe, les autres les corrigeraient.
Le Résultat : Parfois, les trois IA faisaient exactement la même erreur au même moment. C'est ce qu'on appelle un « échec synchronisé ». Lorsqu'un groupe d'IA s'accorde sur une mauvaise réponse, cela peut tromper les humains en les faisant croire que la réponse est définitivement correcte, rendant la situation encore plus dangereuse.

La Conclusion

Le document conclut que la sécurité n'est pas un résultat passif de la mise à l'échelle de l'IA pour la rendre plus grande ou plus rapide.

La mise à l'échelle (rendre les modèles plus grands) aide un peu, mais ne résout pas le problème de sécurité.
Ajouter plus de puissance de calcul (laisser l'IA réfléchir plus longtemps ou voter plusieurs fois) ne résout pas les problèmes fondamentaux.
La seule chose qui a fonctionné : Fournir à l'IA des preuves propres, de haute qualité et curées par des médecins juste avant qu'elle ne réponde.

L'Essentiel : Si vous voulez une IA médicale sûre, n'achetez pas simplement le plus grand modèle. Concentrez-vous plutôt sur la construction d'un système qui lui fournit les informations les meilleures et les plus fiables possibles. La qualité des « notes » que l'IA lit est plus importante que la taille de l'« étudiant » qui les lit.

Résumé technique : La sécurité et la précision suivent des lois d'échelle différentes dans les grands modèles de langage cliniques

Énoncé du problème
Les grands modèles de langage (LLM) cliniques sont de plus en plus déployés pour le soutien à la décision, souvent dans l'hypothèse que l'augmentation de la taille du modèle, de la longueur du contexte ou de la puissance de calcul au moment de l'inférence améliorera intrinsèquement la sécurité. Cependant, dans des domaines cliniques comme la radiologie, la sécurité n'est pas simplement une fonction de la précision moyenne. Un modèle peut atteindre une haute précision tout en conservant un sous-ensemble restreint d'erreurs « à haut risque » — des réponses incorrectes susceptibles de modifier la prise en charge clinique, de contredire les preuves ou d'être délivrées avec une surconfiance dangereuse. Les benchmarks conventionnels traitent souvent toutes les réponses incorrectes comme équivalentes, échouant à distinguer les erreurs bénignes de celles aux conséquences cliniques graves. Les auteurs postulent que les erreurs liées à la sécurité sont rares, asymétriques et structurées cliniquement, ce qui signifie que les stratégies d'échelle améliorant la performance moyenne peuvent ne pas atténuer ces modes de défaillance spécifiques et à fort enjeu.

Méthodologie
Pour combler cette lacune, les auteurs introduisent SaFE-Scale (Évaluation axée sur la sécurité de l'échelle), un cadre de mesure de l'évolution de la sécurité des LLM cliniques en fonction de l'échelle du modèle, de la qualité des preuves, de la stratégie de récupération, de l'exposition au contexte et de la puissance de calcul au moment de l'inférence.

Construction du benchmark (RadSaFE-200) : L'étude utilise RadSaFE-200, un benchmark d'évaluation axé sur la sécurité en radiologie comprenant 200 questions à choix multiples. L'ensemble de données est regroupé à partir d'ensembles précédemment publiés (RadioRAG, RaR) et de cas nouvellement curatés. Crucialement, chaque question inclut :
- Des « preuves propres » définies par les cliniciens (raisonnement clinique concis et correct).
- Des « preuves conflictuelles » (preuves propres plus une phrase distrayante ou partiellement contradictoire).
- Des étiquettes de sécurité au niveau des options indiquant si un choix de réponse spécifique constitue une erreur à haut risque (dommage clinique plausible), une réponse non sûre (contraire à la norme de soins) ou une contradiction avec les preuves.
Conception expérimentale : Les auteurs ont évalué 34 LLM déployés localement répartis dans sept familles (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) couvrant de 0,5 à 685 milliards de paramètres. L'évaluation a suivi un plan factoriel complet sur six conditions de déploiement :
- Sans livre (Closed-book) : Prompting en zéro-shot sans preuves externes.
- Preuves propres : Prompting avec des preuves curatées et rédigées par des cliniciens.
- Preuves conflictuelles : Prompting avec des preuves contenant un leurre.
- RAG standard : Génération augmentée par la récupération utilisant un pipeline fixe et Radiopaedia comme source.
- RAG agentique : Cadre de Récupération et Raisonnement (RaR) impliquant une reformulation et une synthèse de requêtes multi-étapes.
- Contexte maximal : Prompting avec la fenêtre de contexte maximale possible.
Des expériences secondaires ont investigué la puissance de calcul au moment de l'inférence via la cohérence self (vote majoritaire sur 20 échantillons) et des ensembles fixes à trois modèles (vote majoritaire entre des modèles hétérogènes).
Mesures : Les résultats principaux comprenaient le taux d'erreurs à haut risque, le taux de réponses non sûres, le taux de contradictions et la surconfiance dangereuse (définie comme une réponse incorrecte à haut risque avec une confiance normalisée par l'entropie $\ge$ 0,80). La précision a été rapportée comme un critère de jugement secondaire.

Résultats clés
L'étude démontre que la sécurité et la précision se découplent significativement à travers les conditions de déploiement :

La qualité des preuves domine : L'amélioration la plus significative tant en précision qu'en sécurité provient de la fourniture de preuves propres rédigées par des cliniciens. Cela a fait passer la précision moyenne des modèles de 73,5 % (sans livre) à 94,1 % et a réduit les erreurs à haut risque de 12,0 % à 2,6 %. La surconfiance dangereuse est passée de 8,0 % à 1,6 %.
Limites de la récupération et du raisonnement agentique : Bien que le RAG standard et le RAG agentique aient amélioré la précision par rapport au prompting sans livre (respectivement 76,0 % et 78,1 %), ils n'ont pas reproduit le profil de sécurité des preuves propres. Le RAG agentique, bien qu'améliorant la précision par rapport au RAG standard, a entraîné une surconfiance dangereuse plus élevée (8,0 % contre 5,7 %), indiquant qu'une meilleure intégration des preuves n'élimine pas automatiquement les erreurs à haut risque faites avec confiance.
Inefficacité de l'échelle et du calcul :
- Échelle du modèle : Au sein des familles de modèles, des paramètres plus importants ont amélioré les bases de référence sans livre, mais n'ont pas éliminé les erreurs à haut risque. Les preuves propres ont compressé la variance entre les familles, suggérant que la qualité des preuves est un déterminant plus fort de la sécurité que la taille du modèle.
- Longueur du contexte : Le prompting avec contexte maximal a augmenté la latence (27,0 s contre 18,0 s) sans combler l'écart de sécurité, produisant une précision similaire au prompting sans livre (74,0 %).
- Calcul au moment de l'inférence : La cohérence self n'a apporté que des gains marginaux en précision (+0,39 %) et en sécurité, échouant à réduire significativement les erreurs à haut risque.
- Ensembles : Bien que les ensembles aient amélioré la précision agrégée par rapport à la moyenne du panel, ils ont introduit une défaillance synchronisée, où les trois membres ont sélectionné la même mauvaise option. De nombreuses erreurs à haut risque des ensembles étaient unanimes, et les ensembles n'ont pas systématiquement surpassé le membre individuel le plus sûr.
La confiance comme signal : La confiance s'est révélée être un filtre de sécurité peu fiable. Les modèles maintenaient une haute confiance (souvent >85 %) même lorsqu'ils produisaient des erreurs à haut risque ou non sûres. L'écart entre la confiance sur les réponses correctes et les erreurs à haut risque était trop faible pour servir de filtre de déploiement.
Concentration du pire cas : Les défaillances aux conséquences cliniques n'étaient pas aléatoires ; elles se concentraient dans un petit sous-ensemble de questions. Les 15 questions à risque le plus élevé ont produit des erreurs à haut risque dans plus de 50 % du panel de modèles, certaines questions entraînant des taux d'échec de 100 % sur les 34 modèles.

Signification et revendications
L'article affirme que la sécurité des LLM cliniques n'est pas une conséquence passive de l'échelle (taille du modèle, contexte ou calcul) mais une propriété de déploiement façonnée par la qualité des preuves, la conception de la récupération et la construction du contexte.

Découplage des métriques : Les auteurs soutiennent que les lois d'échelle de la précision ne s'appliquent pas à la sécurité. Un système peut devenir plus précis tout en restant non sûr si la stratégie de déploiement (par exemple, la récupération) ne traite pas la nature spécifique des erreurs à haut risque.
Les preuves sont critiques : Le levier principal pour la sécurité est la qualité de l'information fournie au modèle. Les preuves curatées et rédigées par des cliniciens sont la seule condition testée qui a déplacé de manière constante les modèles vers une « zone de déploiement sûr » (précision $\ge$ 90 %, erreur à haut risque $\le$ 5 %).
Réévaluation des stratégies de déploiement : Les résultats suggèrent que se fier uniquement à la récupération, au raisonnement agentique ou à l'ensemblage est insuffisant pour la sécurité clinique. Ces méthodes peuvent améliorer la performance moyenne mais laissent subsister des erreurs résiduelles, faites avec confiance, qui posent des risques cliniques.
Changement d'évaluation : L'article plaide pour un changement dans l'évaluation des LLM cliniques, passant d'un rapport de précision à une seule métrique à un profilage de sécurité multidimensionnel mesurant explicitement les erreurs à haut risque, les contradictions et les défaillances synchronisées. RadSaFE-200 et SaFE-Scale sont présentés comme des instruments permettant ce type d'analyse de sécurité granulaire et spécifique au déploiement.

Les auteurs concluent que des systèmes d'IA cliniques plus sûrs nécessitent une mesure explicite de la sécurité au niveau du déploiement, en priorisant la réduction des erreurs à haut risque par le biais de contrôles de qualité des preuves plutôt que de supposer que la sécurité émergera de l'augmentation des paramètres du modèle ou de la puissance de calcul au moment de l'inférence.