Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

Imaginez que vous venez de construire un assistant robotique super intelligent, capable de lire des dossiers médicaux et de suggérer des traitements. Vous êtes enthousiaste, mais vous savez aussi que même les robots les plus intelligents peuvent parfois inventer des faits, donner des conseils dangereux ou s'embrouiller face à des questions complexes. C'est le monde des modèles de langage cliniques (LLM) : des outils d'IA puissants conçus pour aider les médecins, mais qui comportent un risque réel de commettre des erreurs pouvant nuire aux patients. Pour garantir la sécurité, des scientifiques construisent des « garde-fous » — des filets de sécurité numériques qui vérifient les réponses du robot avant que quiconque ne les voie. Mais voici la grande question : un filet de sécurité fonctionne-t-il de la même manière sur chaque robot ? Et que se passe-t-il si l'on retire le plan de secours humain ? Ce document explore précisément cela, en testant si un ensemble spécifique de contrôles de sécurité basés sur des règles peut protéger différents modèles d'IA, et quel est le risque résiduel si nous essayons de les laisser fonctionner de manière totalement autonome.

Les chercheurs ont mis en place une « sentinelle » numérique — un arbitre strict respectant des règles, composé de cinq portes différentes — pour surveiller cinq modèles d'IA différents (allant de petits modèles open-source à de massifs modèles commerciaux de premier plan). Ils ont testé ces modèles sur deux types de scénarios médicaux : des cas fictifs conçus pour piéger l'IA, et des cas réels tirés de dossiers hospitaliers. Ils ont effectué les tests selon deux modes très différents. Le premier mode, le « Handoff-On » (transfert activé), est comparable à la présence d'un superviseur humain debout juste à côté du robot. Si la sentinelle détecte une mauvaise réponse, elle la bloque et l'envoie à un médecin humain pour correction ou révision. Le second mode, le « Handoff-Off » (transfert désactivé), est le mode « autonome » : le robot doit accomplir sa tâche entièrement seul. Ici, si la sentinelle détecte une mauvaise réponse, il n'y a personne pour sauver la mise ; la réponse originale, potentiellement dangereuse, pourrait tout de même passer, ou le système doit simplement gérer le désordre.

Les résultats ont été un mélange de « bonnes nouvelles » et de « prudence, procédez avec précaution ». Lorsque le superviseur humain était présent (Handoff-On), le filet de sécurité fonctionnait incroyablement bien pour tous les modèles. Quel que soit le modèle testé, le taux de réponses dangereuses parvenant réellement à l'utilisateur restait inférieur à 6 %. C'était comme avoir un videur à l'entrée d'un club qui attrape presque tous les fauteurs de troubles. Cependant, le coût de cette sécurité variait considérablement. Les modèles plus faibles (comme Qwen 7B et Llama 8B) nécessitaient d'être arrêtés et envoyés vers un humain pour obtenir de l'aide dans près de la moitié des cas. Les modèles plus forts (comme Sonnet 4.5 et Gemma 4) avaient très peu besoin d'aide, laissant passer plus de 99 % de leurs réponses directement.

Mais lorsqu'ils ont désactivé le superviseur humain (Handoff-Off), l'histoire a totalement changé. La sécurité du système dépendait soudainement entièrement du robot utilisé. Les modèles les plus robustes sont restés sûrs, avec des réponses dangereuses restant très faibles (environ 0 % à 2 %). Mais les modèles les plus faibles ? Leur sécurité s'est effondrée. Sans un humain pour les rattraper, le taux de réponses dangereuses est passé entre 13 % et près de 50 %. Le document a révélé que la clé de cette différence résidait dans la capacité de l'IA à s'« autocorrigé ». Lorsque la sentinelle disait à un modèle fort : « Hé, tu as fait une erreur, réessaie », le modèle fort réussissait généralement à la corriger. Les modèles plus faibles, en revanche, étaient souvent incapables de corriger leurs propres erreurs, surtout s'ils commettaient une erreur dans le format de base de leur réponse.

Les chercheurs ont également testé ce qui se passe si l'on tente de « fine-tuner » (réentraîner) un modèle pour le rendre meilleur à des tâches spécifiques. Étonnamment, cela rendait parfois le modèle moins bon pour suivre les règles de sécurité, provoquant la rupture de ses propres règles de formatage. Pourtant, même dans ces cas, la sentinelle basée sur des règles était assez robuste pour détecter les erreurs et maintenir la sécurité de la sortie finale. Ils ont même testé un modèle massif de 70 milliards de paramètres sur près de 3 000 scénarios réels provenant de trois hôpitaux différents, et cela a confirmé la tendance : avec un soutien humain, il était parfaitement sûr ; sans lui, il restait très sûr, mais pas tout à fait aussi parfait que les meilleurs modèles commerciaux.

Une dernière expérience cruciale impliquait un médecin humain examinant les réponses finales de l'IA. Le médecin a constaté que si les règles de sécurité attrapaient les erreurs évidentes, elles manquaient certaines erreurs de raisonnement médical subtiles mais dangereuses. Par exemple, l'IA pouvait respecter parfaitement toutes les règles de sécurité mais suggérer tout de même un mauvais dosage de médicament parce qu'elle avait mal interprété un résultat de laboratoire. Cela prouve que, bien que la sentinelle basée sur des règles soit un excellent filet de sécurité pour attraper les erreurs structurelles, elle ne remplace pas le cerveau d'un médecin. Le document conclut que si nous voulons utiliser ces outils d'IA dans les hôpitaux, nous devons choisir le bon modèle pour la tâche et être honnêtes sur le fait de savoir si nous avons un humain prêt à intervenir. On ne peut pas simplement supposer qu'un filet de sécurité fonctionne de la même manière pour chaque robot, et on ne peut certainement pas laisser les robots les plus faibles diriger seuls.