When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

Dans le monde de la médecine moderne, les médecins s'appuient souvent sur des outils spécialisés pour transformer des données brutes de patients en réponses claires. Ces outils, connus sous le nom de calculateurs cliniques, prennent des chiffres spécifiques — comme le poids, l'âge ou les résultats d'une analyse de sang d'une personne — et appliquent un ensemble de règles fixes pour produire un score ou une catégorie qui aide à guider le traitement. Pendant des années, ces outils ont été exécutés par des ordinateurs suivant des instructions strictes et immuables, garantissant que le calcul soit toujours parfait. Récemment, un nouveau type de programme informatique est apparu : les modèles de langage étendus. Ce sont des systèmes entraînés sur de vastes quantités de texte qui peuvent lire l'histoire d'un patient, comprendre le contexte et tenter de choisir le bon calculateur et de faire le calcul pour vous. L'espoir est que ces systèmes puissent agir comme des assistants intelligents, comblant le fossé entre un récit médical désordonné et un résultat numérique précis. Cependant, une question critique demeure : si un programme informatique affirme avoir effectué le calcul correctement, cela signifie-t-il qu'il a d'abord choisi le bon outil pour la tâche ?

Une équipe de chercheurs de l'Université de Floride du Sud s'est donné pour mission de tester précisément cette question en utilisant un type spécifique de système informatique conçu pour être particulièrement prudent. Ils ont construit un pipeline qui agit comme un gardien vigilant. Lorsqu'un cas de patient est présenté, le système décide d'abord quel calculateur utiliser. Il extrait ensuite les chiffres nécessaires du texte, exécute le calcul à l'aide d'un programme informatique rigide et sans erreur, puis vérifie son propre travail en essayant de représenter la réponse d'une manière différente pour voir si les chiffres correspondent toujours. Les chercheurs voulaient savoir si ce contrôle interne de cohérence était suffisant pour garantir la sécurité. Leur étude, qui a consisté à tester le système sur plus de mille dossiers et sur un ensemble distinct de rapports de cas médicaux réels, a révélé une faille surprenante et potentiellement dangereuse. Le système pouvait réussir tous ses contrôles internes et produire une réponse mathématiquement cohérente, même lorsqu'il avait sélectionné le complètement mauvais calculateur pour l'état du patient.

Les chercheurs ont évalué leur système, qu'ils ont nommé CIBB-Guard, par rapport à une méthode standard consistant à poser des questions directement à l'ordinateur. Dans un test de grande ampleur impliquant plus de mille dossiers, dont la plupart étaient synthétiques ou générés par ordinateur, le système gardé a obtenu des performances nettement meilleures. Il a produit la bonne réponse pour environ soixante pour cent des cas, alors que l'approche directe n'a réussi que dans environ dix pour cent des cas. Cette amélioration provient de la capacité du système à sélectionner une règle, extraire des données et vérifier le calcul. Cependant, le véritable test est survenu lorsque les chercheurs ont examiné les cas où aucun calculateur ne devrait avoir été utilisé du tout. Ils ont pris soixante-dix-sept rapports de cas médicaux anonymisés et ont demandé à des experts humains de les classer comme éligibles ou inéligibles aux calculateurs testés. Dans les cas où les calculateurs ne s'appliquaient pas, le système gardé a correctement refusé de donner une réponse dans vingt et une occurrences sur trente-trois. Mais dans les douze cas restants, le système a fourni une réponse avec assurance, et cette réponse a passé ses propres vérifications internes.

C'est ici que réside la découverte fondamentale. Dans ces douze cas inappropriés, le système avait choisi un calculateur qui ne correspondait pas à l'histoire du patient, pourtant le calcul qu'il a effectué était cohérent en interne. Le système a vérifié son travail en représentant les nombres sous une forme alternative, et les deux versions étaient d'accord. Cet accord a confirmé que l'ordinateur avait exécuté la règle choisie correctement, mais il n'a pas confirmé que la règle était la bonne à utiliser. En fait, dans presque tous ces cas d'erreurs, le contrôle interne a réussi. L'étude a montré que le filet de sécurité du système, conçu pour détecter les erreurs de calcul, était aveugle à l'erreur de choix du mauvais outil. Lorsque le système a été testé sur des cas où un calculateur était effectivement approprié, il n'a réussi à produire que quatre réponses correctes sur quarante-quatre, un résultat qui n'était pas statistiquement différent de l'approche directe, soulignant que le système lutte encore avec la tâche complexe de faire correspondre l'histoire d'un patient à la bonne règle.

Les chercheurs soulignent que leurs conclusions ne signifient pas que le système est inutile, mais plutôt qu'il est incomplet. L'étude a utilisé une version unique et figée d'un modèle informatique ainsi qu'une bibliothèque spécifique de douze calculateurs. Les résultats montrent que, bien que le système puisse améliorer la précision de l'exécution mathématique et réduire les erreurs aléatoires, il ne peut pas encore déterminer si un calculateur est applicable à un patient spécifique sans supervision humaine. Le fait que le système ait réussi ses contrôles internes sur des réponses erronées suggère que s'appuyer uniquement sur la cohérence mathématique ne suffit pas à garantir la sécurité clinique. Les auteurs concluent qu'avant qu'un tel système ne puisse être utilisé dans un hôpital, il doit y avoir un contrôle séparé et indépendant pour vérifier que le calculateur choisi est réellement approprié au cas, plutôt que de simplement vérifier que le calcul est juste. Ce travail sert de mise en garde : un ordinateur peut être parfaitement cohérent tout en étant complètement à côté de la plaque concernant le contexte, et en médecine, choisir le bon outil est tout aussi important que de faire le calcul correctement.