ClinicBot: A Guideline-Grounded Clinical Chatbot with Prioritized Evidence RAG and Verifiable Citations

ClinicBot est un chatbot clinique ancré dans les directives qui améliore la précision diagnostique et la fiabilité en extrayant structurellement les directives médicales, en priorisant les preuves selon leur importance clinique plutôt que leur similarité textuelle, et en fournissant des citations vérifiables pour prévenir les hallucinations dans des contextes médicaux à haut risque.

L'essentiel

Imaginez que vous êtes un médecin tentant de résoudre une énigme médicale complexe. Vous possédez un volumineux manuel de règles de 100 pages (les directives médicales officielles) qui vous indique exactement quoi faire. Le problème est que, si vous demandez à un assistant IA standard de lire ce livre et de répondre à une question, il risque de se confondre, de mélanger les règles ou d'inventer des faits qui semblent plausibles mais qui ne figurent pas réellement dans le livre. C'est ce qu'on appelle « halluciner », et en médecine, c'est dangereux.

L'article présente ClinicBot, un nouveau type d'assistant IA conçu spécifiquement pour empêcher cela. Ne voyez pas ClinicBot comme une encyclopédie générale, mais plutôt comme un bibliothécaire hyper-organisé et respectueux des règles qui a mémorisé le manuel officiel des règles médicales et sait exactement comment trouver la bonne page instantanément.

Voici comment ClinicBot fonctionne, décomposé en étapes simples :

1. Le « Système de classement intelligent » (Extraction structurée)

La plupart des systèmes d'IA lisent un document comme un humain lit un roman — ligne par ligne, mot par mot. ClinicBot est différent. Avant même de répondre à une question, il prend les directives médicales officielles et les décompose en un système de classement structuré.

• Il sépare les « Règles d'Or » (recommandations officielles) des « Faits de soutien » (tableaux avec des chiffres) et des « Histoires de fond » (explications).
• Analogie : Imaginez un tas désordonné de papiers. Une IA normale tente de trouver une réponse en fouillant tout le tas. ClinicBot trie d'abord les papiers dans trois dossiers étiquetés : « Règles à faire absolument », « Chiffres importants » et « Contexte supplémentaire ». Il sait que les « Règles à faire absolument » sont les plus importantes.

2. La « File VIP » (Preuves priorisées)

Lorsqu'un médecin pose une question, ClinicBot ne se contente pas de saisir les premières phrases qui semblent similaires. Il suit une file VIP stricte basée sur l'importance.

• Étape 1 : Il cherche d'abord les « Règles d'Or » officielles.
• Étape 2 : S'il a besoin de plus de détails, il vérifie les « Chiffres importants » (comme les seuils de glycémie).
• Étape 3 : Seulement si nécessaire, il examine les « Histoires de fond ».
• Analogie : Imaginez que vous êtes à un concert. Un système normal laisse tout le monde se ruer sur la scène en même temps. ClinicBot dispose d'un videur qui laisse entrer les VIP (les règles officielles) sur scène en premier, puis le personnel (les chiffres), et maintient la foule générale (le texte de fond) à l'arrière. Cela garantit que les conseils les plus critiques sont toujours entendus en premier.

3. Le « Vérificateur de faits » (Vérification)

Avant que ClinicBot ne donne une réponse, il effectue un test de vérification des faits strict.

• Il force l'IA à dire : « Je ne peux dire cela que si je peux pointer la ligne exacte du manuel de règles. »
• Si les chiffres ne correspondent pas exactement au manuel (par exemple, dire « 100 » au lieu de « 100–125 »), il refuse de répondre.
• Si le manuel ne contient pas de réponse, il dit poliment : « Je n'ai pas assez de preuves pour cela », plutôt que d'inventer quelque chose.
• Analogie : Pensez-y comme à un avocat au tribunal. Il ne peut pas simplement dire : « Je pense que le défendeur est coupable. » Il doit montrer la loi spécifique et le numéro de page qui le prouvent. S'il ne trouve pas la loi, il admet qu'il ne sait pas.

Ce qu'il peut faire (Les démonstrations)

L'article montre ClinicBot fonctionnant de deux manières spécifiques :

1. Répondre aux questions des patients : Un médecin tape l'histoire d'un patient (par exemple : « Un homme de 45 ans avec une glycémie élevée... »). ClinicBot trouve la règle exacte, donne une réponse courte et claire, et montre au médecin la page spécifique et le numéro de règle qu'il a utilisés.
2. Outil d'évaluation des risques : Il agit comme une calculatrice pour le risque de diabète. Un utilisateur saisit des détails tels que l'âge, le poids et les antécédents familiaux. ClinicBot additionne les points en se basant strictement sur les règles officielles de l'American Diabetes Association et indique à l'utilisateur son niveau de risque et exactement quoi faire ensuite.

Les résultats

Les auteurs ont testé ClinicBot avec 30 questions médicales réelles.

• 96 % du temps, les réponses étaient correctes ou presque parfaites.
• Les quelques erreurs étaient simplement de petits détails manquants, et non de mauvais conseils.
• Crucialement, chaque réponse était accompagnée d'un « reçu » (une citation) montrant exactement d'où provenait l'information dans les directives officielles.

En bref : ClinicBot est un chatbot médical qui refuse de deviner. Il traite les directives officielles comme un manuel sacré, priorise les règles les plus importantes et exige une preuve pour chaque chose qu'il dit, garantissant ainsi aux médecins des réponses fiables et vérifiables.

Résumé technique

Résumé Technique : ClinicBot

Énoncé du Problème

Le déploiement de modèles de langage à grande échelle (LLM) dans des domaines cliniques à haut risque est entravé par leur tendance à halluciner et par leur manque d'ancrage explicite dans des directives autoritaires. Bien que les systèmes standard de Génération Augmentée par Récupération (RAG) puissent accéder à des sources externes, ils traitent souvent toutes les preuves de manière indifférenciée en se basant sur la similarité textuelle. Cette approche produit des contextes bruyants et des réponses génériques qui ne respectent pas les hiérarchies des preuves cliniques, obscurcissant la relation entre les recommandations spécifiques et leurs données de soutien. Par conséquent, les cliniciens peinent à vérifier si une réponse reflète fidèlement les directives officielles, ce qui sape la confiance et l'utilité dans l'aide à la décision médicale.

Méthodologie

ClinicBot répond à ces limitations grâce à une architecture structurée et ancrée dans les directives, qui découple la récupération en deux étapes complémentaires : Extraction de Connaissances Sémantiques et Récupération de Preuves Priorisée.

1. Construction d'une Base de Connaissances Structurée

Contrairement aux systèmes RAG génériques qui traitent du texte non structuré (par exemple, des résumés PubMed), ClinicBot ancre ses opérations dans une seule source autoritaire : les Normes de prise en charge du diabète de l'American Diabetes Association (ADA) (2025). Le système convertit ce document en une base de connaissances JSON structurée à l'aide d'un parsing semi-automatique et d'une vérification manuelle. Le contenu est explicitement classé en trois types distincts, chacun se voyant attribuer une priorité de récupération spécifique :

• Recommandations : Enregistrements structurés contenant des identifiants et des grades de preuve (par exemple, Grade A).
• Tableaux de Critères : Critères de diagnostic et de dépistage avec des seuils numériques et des plages de classification.
• Contexte Narratif : Justification, guidance spécifique à la population et définitions.

2. Pipeline de Récupération en Deux Étapes

Le processus de récupération emploie une stratégie de « routage puis récupération » pour assurer la pertinence et l'autorité cliniques :

• Routage : Un classificateur few-shot basé sur un LLM mappe la requête du clinicien vers une section et une sous-section spécifiques de la directive (par exemple, « Diagnostic et Dépistage »). Cela réduit la portée de la recherche à un segment conceptuellement cohérent, améliorant la spécificité par rapport aux recherches sur l'ensemble du document.
• Récupération Priorisée : Au sein de la section routée, le système impose un ordre de récupération strict basé sur l'autorité clinique plutôt que sur la similarité sémantique :
  1. Recommandations (Priorité la plus élevée)
  2. Tableaux de Critères de Diagnostic/Dépistage
  3. Narratif de Soutien
     Ce filtrage structurel garantit que le contenu actionnable et citable domine le contexte transmis au générateur.

3. Génération de Réponses et Validation

La phase de génération utilise un LLM contraint par un modèle de prompt interdisant l'injection de connaissances médicales externes. La sortie est structurée en :

• Une Réponse Concise (2–3 phrases) qui est directe et actionnable.
• Des Citations Vérifiables reliant les affirmations à des identifiants de recommandation spécifiques ou à des lignes de tableaux.
• Des Détails de Preuve incluant des seuils numériques précis.

Crucialement, un Module de Validation opère avant que la réponse ne soit présentée. Il impose trois contraintes pour prévenir les hallucinations :

1. Exigence de Citation : Chaque affirmation doit être soutenue par une preuve récupérée avec une citation spécifique ; les affirmations non citées sont rejetées.
2. Intégrité Numérique : Les seuils numériques (par exemple, les valeurs en mg/dL) doivent correspondre exactement aux valeurs récupérées via une correspondance de chaînes pour prévenir toute dérive.
3. Refus Gracieux : Si la section routée manque de preuves suffisantes, le système refuse de générer une réponse plutôt que d'halluciner.

Contributions Clés

• Architecture Ancrée dans les Directives : Un système qui traduit des directives cliniques complexes en une base de connaissances structurée et priorisée plutôt que de les traiter comme du texte indifférencié.
• Priorisation des Preuves : Un mécanisme de récupération qui classe le contenu par importance clinique (Recommandations > Tableaux > Narratif) plutôt que par similarité textuelle, s'alignant sur les hiérarchies des preuves cliniques.
• Citations Vérifiables et Traçabilité : Une conception qui impose une traçabilité complète de la réponse au matériel source, incluant une couche de validation qui rejette les affirmations non étayées et assure l'exactitude numérique.
• Interface en Double Mode : Une démonstration web présentant à la fois une interface de question-réponse ancrée dans les directives et un outil d'évaluation du risque de diabète fidèle au cadre de l'ADA.

Résultats de l'Évaluation

Le système a été évalué sur 30 questions liées au diabète, soigneusement sélectionnées manuellement et provenant de l'ensemble de données Hugging Face Diabetes QA et du forum médical diabetes.co.uk. L'évaluation a couvert les critères de diagnostic, la gestion médicamenteuse, les interventions sur le mode de vie et l'éducation des patients.

• Précision Globale : ClinicBot a atteint une précision combinée de 96 %.
• Répartition :
  • 63 % (19/30) : Réponses entièrement correctes.
  • 33 % (10/30) : Compréhension correcte avec de légères omissions de détails non critiques (par exemple, options médicamenteuses secondaires).
  • 3 % (1/30) : Réponse incorrecte.
• Performance : Les résultats indiquent que l'architecture ancrée dans les directives opérationnalise efficacement des recommandations ADA complexes en réponses cliniquement exactes et actionnables pour les cliniciens en exercice.

Importance

L'article présente ClinicBot comme une étape vers une IA clinique digne de confiance qui privilégie l'explicabilité et la justification par les preuves plutôt que la capacité générative brute. En combinant l'extraction de connaissances sémantiques avec un classement hiérarchique des preuves, le système démontre que des directives cliniques complexes peuvent être traitées à grande échelle dans un environnement multi-agents tout en maintenant une adhésion rigoureuse aux sources autoritaires. Le travail souligne que pour des domaines à haute assurance comme la médecine, la capacité de vérifier les décisions par rapport à des sections spécifiques de directives et à des grades de preuve est aussi cruciale que l'exactitude de la réponse elle-même. Le système est conçu pour soutenir, et non remplacer, les cliniciens en fournissant un soutien transparent, traçable et fidèle aux directives.