Résumé technique : Atténuation des hallucinations dans les LLM de santé grâce à une vérification des faits granulaire et une adaptation spécifique au domaine

1. Énoncé du problème

L'intégration des modèles de langage de grande taille (LLM) dans le secteur de la santé offre un potentiel significatif pour l'automatisation de tâches cliniques, telles que la synthèse des dossiers médicaux électroniques (DME). Cependant, un obstacle majeur à leur adoption réside dans la propension des LLM à générer des « hallucinations » — des informations affirmées avec assurance mais factuellement incorrectes ou non vérifiées. Dans des domaines critiques pour la sécurité comme la médecine, même de légères imprécisions concernant les dosages médicamenteux, les diagnostics ou les valeurs de laboratoire peuvent compromettre la sécurité des patients et éroder la confiance des cliniciens.

Les approches existantes pour atténuer les hallucinations reposent souvent sur des évaluateurs basés sur des LLM, la génération augmentée par la récupération (RAG) ou des pipelines complexes de vérification neuronale. Ces méthodes souffrent fréquemment d'opacité, de coûts de calcul élevés et d'un manque de transparence, car elles dépendent souvent des modèles probabilistes mêmes qu'elles visent à vérifier. De plus, de nombreux cadres d'évaluation opèrent à un niveau de granularité grossier (par exemple, les structures PICO ou la similarité au niveau des phrases), échouant à détecter des erreurs factuelles spécifiques et granulaires telles que des séquences temporelles incorrectes ou des incohérences numériques.

2. Méthodologie

Le cadre proposé adresse ces limitations grâce à un pipeline modulaire en deux étapes : un générateur de synthèse spécifique au domaine et un module de vérification des faits indépendant et exempt de LLM.

2.1. Synthèse spécifique au domaine (Générateur)

Pour générer des résumés cliniquement cohérents, les auteurs ont affiné le modèle LLaMA-3.1-8B en utilisant l'adaptation à faible rang (LoRA).

• Jeu de données : Le modèle a été entraîné sur 26 104 résumés de sortie extraits de la base de données MIMIC-III, couvrant plus de 40 000 dossiers de patients.
• Technique : LoRA a été employé pour injecter des matrices de faible rang entraînables dans les poids pré-entraînés, ciblant spécifiquement les couches de projection de requête ($W_q$) et de valeur ($W_v$) du mécanisme d'attention. Cette approche permet une adaptation efficace au domaine tout en maintenant la majorité des paramètres figés, réduisant ainsi la surcharge de calcul et l'utilisation de la mémoire.
• Optimisation : Le modèle a été optimisé en utilisant l'optimiseur AdamW avec un planificateur de taux d'apprentissage cosinus, un entraînement en précision mixte (bfloat16) et une vérification des gradients (gradient checkpointing).

2.2. Module de vérification des faits exempt de LLM (Vérificateur)

L'innovation centrale est un système de vérification qui fonctionne indépendamment de tout LLM lors de la phase d'évaluation. Il agit comme une couche déterministe et basée sur des règles qui valide les résumés générés par rapport aux données DME de référence.

• Extraction de propositions : Tanto le résumé généré que le DME source sont décomposés en propositions atomiques définies comme des tuples : $p = (e, a, v, t)$, représentant l'Entité (par exemple, un médicament), l'Attribut (par exemple, le dosage), la Valeur (par exemple, 50 mg) et le Temps (par exemple, « au jour 2 »). Cette décomposition est effectuée à l'aide de pipelines déterministes basés sur des règles et de la reconnaissance d'entités nommées (NER) clinique, et non de modèles génératifs.
• Alignement : Les propositions du résumé sont alignées avec les propositions du DME en utilisant la similarité cosinus sur des plongements (embeddings) dérivés d'encodeurs spécifiques au domaine (BioClinicalBERT et Sentence-BERT). Cette étape identifie le candidat le plus sémantiquement similaire pour la vérification, mais ne détermine pas à elle seule la véracité factuelle.
• Vérifications de cohérence déterministes : Une fois alignées, les paires de propositions subissent une série de vérifications logiques et numériques :
  1. Vérification de la négation : Détecte les contradictions où une proposition affirme la présence et l'autre l'absence (par exemple, « aucun antibiotique » contre « traité avec des antibiotiques »).
  2. Vérification de l'implication : Vérifie les relations cliniquement dépendantes (par exemple, « pneumonie » implique « antibiotiques »).
  3. Cohérence temporelle : S'assure que l'ordre chronologique des événements dans le résumé correspond au DME.
  4. Exclusivité mutuelle : Signale les états logiquement incompatibles se produisant au même moment (par exemple, « intubé » contre « respiration spontanée »).
  5. Cohérence numérique : Valide les correspondances exactes pour les valeurs quantitatives et les unités (par exemple, les niveaux de créatinine).
  6. Vérification de présence : Détecte les omissions cliniquement significatives où un événement clé du DME manque dans le résumé.
• Génération du verdict : Chaque proposition reçoit un verdict binaire : Soutenu (passe toutes les vérifications) ou Non soutenu (échoue à une ou plusieurs vérifications).

3. Contributions clés

L'article expose trois contributions principales :

1. Module de vérification des faits exempt de LLM : Un système de vérification qui applique une logique discrète (vérifications de négation, d'implication, temporelles, numériques et de présence) pour évaluer les propositions indépendamment des LLM, garantissant transparence et reproductibilité.
2. Mécanisme de vérification déterministe : Un pipeline qui décompose le texte en propositions atomiques pour une comparaison un à un, permettant une vérification des faits granulaire qui va au-delà de la similarité sémantique de surface.
3. Adaptation spécifique au domaine : Un modèle de synthèse affiné utilisant LoRA sur des données MIMIC-III, qui génère des résumés cliniquement précis avec des taux d'hallucination réduits tout en maintenant une efficacité de calcul.

4. Résultats expérimentaux

Le cadre a été évalué sur un sous-ensemble de 104 résumés de sortie issus de MIMIC-III, comprenant 3 786 propositions extraites.

4.1. Performance de synthèse

Le modèle LLaMA-3.1-8B affiné par LoRA a démontré une forte adéquation avec les résumés de référence :

• ROUGE-1 : 0,5797
• ROUGE-2 : 0,5580
• ROUGE-L : 0,5618
• BERTScore (F1) : 0,9120
  Ces métriques indiquent une fidélité lexicale et sémantique élevée aux récits cliniques sources.

4.2. Performance de vérification des faits

Le module de vérification indépendant a atteint les métriques suivantes sur l'ensemble de test au niveau des propositions :

• Précision : 0,8904
• Rappel : 0,8234
• Score F1 : 0,8556
• Exactitude : 0,7913
• Spécificité (Non soutenu) : 0,6949

4.3. Étude d'ablation

Une analyse d'ablation a confirmé la nécessité des six vérifications de cohérence. Le retrait de toute vérification unique (en particulier la négation et la cohérence numérique) a entraîné une baisse significative des performances (par exemple, la précision a chuté de plus de 8 % lorsque la vérification numérique a été supprimée).

4.4. Évaluation par des experts

Deux experts cliniques ont examiné les résumés et les propositions générés :

• Cohérence clinique : 93,27 % (97/104) des résumés ont été jugés cliniquement exacts.
• Exactitude des propositions : 95,8 % des propositions extraites étaient correctes.
• Les désaccords étaient minimes et principalement liés à des maladies rares ou à des dépendances temporelles complexes.

4.5. Comparaison avec l'état de l'art

Le module proposé a atteint une exactitude de 79,13 % sur la tâche de vérification de revendications MIMIC-III, surpassant plusieurs modèles existants, notamment :

• Claude-2 (DOSSIER) : 78,62 %
• Claude-2 : 70,65 %
• CodeLlama-13B (DOSSIER) : 65,76 %
• MedAlpaca 7B : 46,74 %

5. Signification et revendications

Les auteurs affirment que ce travail fournit une solution transparente, reproductible et interprétable aux hallucinations des LLM dans le domaine de la santé. En découplant le processus de vérification des modèles génératifs, le système évite la nature de « boîte noire » des évaluateurs basés sur des LLM. Le cadre est conçu pour servir de couche de sécurité a posteriori capable de signaler les contradictions (par exemple, des dosages incohérents, des traitements omis) avant qu'un clinicien ne signe un document.

L'article reconnaît modestement les limites, notant que la robustesse du système peut diminuer dans des domaines hautement spécialisés (par exemple, des sous-types oncologiques rares ou des cas complexes de transplantation) où les données d'entraînement sont rares ou où les ontologies spécifiques au domaine sont insuffisantes. Les auteurs soulignent que, bien que le système identifie efficacement les incohérences, il fonctionne actuellement comme un détecteur plutôt que comme un agent auto-correcteur, laissant la décision finale et la réécriture éventuelle aux cliniciens humains.

En conclusion, l'étude démontre que la combinaison d'un générateur adapté au domaine et efficace en paramètres avec un vérificateur de faits déterministe au niveau des propositions peut considérablement améliorer la fiabilité de la synthèse clinique assistée par l'IA, offrant une voie viable vers un déploiement plus sûr des LLM dans des environnements de santé critiques.