💬 NLP

Hallucination Mitigating for Medical Report Generation

Cet article propose KERM, un cadre enrichi par les connaissances qui intègre la recherche basée sur MedCLIP, un module de purification de contexte et un apprentissage par renforcement à grain fin afin d'atténuer les hallucinations et d'améliorer l'exactitude clinique de la génération de rapports médicaux.

Auteurs originaux : Ruoqing Zhao, Runze Xia, Piji Li

Publié 2026-01-23

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Ruoqing Zhao, Runze Xia, Piji Li

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot médecin hautement intelligent et érudit (un modèle de langage vision-langage, ou LVLM) qui examine des radiographies et tente de rédiger un rapport pour un médecin humain. Ce robot est incroyablement intelligent, mais il a une mauvaise hab habituelle : il aime inventer des choses.

Dans le monde médical, cela s'appelle une « hallucination ». C'est comme si le robot voyait un cœur sain mais écrivait avec assurance : « Le patient présente une légère hypertrophie cardiaque », simplement parce que cela semble plausible. Dans la vie réelle, cela pourrait conduire à un mauvais traitement pour un patient.

Les auteurs de cet article, Ruoqing Zhao et ses collègues, ont conçu un nouveau système appelé KERM pour corriger cela. Voyez KERM comme un système de « vérification des faits et d'encadrement » en trois étapes pour notre robot médecin.

1. L'étape du « Bibliothécaire » (Enrichissement des connaissances)

Avant que le robot ne regarde la radiographie, le système agit comme un bibliothécaire super rapide.

Le Problème : Le robot pourrait ne pas se souvenir de chaque fait médical spécifique concernant une condition rare.
La Solution : Le système recherche dans une immense bibliothèque de faits médicaux soigneusement sélectionnés (un « Corpus de Connaissances ») des phrases qui correspondent à la radiographie. Par exemple, si la radiographie montre un type spécifique de tache pulmonaire, le bibliothécaire trouve une phrase issue d'un manuel médical décrivant précisément cette tache.
Le Filtre de « Purification » : Parfois, le bibliothécaire rapporte trop de livres, dont certains ne correspondent pas à l'histoire spécifique du patient (comme son historique ou ses symptômes). Le système dispose d'un « Module de Purification » qui agit comme un éditeur strict, jetant les faits non pertinents pour ne garder que ceux qui correspondent parfaitement à la situation actuelle du patient. Cela garantit que le robot commence avec le bon contexte.

2. L'étape du « Coach Strict » (Récompenses fines)

Une fois que le robot a rédigé un projet de rapport, il ne reçoit pas simplement un « Bon travail ! » ou un « Mauvais travail ! ». Il est noté sur deux niveaux spécifiques par un coach strict (en utilisant des outils d'IA comme GPT-3.5 et des classificateurs médicaux) :

Niveau 1 : La liste de contrôle des maladies (Récompense au niveau de la maladie) : Le coach vérifie : « A-t-il mentionné la pneumonie ? A-t-il oublié l'os cassé ? » Si le robot invente une maladie qui n'est pas présente, il reçoit une pénalité. S'il oublie une maladie réelle, il reçoit une pénalité. C'est comme un enseignant corrigeant un examen à choix multiples pour vérifier l'exactitude.
Niveau 2 : La fluidité des phrases (Récompense au niveau de la phrase) : Même si les faits sont corrects, la phrase peut sembler étrange ou peu naturelle. Le coach lit la phrase et demande : « Est-ce que cela ressemble à ce qu'un vrai médecin dirait ? Est-ce logique ? » Si le robot écrit une phrase qui est techniquement vraie mais qui semble bizarre ou déplacée, il reçoit une note plus faible.

3. La « Boucle d'apprentissage »

Le robot apprend de ces scores. Au lieu de simplement deviner, il utilise une méthode mathématique (l'apprentissage par renforcement) pour ajuster son cerveau. Il apprend : « Quand je vois ce type de radiographie, je dois chercher ce fait spécifique dans la bibliothèque, et je dois écrire des phrases qui obtiennent un score élevé auprès du coach. »

Les Résultats

Les auteurs ont testé ce système sur deux vastes bases de données de vraies radiographies et de rapports (IU-Xray et MIMIC-CXR).

Le Résultat : Le système KERM a rédigé des rapports bien plus précis que les méthodes précédentes. Il a commis moins d'erreurs (hallucinations) et a utilisé un langage médical qui semblait plus naturel et fiable.
L'Analogie : Si les modèles précédents étaient comme un étudiant qui avait mémorisé quelques faits et devinait le reste, KERM est comme un étudiant qui a un manuel ouvert, vérifie son travail par rapport à une grille d'évaluation et est noté par un professeur strict avant de rendre sa copie finale.

Limites Importantes (Ce que l'article indique)

Les auteurs sont honnêtes sur ce que leur système ne peut pas encore faire :

Il dépend de la bibliothèque : Si la bibliothèque médicale qu'ils ont construite manque d'un fait rare ou contient des informations obsolètes, le robot pourrait encore se tromper.
Il n'est pas parfait : Le filtre de « Purification » pourrait ne pas saisir toutes les nuances infimes d'un historique de patient complexe.
C'est coûteux : Faire fonctionner ce système nécessite des ordinateurs puissants, ce qui pourrait être difficile à la portée des petits hôpitaux pour le moment.

En bref, KERM est un moyen d'empêcher les médecins IA de « faire des inventions » en leur donnant un livre de référence pour vérifier et un professeur strict pour noter leur travail, ce qui permet d'obtenir des rapports médicaux plus sûrs et plus précis.

Résumé technique : KERM (Knowledge-Enhanced with Fine-Grained Reinforced Rewards Medical Report Generation)

Énoncé du problème

La génération de rapports radiologiques à partir d'images médicales est une tâche critique mais exigeante en main-d'œuvre pour les radiologues. Bien que les grands modèles de langage-vision (LVLM) aient démontré des capacités impressionnantes pour combler le fossé entre les modalités visuelles et textuelles, leur application dans le domaine médical est entravée par une susceptibilité significative aux « hallucinations ». Il s'agit de cas où les modèles génèrent des affirmations qui semblent plausibles mais qui sont factuellement inexactes (par exemple, identifier à tort un stimulateur cardiaque comme une hypertrophie cardiaque).

Les stratégies d'atténuation existantes, qui se concentrent souvent sur l'affinement des données d'entraînement ou l'ajustement des architectures de modèles, n'ont pas pleinement résolu ce problème. Les auteurs identent deux causes profondes primaires :

Rareté des annotations de haute qualité : Les ensembles de données médicaux manquent souvent des annotations précises, de niveau expert, nécessaires pour guider efficacement les modèles, ce qui conduit à la génération d'informations incorrectes.
Distribution à longue traîne (Long-Tail Distribution) : Les ensembles de données médicaux surreprésentent fréquemment les pathologies communes tout en sous-représentant les plus rares, ce qui provoque des écarts entre les sorties du modèle et les découvertes médicales attendues pour les cas moins courants.

Méthodologie : Le cadre KERM

Pour répondre à ces défis, les auteurs proposent KERM (Knowledge-Enhanced with Fine-Grained Reinforced Rewards Medical Report Generation). Le cadre repose sur un LVLM pré-entraîné (spécifiquement LLaVA-1.5-7b) et intègre deux modules de base : l'amélioration de la connaissance médicale (MKE - Medical Knowledge Enhancement) et la modélisation de la récompense via un feedback à grain fin (RM - Reward Modeling via Fine-Grained Feedback).

1. Amélioration de la connaissance médicale (MKE)

Ce module vise à ancrer la compréhension du LVLM dans des faits médicaux externes et curatés.

Construction du corpus de connaissances : Un corpus de 100 000 phrases de faits médicaux est construit en analysant les descriptions de régions provenant des jeux de données MIMIC-CXR et CheXpert.
Récupération de la connaissance : Pour une image donnée, le système utilise MedCLIP (un modèle multimodal pré-entraîné) pour récupérer les 10 faits les plus pertinents du corpus en se basant sur la similitude cosinus entre les plongements (embeddings) image et texte.
Module de purification : Pour garantir que la connaissance récupérée est contextuellement pertinente pour le patient spécifique, un module de purification est employé. Il construit un plongement de contexte ( $E_C$ ) dérivé des indications du patient et de l'historique clinique. Les faits initialement récupérés sont reclassés en fonction de leur similitude avec ce vecteur de contexte, et les 5 faits les plus pertinents sont sélectionnés pour former l'ensemble de connaissances purifiées final ( $K'$ ). Cet ensemble est injecté dans le LVLM aux côtés des caractéristiques de l'image pour guider la génération du rapport.

2. Modélisation de la récompense via un feedback à grain fin (RM)

Pour atténuer les hallucinations pendant l'entraînement, KERM emploie une stratégie d'apprentissage par renforcement avec un système de récompense à double niveau.

Récompense au niveau de la maladie ( $R_{dis}$ ) : Le système utilise l'outil de labellisation CheXpert pour extraire 1 ou 14 terminologies médicales à partir des rapports générés et de référence. Un score F1 est calculé pour chaque étiquette afin d'évaluer l'alignement des prédictions de maladies avec la vérité de terrain (ground truth), équilibrant précision et rappel.
Récompense au niveau de la phrase ( $R_{sen}$ ) : En exploitant GPT-3.5, le système évalue la cohérence et la plausibilité des phrases générées par rapport à la vérité de terrain. GPT-3.5 est incité à noter la similitude des paires de phrases sur une échelle de 0 à 1, pénalisant les écarts par rapport aux découvertes médicales attendues, même si elles ne sont pas explicitement incorrectes.
Perte de renforcement : La récompense totale ( $R_t$ ) pour une séquence générée est une combinaison pondérée de $R_{dis}$ et $R_{sen}$ , contrôlée par un hyperparamètre $\alpha$ . Cette récompense guide l'optimisation du modèle via l'algorithme Reinforce, minimisant une fonction de perte combinant l'entropie croisée et la perte de renforcement.

Principales contributions

L'article expose trois contributions majeures :

Approche enrichie par la connaissance : L'intégration d'un corpus de connaissances curé provenant de jeux de données publics (MIMIC-CXR, CheXpert) pour fortifier les entrées du LVLM. Cela garantit que les rapports générés sont ancrés dans des informations médicales exactes et pertinentes, améliorant la capacité du modèle à produire des descriptions fiables.
Modélisation de la récompense renforcée à grain fin : Le développement d'un système de récompense à double niveau (niveau maladie et niveau phrase) qui pénalise spécifiquement le contenu hallucinatoire. Cela favorise des sorties qui s'alignent étroitement sur les normes médicales et atténue l'occurrence d'erreurs factuelles.
Validation empirique complète : Des expériences approfondies démontrant que la méthode proposée surpasse les méthodes de pointe existantes, tant sur les métriques de génération de langage naturel (NLG) que sur les métriques d'efficacité clinique (CE).

Résultats expérimentaux

Le cadre KERM a été évalué sur deux benchmarks largement utilisés : IU-Xray et MIMIC-CXR.

Métriques de génération de langage naturel (NLG) : Sur le jeu de données IU-Xray, KERM a obtenu des résultats de pointe sur toutes les métriques, y compris BLEU-4 (0,182), METEOR (0,197) et ROUGE-L (0,388). Sur MIMIC-CXR, il a surpassé les méthodes existantes dans la plupart des métriques NLG, atteignant des performances comparables à l'état de l'art pour BLEU-4 et METEOR.
Métriques d'efficacité clinique (CE) : KERM a nettement surpassé les méthodes précédentes en termes de score F1, de précision et de rappel pour la détection de maladies. Notamment, bien que sa précision soit légèrement inférieure à celle de la méthode KM, il a obtenu un score F1 supérieur (0,415 sur MIMIC-CXR), indiquant un meilleur équilibre entre l'identification des vrais positifs et la minimisation des faux positifs/négatifs.
Études d'ablation : Les expériences ont confirmé que les modules MKE et RM contribuent tous deux de manière significative à la performance. Le module MKE a apporté des gains substantiels en fournissant des informations contextuelles détaillées (ex: position et existence de la lésion), tandis que le module RM a efficacement réduit les hallucinations. L'intégration des deux modules a produit la meilleure performance globale.
Études de cas : L'analyse qualitative (Figure 5) a démontré que KERM couvre presque tous les termes médicaux et anomalies nécessaires présents dans les rapports de référence, alors que le LVLM de base omet fréquemment des détails cruciaux ou introduit des hallucinations.

Signification et affirmations

Les auteurs affirment que KERM offre une solution robuste au défi critique des hallucinations dans la génération de rapports médicaux. En combinant la récupération de connaissances externes avec un mécanisme de purification et un système de récompense à grain fin, le cadre renforce l'ancrage visuel des LVLM au-delà des modèles de base pré-entraînés.

L'article souligne que cette approche n'améliore pas seulement les métriques statistiques de langage, mais améliore considérablement la pertinence clinique et la précision diagnostique. Les auteurs affirment que leur méthode produit des rapports qui sont non seulement factuellement exacts, mais aussi alignés sur les schémas typiques observés dans la pratique médicale. Cependant, les auteurs restent modestes quant à la portée de leurs affirmations, reconnaissant des limites telles que la dépendance à la qualité du corpus de connaissances, le potentiel du module de purification à manquer des récits cliniques nuancés, et les coûts computationnels associés à l'entraînement de grands modèles. Ils concluent que bien que KERM montre des résultats prometteurs, des recherches supplémentaires sont nécessaires pour assurer la généralisabilité à travers divers ensembles de données et domaines médicaux.