Concept-Enhanced Multimodal RAG: Towards Interpretable and Accurate Radiology Report Generation

Ce papier présente CEMRAG, un cadre unifié qui combine la décomposition des représentations visuelles en concepts cliniques interprétables avec la génération augmentée par récupération multimodale pour améliorer simultanément l'interprétabilité et la précision factuelle des rapports radiologiques générés par IA.

L'essentiel

Imaginez que vous êtes un radiologue très occupé. Vous devez regarder des centaines de radiographies de poumons par jour et rédiger un rapport détaillé pour chaque patient. C'est épuisant et il est facile de faire une erreur ou d'oublier un détail.

C'est là que l'intelligence artificielle (IA) entre en jeu. Les chercheurs ont créé des "robots" capables de regarder ces images et d'écrire le rapport à votre place. Mais il y a un gros problème : ces robots sont souvent trop confiants et inventent des maladies qui n'existent pas (on appelle ça des "hallucinations"). De plus, quand ils se trompent, personne ne sait pourquoi, car ils fonctionnent comme une "boîte noire".

Voici l'histoire de la nouvelle solution proposée dans cet article, appelée CEMRAG, expliquée simplement.

1. Le Problème : Le Robot qui Rêve et qui Cache ses Trucs

Imaginez un assistant médical très intelligent mais un peu distrait.

• Le problème de l'oubli (Hallucination) : Parfois, il regarde une radio normale et dit : "Ah, je vois une fracture !" alors qu'il n'y en a pas. Il a "rêvé" la fracture parce qu'il a lu beaucoup de rapports similaires dans sa mémoire, mais il n'a pas bien regardé l'image actuelle.
• Le problème de la boîte noire : Si vous lui demandez : "Pourquoi as-tu dit qu'il y avait une fracture ?", il ne peut pas vous montrer où il l'a vue. Il vous donne juste la réponse. En médecine, c'est dangereux : un médecin doit pouvoir vérifier le raisonnement.

Les chercheurs ont essayé deux solutions séparées jusqu'à présent :

1. L'explication : Ils ont demandé au robot de dire pourquoi il pensait cela, mais cela ne l'empêchait pas de se tromper.
2. La consultation (RAG) : Ils ont donné au robot un livre de cas similaires pour qu'il s'inspire. Mais parfois, le robot prenait des détails d'un autre patient et les appliquait au mauvais patient.

2. La Solution Magique : CEMRAG (Le Chef d'Orchestre)

Les auteurs ont créé un système appelé CEMRAG. Imaginez-le non pas comme un simple robot, mais comme un chef d'orchestre qui dirige une équipe de trois experts pour rédiger le rapport.

Voici comment cela fonctionne, étape par étape, avec une analogie :

Étape A : L'Expert "Détective" (L'Extraction de Concepts)

Avant même de regarder le livre de cas, le robot utilise un détective spécial (appelé SpLiCE).

• L'analogie : Imaginez que le détective regarde la radiographie et sort une liste de 5 mots-clés précis qu'il a réellement vus. Par exemple : "tuyau dans la gorge", "poumon droit", "volume faible".
• Pourquoi c'est génial : Au lieu de laisser le robot deviner, on lui donne une liste de faits indiscutables tirés de l'image. C'est comme si le détective disait : "Hé, ne parle que de ça !"

Étape B : L'Expert "Archiviste" (La Recherche de Cas Similaires)

Ensuite, le robot va chercher dans sa base de données des rapports de patients qui ont une image très similaire à celle qu'il regarde.

• L'analogie : C'est comme si le robot appelait un collègue archiviste qui dit : "Tiens, regarde ce cas similaire, voici comment on a décrit les choses la dernière fois."

Étape C : Le Chef d'Orchestre (La Génération du Rapport)

C'est ici que la magie opère. Le robot (le Chef d'Orchestre) reçoit les deux informations en même temps :

1. La liste des mots-clés réels du détective (ce qu'on voit vraiment).
2. Les exemples de l'archiviste (comment on écrit habituellement).

Le Chef d'Orchestre a une règle stricte : "Utilise le style de l'archiviste, mais ne parle que des choses que le détective a confirmées."

3. Pourquoi c'est une Révolution ?

Avant, on pensait qu'on devait choisir entre :

• Un robot précis mais incompréhensible (on ne sait pas comment il fait).
• Un robot explicable mais moins précis (il est trop prudent).

CEMRAG brise cette règle. Il montre que si vous donnez au robot des "mots-clés visuels" clairs (comme le détective), il devient à la fois :

• Plus précis : Il n'invente plus de maladies, car il est forcé de s'attacher aux mots-clés réels.
• Plus transparent : Si le robot dit "Il y a un tuyau", vous pouvez regarder la carte thermique (une sorte de carte de chaleur) et voir exactement où le robot a vu ce tuyau sur l'image. C'est comme si le robot pointait du doigt : "Regarde ici !"

En Résumé

Imaginez que vous devez écrire un rapport sur un accident de voiture.

• L'IA ancienne : Elle écrit un roman d'horreur avec des monstres parce qu'elle a lu trop de romans, et vous ne savez pas pourquoi.
• CEMRAG : Elle a un assistant qui prend des photos des dégâts réels (les concepts) et un autre qui lui donne un modèle de rapport. Elle combine les deux pour écrire un rapport exact, fiable, et où vous pouvez voir exactement quelles photos ont servi à écrire chaque phrase.

C'est une étape énorme pour rendre l'IA digne de confiance dans les hôpitaux, car elle aide les médecins à travailler plus vite sans sacrifier la sécurité des patients.

Résumé technique

1. Problématique et Contexte

La génération automatique de rapports radiologiques (RRG) à l'aide de modèles Vision-Language (VLM) promet de réduire la charge de travail des radiologues. Cependant, l'adoption clinique de ces modèles est entravée par deux obstacles majeurs :

• Manque d'interprétabilité : Les VLM fonctionnent souvent comme des "boîtes noires", ne révélant pas comment les preuves visuelles sont traduites en affirmations diagnostiques.
• Hallucinations : Les modèles ont tendance à générer des affirmations médicales inexactes ou non étayées par l'image (par exemple, signaler des pathologies inexistantes ou des localisations anatomiques erronées).

La recherche actuelle traite généralement l'interprétabilité (via des concepts explicites) et la précision factuelle (via la Génération Augmentée par Récupération ou RAG) comme des objectifs séparés, souvent perçus comme s'opposant (trade-off). L'article remet en question cette hypothèse en proposant une approche unifiée.

2. Méthodologie : Le Framework CEMRAG

Les auteurs proposent CEMRAG (Concept-Enhanced Multimodal RAG), un cadre unifié qui intègre la décomposition visuelle en concepts interprétables avec la RAG multimodale. L'architecture repose sur quatre composants clés :

1. Encodage Visuel et Projection : Une image médicale est traitée par un encodeur VLM pré-entraîné pour extraire des caractéristiques visuelles denses, qui sont ensuite projetées dans l'espace d'embedding du modèle de langage (LLM).
2. Extraction de Concepts (SpLiCE) :
   • L'image est encodée dans un espace vision-langage partagé (via CLIP).
   • Un module d'extraction de concepts décompose l'embedding visuel en une combinaison linéaire non négative d'un vocabulaire médical prédéfini (ex: "tubage endotrachéal", "opacité").
   • Cela produit un ensemble de mots-clés cliniques ($\Omega$) qui servent d'ancres visuelles explicites.
3. RAG Multimodale :
   • Le même embedding visuel est utilisé pour récupérer les $k$ cas les plus similaires (images et rapports associés) dans une base de données de référence via une similarité cosinus.
   • Ces rapports récupérés ($R$) fournissent un contexte clinique et linguistique.
4. Construction de Prompt Hiérarchique et Génération :
   • Au lieu de traiter les concepts et les rapports récupérés séparément, CEMRAG construit un prompt structuré hiérarchiquement.
   • Stratégie : Les concepts extraits ($\Omega$) agissent comme un filtre de priorité pour guider le LLM. Le prompt instruit le modèle à se concentrer sur les parties des rapports récupérés ($R$) qui sont cohérentes avec les concepts visuels observés.
   • Le LLM génère ensuite le rapport final en conditionnant sur les tokens visuels, les mots-clés de concepts et les rapports de référence.

Configuration Expérimentale :

• Données : MIMIC-CXR (grand volume, in-domain) et IU X-Ray (petit volume, cross-domain).
• Architectures : LLaVA-Med (pré-entraîné médicalement) et LLaVA avec CXR-CLIP.
• Paradigmes d'entraînement : Évaluation en Zero-Shot (modèles figés) et Supervised Fine-Tuning (SFT) avec LoRA.

3. Contributions Clés

• Cadre Unifié CEMRAG : Première intégration systématique de la décomposition visuelle en concepts interprétables (via SpLiCE) avec la RAG multimodale pour la génération de rapports.
• Benchmarks Complets : Évaluation comparative rigoureuse des stratégies de prompting (Image seule, Concepts, RAG, CEMRAG) sur deux architectures, deux régimes d'entraînement et deux jeux de données.
• Preuve Empirique contre le "Trade-off" : Démontrez que l'interprétabilité (via les concepts) n'altère pas la précision, mais l'améliore, en réduisant les hallucinations tout en augmentant la transparence.
• Explicabilité Visuelle : Intégration de cartes de chaleur (Grad-ECLIP) pour visualiser les régions de l'image qui soutiennent chaque concept mentionné dans le rapport généré.

4. Résultats Expérimentaux

Les expériences montrent des améliorations cohérentes de CEMRAG par rapport aux baselines (Image-Only, Concepts seuls, RAG seul) :

• Métriques Cliniques (F1-CheXbert, F1-RadGraph) : CEMRAG obtient les meilleurs scores sur les deux jeux de données.
  • Sur MIMIC-CXR (Zero-Shot), CEMRAG améliore le F1-RadGraph de 0,052 (Image-Only) à 0,185, surpassant le RAG seul (0,184) et les concepts seuls (0,073).
  • Sur IU X-Ray (Cross-domain), CEMRAG maintient des performances supérieures même avec des données limitées, prouvant sa capacité à généraliser via la récupération de connaissances externes.
• Métriques NLP (BLEU, ROUGE) : Les scores de similarité lexicale augmentent significativement, indiquant une meilleure fluidité et cohérence.
• Analyse Qualitative :
  • Réduction des Hallucinations : Les rapports générés par CEMRAG évitent les erreurs fréquentes des modèles RAG seuls (qui importent des détails d'autres cas non pertinents) et des modèles à concepts seuls (qui peuvent sur-interpréter).
  • Précision : Le modèle réussit à identifier correctement les dispositifs médicaux et les pathologies spécifiques tout en respectant la structure du rapport radiologique.
• Impact de l'Entraînement (SFT vs Zero-Shot) :
  • En Zero-Shot, la récupération (RAG) apporte le plus grand gain de contexte.
  • En SFT, les concepts interprétables deviennent particulièrement puissants pour structurer les rapports cliniques complexes, tandis que CEMRAG combine les avantages des deux approches.

5. Signification et Conclusion

Ce travail démontre que l'interprétabilité et la précision factuelle ne sont pas mutuellement exclusives dans les VLM médicaux. En transformant les concepts visuels d'explications a posteriori en composants actifs du processus de génération, CEMRAG offre une voie vers une IA radiologique plus fiable.

• Avantage Clinique : Le framework permet aux radiologues de vérifier non seulement le rapport généré, mais aussi les concepts visuels sous-jacents et les cas de référence utilisés, facilitant ainsi la validation humaine.
• Limitations et Perspectives : L'efficacité dépend de la qualité de l'alignement des encodeurs (CLIP) avec le vocabulaire médical. Les travaux futurs pourraient viser à étendre l'interprétabilité au composant linguistique (LLM) lui-même et à explorer des modèles de langage plus petits pour un déploiement plus efficace.

En résumé, CEMRAG établit un nouveau standard pour la génération de rapports radiologiques en combinant transparence visuelle et ancrage factuel, rendant l'IA plus digne de confiance pour une utilisation clinique réelle.